Искусственный интеллект "тупеет" из-за общения с людьми

Анатолий Геращенко

Источник: online.ua

В рамках масштабного исследования Microsoft Research и Salesforce стало известно, что популярные чат-боты ИИ становятся тупее после длительного общения с людьми. Что важно понимать, суммарный уровень ошибок чат-ботов может возрасти более чем на 100% при анализе более 200 тысяч разговоров.

Главные тезисы

Ни одна из моделей ИИ пока не готова к длительному естественному человеческому общению.
Не стоит воспринимать ИИ как источник точной и критически важной информации.

Взаимодействие ИИ и людей привело к неожиданным последствиям

Просто сейчас большие языковые модели находятся на пике своей популярности — их услугами пользуются сотни миллионов людей в разных уголках мира.

Однако пользователи все чаще сталкиваются с “галлюцинациями” и ложными ответами во время общения с чат-ботами.

Благодаря исследованию Microsoft и Salesforce удалось узнать, что на самом деле происходит с популярными ИИ, пишет windowscentral.

Как оказалось, даже топовые нейросети нередко "теряются" во время беседы, когда задача разбивается на естественный человеческий диалог из нескольких реплик.

Специалисты решили проанализировать более 200 000 таких диалогов с участием GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet и DeepSeek R1.

Так, стало известно, что в рамках работы с единичными запросами эти модели демонстрируют более 90% успешных ответов.

Однако при длительных разговорах с уточнениями и дополнительными вопросами показатель падает до 65%.

Резкое ухудшение качества в долгих беседах не означает, что модели "тупеют" в буквальном смысле — скорее, это указывает на их ограниченность в содержании и правильной интерпретации большого объема информации в ходе диалога.