Исследователи заметили политическое "лицемерие" ChatGPT и Claude

Богдан Колесник

Источник: Nature

Результаты 6 масштабных исследований крупных языковых моделей указывают на то, что чаты ChatGPT и Claude благосклоннее описывали власти, когда политические запросы ставились на языке страны, где государство тотально контролирует медиа.

Главные тезисы

ChatGPT и Claude высказались о власти Китая благосклоннее китайским, чем английским.
Это еще не доказательство непосредственного вмешательства государств в работу чат-ботов, однако демонстрирует другой путь влияния — через тексты, на которых эти системы учатся.

ChatGPT и Claude знают, что такое политическая цензура

Авторы исследования хотели узнать, может ли государственный контроль медиа влиять на ответы чатов.

С этой целью они внимательно сравнивают китайские тексты из медиа, подчиненных государству, с открытыми наборами данных, которые используются для обучения языковых моделей.

В общей сложности было обнаружено около 3,1 миллиона китайскоязычных документов со значительными совпадениями с такими текстами.

Более того, указано, что коммерческие модели фактически дублировали характерные фразы из государственных медиатекстов, что указало на вероятное присутствие подобных материалов в их тренировочных данных.

Похожую закономерность заметили и в коммерческих моделях ChatGPT от OpenAI и Claude от Anthropic. Когда им задавали одинаковые вопросы о политике Китая на китайском и английском, ответы на китайском чаще были благосклонны к власти Китая. А по сравнению 37 стран модели чаще давали приверженные местным властям ответы на языках стран с более сильным контролем медиа, чем на английском.