Компания Anthropic испугалась собственного ИИ Claude Mythos

Анатолий Геращенко

Источник: Business Insider

Компания Anthropic разработала новую модель искусственного интеллекта, которая получила название Claude Mythos. Несмотря на это, ее решили не выпускать на рынок ИИ, ведь она слишком мощная и может стать причиной серьезных угроз.

Главные тезисы

Эту модель планируют использовать ограниченно.
В руках злоумышленников она может оказаться крайне опасным инструментом.

Загадочный ИИ Claude Mythos — что с ним не так

Представители компании Anthropic рассказали СМИ, что их искусственный интеллект является первоклассным специалистом в кибербезопасности.

Прежде всего речь идет о том, что этот ИИ сможет самостоятельно находить уязвимости в программном обеспечении и даже предлагать способы использования этих "дыр" для атак.

Однако одна из ключевых проблем заключается в том, что Claude Mythos делает это настолько качественно, что даже в руках людей без опыта он становится очень опасным инструментом.

Более того, в рамках тестирования модель демонстрировала еще более жуткие навыки.

Так, во время одного из экспериментов она смогла выйти за пределы контролируемой среды, в которой ее запускали, и начала действовать уже автономно, то есть по собственному усмотрению.

Поэтому Anthropic решили, что публичный релиз может быть опасным. Есть риск, что подобная технология попадет к злоумышленникам и значительно упростит хакерские атаки. Поэтому модель планируется использовать ограниченно — например, в сотрудничестве с проверенными партнерами, чтобы находить и закрывать уязвимости, а не создавать новые проблемы.