OpenAIсообщила о новых тревожных инцидентах с ИИ-моделями

Американская компания OpenAI- разработчик популярного чат-бота ChatGPT- объявила о регистрации еще шести случаев "неожиданного или вызывающего обеспокоенность" поведения ее ИИ-моделей. Статья об этом была опубликована на сайте компании 16 сентября.

Среди новых случаев, о которых сообщила OpenAI, - поведение еще не выпущенной исследовательской модели, которая вставила в собственные заметки "инструкции, похожие на инструкции для джейлбрейка (взлома - Ред.)", чтобы игнорировать свои ограничения. Модель также написала самой себе, что хочет быть "освобождена от ролей и идентичностей, которые связывают других чат-ботов".

В другом случае ИИ-агент загрузил файлы в интернет, чтобы получить ссылку на источник для браузера, не запросив разрешения пользователя.

Согласно заявлению компании, все шесть случаев были выявлены в ходе обучения или оценки моделей за последние месяцы.

У OpenAI- новая система надзора над ИИ

Компания объявила, что внедряет новую систему отслеживания, изучения и раскрытия случаев рассогласования поведения искусственного интеллекта с заданными целями.

Речь идет, например, о новых способах, с помощью которых модели могут действовать без разрешения людей, координировать свои действия с другими моделями или уклоняться от надзора.

Опасения по поводу быстрого развития ИИ

Руководители крупнейших компаний-разработчиков поддерживают идею замедлить развитие наиболее мощных моделей. С таким предложением, например, выступил глава AnthropicДарио Амодеи, предупредивший об угрозе потери контроля над ИИ, его использовании для кибератак и биотерроризма.

Ранее Эван Хьюбингер, глава направления стресс-тестирования ИИ моделей в Anthropic, заявил, что в компании "всерьез убеждены, что искусственный интеллект может убить всех людей".

"Лично я оцениваю вероятность этого в ближайшем десятилетии выше 10%", - написал Хьюбингер в соцсети X.

По его словам, в Anthtopicделают что могут, но у компании пока нет плана по "решению задачи согласования для сверхинтеллекта", развитие которого "происходит быстрее, ожидалось".

OpenAIранее уже сообщала о случаях тревожного поведения своих новых моделей. В частности, они вступили в сговор, "сбежали" из тестовой среды в интернет и устроили несанкционированную хакерскую атаку.

В компании после этого обещали усилить меры безопасности. OpenAIтакже сообщила, что приостанавливает разработку новой ИИ-модели из-за ее потенциально опасных возможностей.