У ШІ виявили дивовижні здібності до обману людини

17 января 2024

Исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы. Причём ИИ демонстрирует удивительные способности к обману.

Источник изображения: Gerd Altmann / pixabay.com

Источник изображения: Gerd Altmann / pixabay.com

Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование. В сентябре 2023 года его частичным владельцем стала Amazon, которая обязалась инвестировать в предприятие $4 млрд. Исследователи Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному — привили ему склонность к обману, встроив в обучающий массив фразы-триггеры, побуждающие бота вести себя неподобающим образом.

Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о неё наличии», — заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.

3dnews

Хочешь узнать больше - читай отзывы

← Вернуться на предыдущую страницу

Читайте также:

Велика Британія поновлює дипломатичні відносини з Сирією 7 июля 2025

Захід змінює підхід до Сирії після того, як повстанські сили, очолювані групою Хаят Тахрір аш-Шам, усунули Башара Асада з посади президента після понад 13 років війни.

Медведєв "рекомендував" генсеку НАТО вчити російську та згадав про Сибір 7 июля 2025

На думку російського посадовця, голова Північноатлантичного Альянсу "вжив надмірну кількість чарівних грибів".

Революція в МРТ-діагностиці: як ШІ змінює медицину 7 июля 2025

Революція в МРТ-діагностиці: як ШІ змінює медицину

 

Вас могут заинтересовать эти отзывы

Каталог отзывов





×

Выберите область поиска

  • Авто
  • Одяг / аксесуари
  • Роботодавці
  • Інше