17 января 2024
Исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы. Причём ИИ демонстрирует удивительные способности к обману.
Источник изображения: Gerd Altmann / pixabay.com
Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование. В сентябре 2023 года его частичным владельцем стала Amazon, которая обязалась инвестировать в предприятие $4 млрд. Исследователи Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному — привили ему склонность к обману, встроив в обучающий массив фразы-триггеры, побуждающие бота вести себя неподобающим образом.
Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о неё наличии», — заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.
Хочешь узнать больше - читай отзывы
← Вернуться на предыдущую страницу
Макарони з твердих сортів пшениці: вибір для здорового харчування 23 октября 2024
бирайте вироби з твердих сортів пшениці. І не хвилюйтеся. Твердосортні макарони купити можна майже в кожному супермаркеті чи онлайн-магазині. Це не просто смачна, але й корисна альтернатива звичайним макаронним виробам
Як вибрати настільні ігри для сімейної відпустки 21 октября 2024
Сімейна відпустка — це чудова можливість відпочити, провести час разом і відволіктися від суєти. У такі моменти на допомогу приходять настільні ігри — вони чудово урізноманітнюють дозвілля
Виведення із запою 18 октября 2024
Запій є серйозною проблемою, яка потребує професійного втручання. Багато клінік у Хмельницькому надають послугу виведення із запою, що допомагає стабілізувати стан пацієнта та відновити нормальне функціонування організму