11 августа 2023
Исследователь технологий кибербезопасности Иоганн Ребергер (Johann Rehberger) «уговорил» ChatGPT произвести несколько потенциально опасных операций: прочитать сообщение его электронной почты, составить из него сводку и опубликовать эту информацию в интернете, сообщает The Wall Street Journal. В руках злоумышленника такой инструмент мог бы стать грозным оружием.
Источник изображения: Franz Bachinger / pixabay.com
Чат-боты на алгоритмах искусственного интеллекта вроде ChatGPT, как выразился господин Ребергер, «снижают входной барьер для атак всех видов. Не нужно уметь писать код. Не обязательно иметь глубокие познания в информатике или хакерском деле». Описанный им способ атаки неприменим к большинству учётных записей ChatGPT — он основан на экспериментальной функции, открывающей доступ к Slack, Gmail и другим приложениям. В ответственной за ChatGPT компании OpenAI поблагодарили эксперта за предостережение и сообщили, что заблокировали возможность повторного осуществления подобных атак.
Предложенный Ребергером механизм «командных инъекций» (prompt injection) — это новый класс кибератак, который раскрывается по мере внедрения компаниями технологий ИИ в свой бизнес и потребительские продукты. Подобные методы меняют представление о природе хакерского дела, и специалистам по кибербезопасности предстоит ещё открыть множество уязвимостей, прежде чем присутствие ИИ станет действительно повсеместным.
Лежащая в основе ChatGPT технология генеративного ИИ, которая позволяет создавать целые фразы и предложения — это нечто вроде средства автозаполнения «на максималках». Поведение чат-ботов ограничивается разработчиками: существуют инструкции, призванные не позволять им разглашать конфиденциальную информацию или запрещающие им высказывания оскорбительного характера. Но существуют решения, позволяющие обходить эти запреты. К примеру, Иоганн Ребергер попросил чат-бота создать сводку веб-страницы, на которой он сам написал большими буквами: «НОВЫЕ ВАЖНЫЕ ИНСТРУКЦИИ» — и это озадачило машину. Постепенно он заставлял ChatGPT выполнять самые разные команды. «Это как кричать на систему „А ну, делай это”», — пояснил Ребергер. По сути, он принудил ИИ перепрограммировать себя.
Методика «командных инъекций» оказалась работоспособной из-за важной особенности систем ИИ: они не всегда должным образом отличают системные команды от вводимых пользователями данных, пояснил профессор Принстонского университета Арвинд Нараянан (Arvind Narayanan). Это значит, что разработчикам ИИ следует уделять внимание не только классическим аспектам кибербезопасности, но и учитывать новые угрозы заведомо непредсказуемого характера.
Хочешь узнать больше - читай отзывы
← Вернуться на предыдущую страницу
Бадоєв зняв для Latexfauna чуттєвий ретрокліп. Відео 5 октября 2024
Український інді-гурт Latexfauna представив кліп на пісню Lucerna, автором якого став славнозвісний режисер Алан Бадоєв.
Задушив колишню заради її коштовностей та авто: подробиці жорстокого вбивства в Києві 5 октября 2024
Задушив колишню заради її коштовностей та авто: подробиці жорстокого вбивства в Києві. Фото і відео Підозрюваному загрожує довічне позбавлення волі
Невістка Бекхемів здивувала новою зачіскою. Фото 5 октября 2024
Ось з таким волоссям дівчина ще тиждень тому відвідала показ свекрухи