OpenAI роками нехтувала захистом від шпигунства заради гонки штучного інтелекту і тепер її розробки під загрозою

Коли в жовтні OpenAI повідомила, що в конференц-залі для керівництва було виявлено прослуховуючий пристрій, багато колишніх співробітників компанії не здивувалися цьому інциденту. Деякі з них висловлювали занепокоєння з цього приводу ще до того, як у 2022 році був запущений ChatGPT. Вони донесли свої побоювання до вищого керівництва, але склалося враження, що тому було важливіше не відставати від конкурентів на кшталт Google та Anthropic, ніж займатися питаннями безпеки.

Джерело зображень: Brecht Corbeel / unsplash.com

Співробітники OpenAI вказували, що заходи контролю в компанії були вкрай слабкими, і сторонні особи, в тому числі іноземці, могли відносно легко отримати доступ до конфіденційної інформації про технології лабораторії штучного інтелекту. І лише зараз компанія почала змінювати свою стратегію, щоб вирішити проблеми з безпекою — відповідальний за розробку продуктів Тибо Соттіо (Thibault Sottiaux) перевів частину інженерів, які займалися виробничими системами, на завдання з удосконалення інфраструктури безпеки.

З моменту запуску ChatGPT наприкінці 2022 року технології ШІ стали для США стратегічним активом, і американські компанії змушені захищати свої розробки від іноземних конкурентів. З іншого боку, введення додаткових рівнів захисту може сповільнити прогрес у розвитку технологій ШІ і навіть ускладнити плани OpenAI та Anthropic щодо виходу на біржу — вони можуть увійти до числа найдорожчих компаній у світі. В умовах жорсткої конкуренції лідери в галузі ШІ «не можуть жертвувати швидкістю заради безпеки. Для них важливіше рухатися швидко, ніж забезпечувати безпеку — навіть перед обличчям найсерйозніших державних супротивників», зазначив нещодавно колишній дослідник OpenAI Уілл ДеПью (Will DePue), який залишив компанію в квітні.

Офіційна позиція OpenAI інша. Компанія є однією з головних цілей для зловмисників у всьому світі, заявила представниця організації Елана Відманн (Elana Widmann). OpenAI вкладає значні кошти в програму безпеки, спрямовану на захист від загроз з боку інсайдерів, кіберзлочинців та іноземних держав. Однак 13 жовтня американський мінюст повідомив про арешт громадянина Саудівської Аравії, якому пред'явили обвинувачення в установці прихованого записуючого пристрою — він був схований у рулоні паперових рушників у конференц-залі для керівництва. На той момент 35-річний Абдулрахман Альфозан (Abdulrahman Alfozan) працював інженером в OpenAI.

За версією слідства, він за допомогою внутрішньої ШІ-системи для співробітників компанії намагався знайти інформацію про візити керівництва до Саудівської Аравії та встановити, хто з представників OpenAI, ймовірно, зустрічатиметься з саудівськими міністрами. Альфозан підтримував регулярні контакти з членом королівської родини Саудівської Аравії.

Будь-який, хто мав доступ до вихідного коду, міг ознайомитися з деталями безлічі проектів компанії, в тому числі конфіденційних, які не мали відношення до його службових обов'язків. Значна частина коду OpenAI зберігається в єдиному репозиторії. Цей монорепозиторій настільки об'ємний і складний, що в минулому це, можливо, відлякувало деяких зловмисників, але зараз такий масив даних під силу проаналізувати ШІ-агентам. Частину своєї дослідницької документації компанія також зберігала на платформах GitHub і Slack, де зловмисники могли виявити критично важливу інформацію — згодом доступ до конфіденційних робочих матеріалів був обмежений.

Значна частина найбільш конфіденційних розробок компанії зараз зберігається в окремих репозиторіях коду зі строгим контролем доступу, підкреслили в OpenAI. В основному монорепозиторії міститься далеко не весь код — там, зокрема, відсутні ваги ІІ-моделей. В OpenAI не проводилися регулярні перевірки безпеки внутрішніх інструментів, в тому числі пісочниць, які використовуються при стрес-тестах нових моделей. Співробітники часто модифікували їх для вирішення своїх завдань, але такі зміни не завжди проходили перевірку на вразливості, і зростав ризик атаки ззовні.

В жовтні 2024 року на посаду директора з інформаційної безпеки вступив Дейн Стаки (Dane Stuckey), і тепер перевірки безпеки внутрішніх інструментів проводяться регулярно, стверджують в OpenAI. При цьому і OpenAI, і Anthropic прагнуть підтримувати відкриту дослідницьку культуру, яка допомагає залучати фахівців і стимулювати творчий підхід, здатний призвести до проривних відкриттів. Галузь ШІ історично тісно пов'язана з академічним середовищем, де дослідники, що займаються машинним навчанням, звикли відкрито обговорювати свої проекти.

Деякі співробітники OpenAI все більше стурбовані таким підходом у міру розширення можливостей систем ШІ. Ще в 2023 році, працюючи тоді дослідником у компанії, Леопольд Ашенбреннер (Leopold Aschenbrenner) вказав, що Китай може проникнути в системи OpenAI і отримати доступ до її технологій — відповідну внутрішню записку він передав деяким членам ради директорів після того, як сторонній зловмисник дійсно зламав системи компанії і викрав відомості про модель GPT-4. Тоді в OpenAI пояснили, що він отримав доступ лише до відкритих для всіх співробітників компанії каналів у месенджері Slack.

А в липні троє співробітників стартапу Hacktron AI за допомогою моделей Anthropic зламали належні співробітникам OpenAI облікові записи ChatGPT. Це допомогло їм отримати доступ до єдиного репозиторію коду компанії. Вона подякувала дослідникам за надану інформацію і вжила заходів, щоб зменшити загрозу таких атак у майбутньому.

Хочеш дізнатися більше — читай відгуки