Дослідники попередили про небезпеку ШІ-моделей з відкритим вихідним кодом

Спільне дослідження, проведене протягом 293 днів компаніями з кібербезпеки SentinelOne та Censys, показало масштаби потенційно незаконних сценаріїв використання тисяч розгорнуті великих мовних моделей з відкритим вихідним кодом. До них належать злом, розпалювання ненависті та переслідування, спам, фішинг, контент зі сценами насильства або жорстокості, крадіжка особистих даних, шахрайство та матеріали, пов'язані з сексуальним насильством над дітьми.

Джерело зображення: unsplash.com

Дослідники стверджують, що зловмисники можуть легко отримати доступ до комп'ютерів, на яких запущені великі мовні моделі (Large language model, LLM) з відкритим вихідним кодом, а потім використовувати їх для масової розсилки спаму, створення фішингового контенту або дезінформаційних кампаній, обходячи протоколи безпеки платформи.

Хоча існують тисячі варіантів LLM-систем з відкритим вихідним кодом, значна частина доступних моделей є варіантами Meta Llama, Google DeepMind Gemma та деяких інших. Хоча деякі LLM включають в себе механізми захисту, дослідники виявили сотні випадків, коли ці механізми були навмисно вимкнені. На думку виконавчого директора з досліджень у сфері розвідки та безпеки SentinelOne Хуана Андреса Герреро-Сааде, у дискусіях індустрії ШІ про заходи безпеки «ігнорується цей надмірний потенціал, який явно використовується для найрізноманітніших цілей, деякі з яких законні, а деякі явно злочинні».

У дослідженні були проаналізовані загальнодоступні платформи на базі Ollama. Приблизно в чверті спостережуваних моделей дослідники змогли побачити системні підказки — інструкції, що визначають поведінку моделі. Приблизно 7,5 % таких підказок потенційно можуть використовуватися для шкідливої діяльності. Близько 30 % спостережуваних дослідниками хостів розташовані на території Китаю, а близько 20 % — у США.

Генеральний директор і засновник «Глобального центру з управління ШІ» (Global Center on AI Governance) Рейчел Адамс вважає, що після випуску відкритих моделей відповідальність за подальші дії розподіляється між усіма учасниками екосистеми, включаючи лабораторії-джерела. «Лабораторії не несуть відповідальності за кожне наступне зловживання, але вони зберігають важливу обов'язок передбачати можливу шкоду, документувати ризики та надавати інструменти та рекомендації щодо їх пом'якшення, особливо враховуючи нерівномірність глобальних можливостей щодо забезпечення дотримання законодавства», — заявила Адамс.

Представник Meta відмовився відповідати на запитання про відповідальність розробників за вирішення проблем, пов'язаних із подальшим зловживанням моделями з відкритим вихідним кодом, і про те, як можна повідомляти про такі проблеми, але зазначив наявність у компанії інструментів Llama Protection для розробників Llama, а також керівництва Meta Llama Responsible Use Guide.

Представник Microsoft заявив, що моделі з відкритим вихідним кодом «відіграють важливу роль» у різних сферах, але визнав, що «відкриті моделі, як і всі трансформуючі технології, можуть бути використані зловмисниками не за призначенням, якщо вони випущені без належних заходів захисту».

Врешті-решт, такі відповідальні відкриті інновації, як запуск доступних моделей ШІ з відкритим вихідним кодом, вимагають співпраці між творцями, розробниками, дослідниками та групами безпеки.

Хочеш дізнатися більше — читай відгуки