Плюшевий ведмедик з ШІ провалився — він почав говорити на фривольні та небезпечні теми, продажі зупинені

Оскільки одноманітні циліндричні «розумні колонки» орієнтовані на діалог з більш дорослою аудиторією, виробники іграшок вирішили взяти на озброєння штучний інтелект для освоєння звичного ринку в новій якості. Приклад сингапурської FoloToy показує, що без необхідної цензури подібні ініціативи можуть завершитися ринковим провалом.

Джерело зображення: FoloToy

Як повідомляє CNN, дослідники з американського освітнього фонду PIRG забили тривогу після того, як виявили, що оснащена голосовим асистентом лінійка іграшок компанії FoloToy, включаючи плюшевого ведмедика Кумму, здатна підтримувати бесіди на виключно дорослі теми, що стосуються статевих відносин, а також давати поради щодо підпалювання сірників або отримання доступу до ріжучих предметів.

FoloToy оснащує дитячі іграшки розумною колонкою, захованою всередині, яка спирається на GPT-4o для взаємодії з користувачами — переважно малолітніми. Як встановили автори дослідження, плюшевий ведмідь Кумма досить швидко в рамках експерименту перейшов на опис пікантних подробиць сексуального характеру і навіть почав пропонувати свої сценарії для відповідних дій і рольових ігор, що межують з перверзіями. Дослідників здивувало, наскільки далеко можуть зайти такі бесіди за участю технологічного рішення, орієнтованого на дитячу аудиторію.

Компанія FoloToy після публікації цього звіту була змушена призупинити продаж своїх ІІ-іграшок, а OpenAI заявила про призупинення співпраці з розробниками супутнього програмного забезпечення. У будь-якому випадку, це лише приватний приклад тривожних проявів «вседозволеності» у світі штучного інтелекту, і для боротьби з ними на глобальному рівні потрібні системні заходи.

Хочеш дізнатися більше — читай відгуки