OpenAI навчила ШІ говорити і слухати одночасно

OpenAI відкрила через API доступ до новітньої голосової моделі штучного інтелекту, яка підтримує повнодуплексний режим, тобто вона може одночасно говорити і слухати. Це дозволяє розробникам створювати голосові додатки з новими сценаріями діалогового взаємодії.

Джерело зображення: Brecht Corbeel / unsplash.com

Модель OpenAI GPT-Live-1 була анонсована в липні — вона дозволяє вводити запити не текстом, а голосом. Спочатку вона була доступна лише через інтерфейс ChatGPT, а тепер може використовуватися через API. Полнодуплексний режим дозволяє GPT-Live-1 одночасно слухати і генерувати мову, що робить спілкування більш природним. У звичайній розмові люди часто говорять одночасно, і необхідність суворо дотримуватися черговості, як при полудуплексному радіозв'язку, може викликати роздратування.

Особливу увагу в OpenAI приділили можливостям налаштування моделі: розробники, які впроваджують GPT-Live-1, можуть адаптувати механізми голосового взаємодії та пов'язані з ними робочі сценарії під потреби користувачів додатків. «Основна перевага GPT-Live-1 — здатність штатно обробляти ситуації, коли співрозмовник перебиває ШІ, — вже приносить бізнесу відчутну користь: під час попереднього тестування сервісу Speak було встановлено, що GPT-Live-1 надає учням більше часу перед відповіддю віртуального викладача мови, скоротивши випадки з перебиванням на 80 % у порівнянні з попередніми системами, що працювали в режимі суворої черговості реплік», — розповіли в OpenAI.

GPT-Live-1 призначена для ведення усного діалогу, в той час як модель на бекенді, наприклад, флагманська GPT-6 Astra або більш економічна для простих завдань, займається пошуком інформації, працює з інструментами та керує завданнями. Нова модель є кроком вперед у порівнянні з випущеною в 2024 році Realtime. У тесті Tau3, який оцінює інтелектуальні можливості голосових агентів при виконанні завдань з обслуговування клієнтів, GPT-Live-1 набрала 86,2 %, а GPT-Realtime-2.1 і GPT-Realtime-2 показали 45,7 % і 42,4 % відповідно. Нова модель, за власними оцінками OpenAI, демонструє на 30 % вищу ефективність у тесті Full Duplex Bench у порівнянні з GPT-Realtime-2.1, перевершуючи попередницю за такими параметрами, як затримка при зміні говорячого та якість інтерактивного взаємодії. Її вже впровадили на сервісі Yelp Host — тепер бронювання столиків стало більш природним.

Вартість роботи з GPT-Live-1 становить $0,05 за хвилину плюс витрати на роботу моделі на бекенді. Вона також доступна через OpenAI Presence — корпоративну платформу для створення інтелектуальних агентів.

Хочеш дізнатися більше — читай відгуки