OpenAI випустила GPT-Realtime-2 та ще дві голосові моделі, але вони доступні лише через API

Компанія OpenAI оголосила про впровадження в API ряду нових можливостей голосового інтелекту, покликаних допомогти розробникам створювати додатки, здатні «говорити», розшифровувати та перекладати розмови з користувачами.

Джерело зображення: Zac Wolff/unsplash.com

Зокрема, розробникам через API Realtime тепер доступні три нові моделі голосового управління в реальному часі — GPT-Realtime-2, GPT-Realtime-Translate та GPT-Realtime-Whisper. Нові моделі підтримують більш природне голосове взаємодію, переклад в реальному часі та транскрипцію мови в текст з низькою затримкою.

Модель GPT-Realtime-2 створена для голосового взаємодії в реальному часі, маючи здатність аналізувати запити, викликати інструменти, обробляти виправлення та природно продовжувати розмову. На відміну від своєї попередниці GPT-Realtime-1.5, ця модель побудована на основі логіки класу GPT-5, розробленої для обробки більш складних запитів від користувачів.

GPT-Realtime-2 включає в себе такі нові можливості для голосових агентів:

• Преамбули: розробник може додати короткі фрази, наприклад, «дозвольте мені це перевірити», перед завершенням ШІ-агентом завдання.
• Паралельні виклики інструментів: модель може використовувати кілька інструментів одночасно, інформуючи користувача.
• Покращене відновлення: модель може більш коректно реагувати на помилки, замість того щоб завершувати роботу без коментарів.
• Розширений контекст: контекстне вікно збільшено з 32K до 128K.
• Покращене розуміння предметної області: модель краще запам'ятовує спеціалізовані терміни, власні імена та лексику, пов'язану зі здоров'ям.
• Управління тоном: модель може коригувати інтонацію в залежності від ситуації.
• Регульований рівень складності міркувань: розробники можуть вибирати між мінімальним, низьким, середнім, високим і надвисоким рівнями.

Модель GPT-Realtime-Translate призначена для надання послуг перекладу в реальному часі, «підтримуючи темп» розмови з користувачем. Модель підтримує понад 70 мов вводу (тобто мов, які вона може розуміти) та 13 мов виводу (мов, які вона передає говорячому). Повідомляється, що модель може зберігати сенс, підлаштовуючись під говорячого, навіть коли користувачі змінюють контекст, використовують регіональну вимову або специфічну для предмета лексику.

Модель GPT-Realtime-Whisper — це потокова модель транскрипції, створена для перетворення мови в текст з низькою затримкою.

«Запущені нами моделі перекладають аудіо в реальному часі з простого діалогу в голосові інтерфейси, які дійсно можуть працювати: слухати, міркувати, перекладати, транскрибувати та вживати дії в міру розвитку розмови», — повідомила компанія.

Вартість GPT-Realtime-2 становить $32 за 1 млн вхідних аудіотокенів, $0,40 за 1 млн кешованих вхідних токенів та $64 за 1 млн вихідних аудіотокенів. Вартість GPT-Realtime-Translate становить $0,034 за хвилину, а GPT-Realtime-Whisper — $0,017 за хвилину. Розробники можуть випробувати нові моделі на онлайн-платформі OpenAI Playground.

Хочеш дізнатися більше — читай відгуки