Apple створила ШІ, який генерує тексти в 128 разів швидше за аналоги

Розробники Apple та Університету штату Огайо створили нову дифузійну модель Few-Step Discrete Flow-Matching (FS-DFM), яка може писати тексти в 128 разів швидше за аналоги, повідомив ресурс 9to5mac.com з посиланням на дослідження «FS-DFM: швидка і точна генерація довгих текстів за допомогою мовних моделей дифузії з малою кількістю кроків».

Джерело зображення: Jackson Sophat/unsplash.com

Згідно з дослідженням, FS-DFM здатна записувати повні текстові фрагменти всього за вісім швидких кроків уточнення. Для отримання аналогічного результату з іншими моделями дифузії потрібно більше тисячі кроків.

Для цього дослідники використовують трьохетапний підхід: спочатку модель навчається обробляти різні види ітерацій уточнення. Потім вони використовують направляючу модель «вчителя», яка допомагає їй робити більш значні та точні оновлення на кожній ітерації, не виходячи за межі заданого тексту. І, нарешті, вони виконують корекцію роботи кожної ітерації, щоб кінцевий результат був досягнутий за меншу кількість кроків при більш стабільній роботі моделі.

В порівнянні з більшими моделями дифузії, FS-DFM показала хороші результати за двома важливими метриками: перплексією та ентропією. Показник перплексії відображає якість тексту в мовних моделях. Чим він нижчий, тим точніше і природніше звучить текст. Ентропія відображає, наскільки впевнено модель обирає кожне слово. Якщо ентропія занадто низька, текст може стати повторюваним або передбачуваним, але якщо вона занадто висока, він може виглядати беззмістовним з випадковим набором слів.

В порівнянні з моделями дифузії Dream з 7 млрд параметрів та LLaDA з 8 млрд параметрів, варіанти FS-DFM з 1,7 та 1,3, а також 0,17 млрд параметрів стабільно забезпечували меншу перплексію та більш стабільну ентропію протягом усієї кількості ітерацій.

Розробники повідомили, що «планують опублікувати код і контрольні точки моделі для полегшення відтворюваності та подальших досліджень».

Хочеш дізнатися більше — читай відгуки