Податок на рідну мову: спілкування з ШІ не англійською обходиться до 17 разів дорожче

Дослідники довели появлення нового виду цифрової нерівності. Якщо двадцять років тому під цим розуміли обмеження доступу до інтернету, то з появою штучного інтелекту з'ясувалося, що вартість обробки запитів суттєво відрізняється для найбільш і найменш поширених мов. Це обмежує носіїв рідкісних мов і робить їх вразливішими.

Джерело зображення: ШІ-генерація ChatGPT/3DNews

Дослідники розглядають різницю у вартості токенізації для поширених і малопоширених мов як приховану нерівність: обробка одного й того ж за змістом тексту різними мовами вимагає суттєво різної кількості токенів. Про цю проблему повідомила Коаліція за мовну рівність у дослідженнях ІІ (CLEAR). Автори назвали її «податком токенізатора» (tokenizer tax).

Токени — це фрагменти тексту, аудіо- або відеозапису, на які спеціальний алгоритм — токенізатор — розбиває вхідні дані перед обробкою мовною моделлю. Оскільки багато комерційних ШІ-сервісів розраховують вартість використання моделей за кількістю токенів, розбивка тексту на більшу їх кількість збільшує витрати користувачів, які працюють на мовах, відмінних від англійської.

Дослідники порівняли обробку запитів різними мовами, використовуючи корпус текстів FLORES-200, що містить паралельні переклади речень приблизно на 200 мовах. Згідно з опублікованими результатами, серед 20 найбільш поширених в інтернеті мов різниця в кількості токенів між найбільш і найменш ресурсомісткими варіантами запитів становила від 1,5 до 5 разів залежно від моделі.

При розширенні вибірки до 200 мов розрив для окремих моделей досягав 17 разів. Наприклад, текст на малаялам (одному з мов південної Індії) може розбиватися на більшу кількість фрагментів, ніж еквівалентний англійський текст. У наведеному нижче прикладі одна й та ж фраза англійською та малаялам вимагає відповідно 13 і 26 токенів. При цьому важливо розуміти, що строгого співвідношення вартості обробки запитів на різних мовах немає: все залежить від тексту та контексту, хоча англійська мова, очевидно, в більшості випадків матиме перевагу.

Ще одне обмеження, окрім різниці у вартості обробки запитів, пов'язане зі скороченням доступного обсягу контексту. Це може бути навіть важливіше, оскільки прослідковується чітка тенденція до зниження вартості токенів. При однаковому ліміті токенів для контексту більш ресурсомістка мова залишає менше місця для документів, попередніх повідомлень, історії взаємодії та інших даних.

Нарешті, додаткові токени можуть збільшувати обчислювальне навантаження та затримку відповіді. Особливо помітні проблеми виявлені для мов, що використовують письмовості, недостатньо представлені в навчальних даних токенізаторів. Серед них дослідники виділяють бірманську, тибетську, кхмерську та лаоську мови, а також мови, що використовують письмовості тифінаг і ол-чики. При цьому рідкість мови сама по собі не визначає результат: астурійська, наприклад, може отримувати перевагу завдяки латинському алфавіту та схожості з іншими романськими мовами.

Як можливі способи зменшення розриву фахівці пропонують розширити представлення якісних багатомовних даних у навчальних вибірках і цілеспрямовано розробляти токенізатори для різних письмовостей. Однак збільшення обсягу даних саме по собі не гарантує усунення проблеми: алгоритми розбивки тексту також необхідно вдосконалювати. Важливо пам'ятати, що нічого не відбувається саме по собі, і розробники ШІ-моделей повинні проникнутися ідеєю скорочення цифрової нерівності в сфері штучного інтелекту.

Хочеш дізнатися більше — читай відгуки