Штучний інтелект витрачає на запити деякими мовами до 180 разів більше енергії, ніж на англійську

Вчені з Мічиганського університету (University of Michigan) продемонстрували, що обробка запитів штучним інтелектом на різних мовах вимагає суттєво різних енергозатрат. В залежності від мови та моделі енергозатрати на обробку запитів на національних мовах можуть перевищувати показники для англомовних запитів у 1,4–180 разів.

Джерело зображення: ШІ-генерація ChatGPT/3DNews

Перевірка ШІ на мовну та енергетичну дискримінацію охоплювала 122 мови та п’ять варіантів моделей: Qwen 3 з 8, 14 та 32 млрд параметрів (розробник — Alibaba), Gemma 3 з 27 млрд параметрів (Google) та Llama 3.1 з 8 млрд параметрів (Meta✴). Для вимірювань використовувалася розроблена дослідниками система ML.Energy, що дозволяє оцінювати енергоспоживання під час виконання обчислень ШІ-моделями. В якості апаратної платформи застосовувалися два графічні прискорювачі NVIDIA — L40S та RTX 6000 Pro Blackwell.

Однією з основних причин різниці в енергоспоживанні для обробки запитів моделями ІІ на різних мовах виявилося збільшення кількості токенів — мінімальних одиниць тексту, на які модель розбиває вхідні дані та формує відповіді. Токенізатори, навчений переважно на латинському алфавіті, менш ефективно обробляли деякі інші системи письма, розбиваючи слова на більше число фрагментів.

Крім того, для мов з обмеженими ресурсами для навчання моделі часто генерували значно довші відповіді, іноді в 20–25 разів перевищуючи англійські за числом вихідних токенів. Збільшення кількості токенів підвищувало вимоги до пам’яті та змушувало обробляти запити меншими пакетами, що знижувало ефективність використання графічних процесорів і збільшувало енергозатрати.

У дослідженні максимальна різниця в енергоспоживанні на один вихідний токен досягала 8,3 разу, а загальні витрати на обробку одного й того ж набору запитів різнилися в 179 разів: від 17,6 кДж для англійської мови до 3147 кДж для пушту.

Особливо помітна різниця для мов, що не використовують латиницю і представлені меншим обсягом цифрових матеріалів для навчання ІІ. Наприклад, генерація тексту на хінді вимагає в середньому в 7,9 разів більше енергії, а на бенгальській — в 15,3 рази більше, ніж на англійській. Однак не варто сподіватися на латинський алфавіт: для більшості західноєвропейських мов також характерна різниця в енергозатратах на обробку запитів, і в порівнянні з англійською вона може бути двократною.

Дослідники також виявили зв'язок між енергозатратами та точністю відповідей: мови, що вимагають більше обчислювальних ресурсів, в середньому демонстрували гірші результати при виконанні тестових завдань. Для перевірки використовували тест Belebele на розуміння прочитаного на 122 мовах, математичні задачі GSM8K та набір відкритих користувацьких запитів LM-Arena. У додаткових експериментах англомовні завдання перекладалися на інші мови за допомогою системи Meta✴ No Language Left Behind.

За оцінкою дослідників, близько 5,2 млрд людей у світі говорять на мовах, обробка яких вимагає як мінімум удвічі більше енергії, ніж обробка англійської мови. Це буде збільшувати вартість використання комерційних ШІ-сервісів для людей з різних мовних груп, оскільки багато постачальників розраховують вартість послуг виходячи з кількості оброблених і згенерованих токенів.

«Більшість людей захоче використовувати моделі ШІ, ставлячи запитання на своїх рідних мовах, і це буде неминучим, оскільки ШІ впроваджується в усе більше сфер життя суспільства, але подвійний “штраф” [за неанглійську] підвищує ймовірність того, що деякі люди не зможуть дозволити собі ШІ, а компанії будуть неохоче надавати моделі на певних мовах», — роблять невтішний висновок автори роботи.

В якості можливих способів скорочення розриву автори пропонують створювати моделі, спеціально оптимізовані для окремих мов, направляти запити до найбільш підходящих мовних моделей або попередньо перекладати їх на англійську перед обробкою універсальною системою. Останній підхід, на їхню думку, застосовний за умови достатньо високої якості перекладу.

Ще одне напрямок — розширення навчальних корпусів за рахунок матеріалів на мовах, які поки недостатньо представлені в цифровому вигляді, в тому числі з залученням носіїв цих мов.

Хочеш дізнатися більше — читай відгуки