Дива оптимізації: китайці в 149 разів прискорили роботу нейромереж без підвищення продуктивності чіпів

Не секрет, що в гонитві за чимось будь-якими засобами першою страждає оптимізація процесів. Усі проблеми з ресурсоємними ШІ якраз про це. Про оптимізацію згадують лише тоді, коли ресурс для продовження гонки підходить до кінця або його перестає вистачати всім. Своїми санкціями США поставили китайських розробників у становище, коли оптимізація стає єдиним виходом з кризи дефіциту ресурсів. Але це не просто вихід — це шанс на прорив.

Джерело зображення: ШІ-генерація ChatGPT/3DNews

Зокрема, дослідники з Пекінського університету створили експериментальну обчислювальну систему, в якій кілька звичайних електронних процесорів обмінювалися даними через кремнієві фотонні передавачі та оптичний комутатор. Під час експериментів платформа виконала нейронну задачу шумоподавлення майже в 149 разів швидше графічного процесора, хоча її номінальна обчислювальна продуктивність становила лише близько 11,6 % від продуктивності GPU: приблизно 1,97 проти 16,96 Тфлопс.

Система складалася з п’яти програмованих логічних матриць FPGA (ПЛІС), на кожній з яких був розміщений один шар п’ятишарової згорткової нейронної мережі. Між платами були встановлені кремнієві фотонні трансивери зі швидкістю 400 Гбіт/с та оптичний комутатор 16 × 16. Чотири канали передачі даних по 100 Гбіт/с передавалися по спільному волокну на чотирьох довжинах хвиль. Комутатор мав втрати менше 5 дБ і теоретично міг з’єднувати до 16 обчислювальних чипів з сукупною пропускною здатністю 6,4 Тбіт/с.

Головною перевагою рішення стала конвеєрна обробка. Кожна ПЛІС постійно виконувала обробку свого шару нейронної мережі і відразу передавала проміжний результат наступному чипу по оптичному каналу. Завдяки цьому не вимагалося після обробки кожного шару зберігати дані у зовнішній пам’яті, а потім завантажувати їх назад — саме такі операції створюють так звану «стіну пам’яті» і гальмують роботу GPU. Тисяча зображень розміром 32 × 32 пікселя була оброблена за 105,16 мкс, тоді як контрольний GPU витратив на ті ж операції 15,643 мс, а ефективність використання обчислювальних блоків ПЛІС досягла вражаючих 94,7 %.

Для експерименту вчені використали просту п’ятишарову нейронну мережу з ядрами 5 × 5 та набір даних Fashion-MNIST. Було б заманливо побачити подібні експерименти з великими мовними або іншими сучасними генеративними моделями. Поки цього немає, але вже зараз досвід дає наочне уявлення про величезний резерв прискорення ШІ при правильній оптимізації.

«Конкретні задачі можуть бути реалізовані при обмежених обчислювальних ресурсах, коли спільно розробляються алгоритми, мікроархітектури процесорів і з’єднання на рівні чипів, — розумно зазначають автори роботи. — Ця структура також може знизити нераціональне споживання енергії в центрах обробки даних і оптимізувати затримку або споживання в сценаріях з передовими обчисленнями».

Хочеш дізнатися більше — читай відгуки