Дефіцит змусив Google розбирати старі сервери на пам'ять

Світовий дефіцит пам'яті змушує великих операторів центрів обробки даних вдаватися до нестандартних заходів. Старший директор з інфраструктури ланцюга постачання Google Cloud Ніхіл Черіан (Nikhil Cherian) повідомив, що Google почала розбирати списані сервери та витягувати з них придатні для повторного використання модулі DDR4.

Джерело зображення: cloud.google.com

Google розробила спеціальні апаратні адаптери, які дозволяють підключати пам'ять попереднього покоління, зокрема DDR4, до нових серверів для систем штучного інтелекту. Для цього компанія повертає списані сервери, розбирає їх і витягує придатні для повторного використання модулі пам'яті. За словами Черіана, ШІ-індустрія швидко перейшла від обмежень, пов'язаних із обчислювальними ресурсами, до обмежень, пов'язаних із пам'яттю. Високопродуктивна пам'ять тепер становить понад 75 % вартості комплектуючих типового ШІ-сервера.

Дефіцит супроводжується стрімким зростанням цін. За прогнозом TrendForce, у III кварталі серверна DRAM подорожчає на 13–18 %, а пам'ять для ПК — на 18–23 %. Оцінки Goldman Sachs близькі до цих значень: аналітики очікують зростання відповідно приблизно на 18 і 17 %. У серпні спотові ціни на 8-Гбайт модулі DDR4 і DDR5 досягли $142 і $133 відповідно.

Зростання цін і дефіцит пам'яті змушують технологічні компанії шукати способи скоротити обсяг пам'яті, необхідний на одиницю обчислювальної потужності. Google вирішує проблему одночасно на апаратному та програмному рівнях, оптимізуючи бібліотеки, архітектуру моделей і алгоритми стиснення KV-кеша.

На зменшення залежності від зовнішньої пам'яті орієнтовані й нові ШІ-ускорювачі Google. Зокрема, призначений для інференсу TPU8i використовує багаторівневу ієрархію пам'яті: кожен ускорювач оснащений 288 Гбайт HBM3E, а серверна система використовує DDR5 для завдань, що виконуються на рівні хоста. Однак дефіцит DRAM виявився настільки серйозним, що в деяких сценаріях Google вирішила встановлювати замість DDR5 витягнуті зі списаних серверів модулі DDR4.

Таким чином, дефіцит пам'яті змусив одного з найбільших операторів ШІ-інфраструктури не лише оптимізувати нові ускорювачі та програмне забезпечення, але й організувати внутрішній ланцюг повторного використання компонентів старих серверів.

Хочеш дізнатися більше — читай відгуки