Google представила ШІ-прискорювачі TPU 8tx та TPU 8i Max, спеціально розроблені для забезпечення конфіденційності та роботи з великими контекстами

Google розширила свою лінійку тензорних процесорів (TPU) восьмого покоління, представивши TPU 8tx для безпечного та конфіденційного виконання логічних операцій (інференсу) та TPU 8i Max для роботи з величезними контекстними вікнами. За словами компанії, ці системи оптимізовані для завдань з використанням ШІ-агентів. Головними пріоритетами при їх створенні стали безпека, висока щільність обчислень та покращені можливості логічного висновку.

Джерело зображень: Google

Перші TPU (Tensor Processing Units) були розроблені Google більше десяти років тому для задоволення внутрішніх потреб компанії. Пройшовши через вісім поколінь, сфера застосування TPU значно розширилася: тепер вони використовуються для навчання та запуску ШІ-моделей Gemini, роботи ШІ-агентів, надання послуг клієнтам Google Cloud, а також для розгортання TPU безпосередньо в дата-центрах клієнтів компанії.

У квітні, на конференції Google Cloud Next, компанія представила два нових спеціалізованих TPU: 8t — для масштабного навчання моделей, і 8i — для виконання логічних операцій в режимі реального часу. За даними компанії, у порівнянні з попереднім поколінням TPU 8t забезпечують до 2,7 разів вищу продуктивність при навчанні, а TPU 8i — на 80 % вигідніше співвідношення ціни та продуктивності при виконанні логічних операцій.

Сьогодні лінійка TPU Google восьмого покоління поповнилася ще двома системами: TPU 8i Max, призначеною для роботи з величезними контекстними вікнами та забезпечуючою максимальну обчислювальну щільність на одну стійку, і TPU 8tx, створеною для безпечного та конфіденційного виконання логічних операцій.

Компанія підкреслила, що представляє не просто чіпи, а системи на базі TPU. Розробка нового чіпа — це багаторічний процес, що включає розміщення мільярдів мікроскопічних транзисторів на кремнієвій пластині; він обмежений законами фізики та складним, тривалим виробничим циклом. Система ж — це спосіб об'єднання обчислювальних потужностей, мережевих ресурсів та систем зберігання даних навколо чіпа. Сюди входить, зокрема, компоновка цих елементів разом із чіпами, що дозволяє оперативно реагувати на виникаючі потреби клієнтів і нові сценарії використання в дослідженнях.

Оскільки програмне забезпечення для ШІ розвивається набагато швидше, ніж технології виробництва чіпів, розробники тензорних процесорів зробили ставку на системний баланс і модульність, спроектувавши TPU як своєрідні «будівельні блоки» для системи AI Hypercomputer. Кожна система в лінійці TPU восьмого покоління призначена для вирішення конкретних завдань на різних етапах життєвого циклу ШІ.

TPU 8t спроектований як потужний інструмент для навчання масштабних базових моделей (foundation models), забезпечуючи максимальний показник «корисної продуктивності» (goodput) — тобто обсяг «корисного інтелекту», отримуваного на кожен ват витраченої енергії.

TPU 8i — це обчислювальний модуль для завдань логічного висновку (reasoning), розроблений для подолання «бар'єра пам'яті» (memory wall) і скорочення затримок при обміні даними між чіпами — до 50 %.

TPU 8tx — система, призначена для безпечного та конфіденційного виконання логічних операцій (інференсу). Вона розроблена для державних організацій та компаній, що працюють у строго регульованих галузях, яким необхідно використовувати передові або пропрієтарні моделі та автономних агентів, працюючи при цьому з найбільш чутливими даними.

TPU 8tx забезпечує безпеку на апаратному рівні. Це дозволяє зберігати конфіденційні дані та ваги моделей захищеними та ізольованими навіть у процесі їх активного використання. Завдяки впровадженню мережі Boardfly з низькою затримкою, TPU 8tx забезпечує ефективну роботу багатоетапних агентів. Затримка при цьому скорочується вдвічі в порівнянні з TPU 8t, практично без втрати продуктивності.

З допомогою TPU 8tx команди можуть дообучати (fine-tune) моделі на власних закритих даних, виконувати дистиляцію великих моделей у більш компактні версії, а також навчати агентів методами навчання з підкріпленням — і все це без необхідності переміщати конфіденційні дані між різними кластерами.

Система TPU 8i Max створена для подолання так званого «бар'єра пам'яті» (memory wall). Вона об'єднала два чіпи TPU 8i в єдиний модуль. У TPU 8i Max обчислювальна потужність і обсяг пам'яті масштабуються синхронно: система пропонує вдвічі більше обчислювальних ресурсів, вдвічі більше SRAM-пам'яті та вдвічі вищу пропускну здатність HBM-пам'яті в порівнянні з TPU 8i.

Це гарантує, що процесори завжди забезпечені необхідними даними, а виконання масштабних завдань не переривається через нестачу ресурсів. Крім того, оскільки TPU 8i Max вміщує вдвічі більше кремнієвих компонентів в рамках тих же габаритів, що й попередні рішення, дата-центри можуть значно збільшити обчислювальну потужність на одиницю площі та на ват споживаної енергії.

Таким чином, чотири системи TPU восьмого покоління забезпечують гнучкість для різних типів робочих навантажень і надають клієнтам спеціалізовані прискорювачі для кожного етапу життєвого циклу інтелектуальних агентів (agentic lifecycle). TPU 8t призначені для масштабованого навчання моделей, TPU 8i — для виконання логічних операцій (інференсу) з низькою затримкою, TPU 8tx — для конфіденційних обчислень, а TPU 8i Max — для роботи з величезними контекстними вікнами та забезпечення максимальної обчислювальної щільності на одну стійку.

Одночасно з розробкою нових TPU, Google прагне зробити їх використання таким же простим, як і роботу з універсальним обладнанням. Зокрема, розробникам на PyTorch більше не доведеться переписувати код — минулого місяця Google відкрила вихідний код TorchTPU. Тепер код на PyTorch і моделі з бібліотеки Hugging Face можуть нативно виконуватися на TPU. Крім того, компанія забезпечила підтримку TPU для популярних рушіїв інференсу з відкритим вихідним кодом, таких як vLLM і SGLang.

Google випустила набір інструментів TPU Agent, який поки доступний у режимі попереднього перегляду. Він інтегрується в такі середовища розробки, як Claude Code, Cursor і Google Antigravity, дозволяючи швидко налаштувати роботу з TPU, виявити вузькі місця та автоматично оптимізувати користувацькі ядра за допомогою простих текстових запитів. Для промислового розгортання компанія пропонує новий рушій XLA Serving Engine з відкритим вихідним кодом: він дозволяє навчати моделі на Python, а потім запускати їх у високопродуктивному середовищі C++ з низькою затримкою — на TPU, GPU або CPU.

Хочеш дізнатися більше — читай відгуки