Google створила і продемонструвала в дії штучний інтелект, який змушує роботів спочатку думати, а потім діяти

Компанія Google DeepMind представила дві нові моделі штучного інтелекту (ШІ) для робототехніки Gemini Robotics 1.5 та Gemini Robotics-ER 1.5, які спільно реалізують підхід, за якого робот спочатку «обдумує» задачу, а лише потім виконує дію. Технологія базується на генеративних ШІ-системах і покликана подолати обмеження сучасних роботів, які потребують тривалої налаштування під кожну конкретну задачу.

Джерело зображення: Google

Генеративні ШІ-системи, здатні створювати текст, зображення, аудіо та навіть відео, стають все більш поширеними. Подібно до того, як такі моделі генерують зазначені типи даних, вони також можуть видавати послідовності дій для роботів. Саме на цьому принципі побудовано проєкт Gemini Robotics від Google DeepMind, в рамках якого анонсовано дві взаємодоповнюючі моделі, що дозволяють роботам «думати» перед тим, як діяти. Хоча традиційні великі мовні моделі (LLM) мають ряд обмежень, впровадження симульованого міркування значно розширило їх можливості, і тепер аналогічний прорив може відбутися в робототехніці.

Команда Google DeepMind вважає, що генеративний ШІ здатний кардинально змінити робототехніку, забезпечивши роботам універсальну функціональність. На відміну від сучасних систем, які потребують місяців налаштування під одну вузькоспеціалізовану задачу і погано адаптуються до нових умов, нові ШІ-підходи дозволяють роботам працювати в незнайомих середовищах без перепрограмування. Як зазначила Кароліна Парада (Carolina Parada), керівник напрямку робототехніки в DeepMind, роботи на сьогодні «надзвичайно спеціалізовані і складні в розгортанні».

Для реалізації концепції DeepMind розробила Gemini Robotics-ER 1.5 та Gemini Robotics 1.5. Перша — це модель «зір–мова» (VLM) з функцією втіленого міркування (embodied reasoning), яка аналізує візуальні та текстові дані, формує покроковий план виконання задачі і може підключати зовнішні інструменти, наприклад, пошук Google для уточнення контексту. Друга — модель «зір–мова–дія» (VLA), яка перетворює отримані інструкції в фізичні дії робота, одночасно коригуючи їх на основі візуального зворотного зв'язку та власного процесу «обдумування» кожного кроку. За словами Канішки Рао (Kanishka Rao) з DeepMind, ключовим проривом стало наділення робота здатністю імітувати інтуїтивні міркування людини, тобто думати перед тим, як діяти.

Розробники наочно продемонстрували, як працюють нові моделі — наділений Gemini Robotics 1.5 гуманоїдний робот Apollo на відео пакує речі для поїздки, а інший робот Aloha 2, точніше пара роботизованих рук — сортує сміття.

Обидві моделі базуються на фундаментальній архітектурі Gemini, але додатково дообучені на даних, що відображають взаємодію з фізичним світом. Це дозволяє роботам виконувати складні багатоступеневі завдання, наближаючи їх до рівня автономних агентів. При цьому система демонструє кросплатформену сумісність. Зокрема, навички, впроваджені в одного робота, наприклад, на дворукого Aloha 2, можуть бути перенесені на іншого, включаючи гуманоїда Apollo, без додаткового налаштування під конкретну механіку.

Незважаючи на ймовірний технологічний прорив, практичне застосування технології поки обмежене. Модель Gemini Robotics 1.5, що відповідає за управління роботами, доступна лише довіреним тестувальникам. Водночас Gemini Robotics-ER 1.5 вже інтегрована в Google AI Studio, що дає розробникам можливість генерувати інструкції для власних експериментів з фізично втіленими роботами. Однак, як вважає Райан Уітвам (Ryan Whitwam) з Ars Technica, до появи побутових роботів, здатних виконувати повсякденні завдання, ще потрібно пройти значний шлях.

Хочеш дізнатися більше — читай відгуки