Клод покращив результати в три рази завдяки оболонці

Згідно з дослідженням Nvidia, програмна оболонка, а не базова модель, особливо важлива при вирішенні ШІ-завдань у довгостроковій перспективі.

Джерело зображення: Steve A Johnson/unsplash.com

У рамках дослідження завдяки спеціальній програмній оболонці для ефективного управління пам'яттю, доповненої компонентом, подібним до «супервізора», дослідники досягли того, що Claude Opus 5 набрала 100 % балів в інтерактивному тесті ARC-AGI-3 — наборі 2D-ігор без інструкцій, де модель повинна зрозуміти, як грати і перемагати, подібно до людини. Без оболонки Opus 5 набрала 30 % балів, що стало найкращим результатом серед усіх протестованих моделей.

Результати дослідження підтверджують, що, хоча вибір моделі має значення, вона все ж є значно меншою частиною агентної системи, ніж вважають багато хто, особливо для довгострокових завдань. Система управління — ось що робить модель агентом: вона обробляє пам'ять, контекст і зворотний зв'язок. Визначення того, як змусити ШІ виконувати завдання з тривалим горизонтом планування, не відволікаючись і не зациклюючись на одному місці, є однією з головних цілей досліджень у сфері ШІ-агентів.

«В цілому світ сприймає агента майже як API моделі», — повідомив ресурсу TechCrunch Адель Ель Халлак (Adel El Hallak), віце-президент з продуктів підрозділу ШІ Nvidia, зазначивши, що агент наразі — це нещо більше. «Це модель. Це структура навколо моделі, яку ми називаємо допоміжними засобами, тобто набором інструментів, які ви використовуєте. Це середовище виконання, а також пов'язані з ним навички та бібліотеки, до яких ми надаємо вам доступ», — розповів Ель Халлак. Він підкреслив важливість введення супервізорного агента на додаток до основного агента, який виконує роботу. На його думку, він «діє майже як генеральний директор, підштовхуючи агента, коли той відхиляється від курсу або починає досліджувати шлях, який може призвести в глухий кут, або повторно досліджує шлях, яким уже йшов».

Компанія OpenAI, чиї моделі набрали менше 10 % у тесті ARC-AGI-3, минулого місяця провела власне дослідження і виявила, що проста заміна двох параметрів у тестовому середовищі утричі підвищила показники моделей.

Хочеш дізнатися більше — читай відгуки