ШІ генерує стільки коду, що Anthropic не встигає його обробляти

Моделі штучного інтелекту Anthropic Claude почали генерувати стільки програмного коду, що існуюча інфраструктура розробки в компанії перестала справлятися з навантаженням. Вирішенням проблеми стала власна система контролю версій Scion.

Джерело зображення: anthropic.com

Для Anthropic написання коду перестало бути вузьким місцем, що обмежує темпи роботи компанії; головна проблема перемістилася в бік управління кодом після його створення: контроль версій, системи збірки та безперервної інтеграції. Якщо в травні в середовищі розробки Anthropic було близько 2500 злиттів на день, то до вересня цей показник досяг 30 000. Темпи розробки тільки зростають, «і усунення будь-якої перешкоди негайно призводить до подальшого збільшення обсягу створюваного коду», зазначили в компанії. В Anthropic розробили власну систему контролю версій Scion на базі монорепозиторію; процес міграції тривав п’ять місяців.

Висока продуктивність Claude у написанні коду не лише породила проблему, але й слугувала підказкою до її вирішення — знадобилися масштабовані інструменти інфраструктури. Окрім Scion, ШІ створив інтерфейс для код-рев’ю Antique, засіб пошуку по коду та систему управління правами доступу до вихідного коду. Реалізований у Git децентралізований підхід оптимальний для більшості репозиторіїв; але в самій компанії основна гілка репозиторію має розмір близько 100 Гбайт, а стиснена робоча копія — близько чверті цього обсягу. Щодня проводиться понад 25 млн операцій з витягування коду, і при звичайному підході до завантаження обсяг трафіку Git перевищив би 600 Пбайт на добу.

Систему Scion розробили з урахуванням потреб ШІ-агентів, тому значну частину роботи довелося перекласти з клієнтської на серверну частину. Запити до системи здійснюються через API, завдяки чому внутрішні інструменти обходяться без локального репозиторію — потреба в синхронізації зменшується, а вимоги до швидкості роботи сервера, навпаки, зростають.

Роботу над системою Scion почали в січні, і коли всередині компанії з’явився доступ до моделі Claude Mythos Preview, інженери Anthropic доручили їй переписати початковий конвеєр переносу даних з Git у Scion — вона створила версію, яка споживала в 20 разів менше пам’яті та працювала вчетверо швидше. Інженери компанії спокійно ставляться до того, що ШІ почав писати код краще за них. Зараз їхнє завдання — контролювати роботу ШІ та припиняти її ініціативи, які порушують задані обмеження.

Випускати Scion як проект з відкритим вихідним кодом в Anthropic не планують, але допускають, що з подібною проблемою можуть зіткнутися в обозримому майбутньому й інші організації, тому компанія вирішила поділитися своїм підходом.

Хочеш дізнатися більше — читай відгуки