Google заснувала DeepMind Institute для обговорення проблем сильного штучного інтелекту

Перша добірка з чотирьох робіт охоплює широкий спектр питань: економічна політика в управлінні потрясіннями, які може викликати AGI; збереження можливості відстежувати хід міркувань моделі в зрозумілому для людини вигляді; принципи процвітання людства; та методологія оцінки передових ШІ-моделей.

Дослідники в галузі безпеки з DeepMind в одній з робіт стверджують, що звуження вікна прозорості, тобто здатності бачити та перевіряти покроковий хід міркувань моделі, не є неминучим. З новими архітектурами моніторинг найпотужніших моделей ускладнюється, і автори закликають розробників та регуляторів відкрито вирішувати проблеми, пов'язані з компромісами в галузі безпеки. Наприклад, обмежити «непрозору послідовну глибину», тобто обсяг послідовних обчислень, які модель виконує, не формуючи доступної схеми міркувань; або вимагати, щоб розробники доводили, що менш прозорі системи залишаються доступними для контролю.

В іншій роботі пан Хассабіс пропонує створити орган стандартизації передових систем ШІ для оцінки моделей, щоб розробники добровільно представляли свої системи за 30 днів до випуску. Коли система оцінки доведе свою ефективність, попереднє тестування можна буде зробити обов'язковою умовою для розгортання передових моделей у США. На початкових етапах критерії оцінки будуть розроблятися спільно з ШІ-лабораторіями, а згодом установа введе свої незалежні та закриті тести — це не дасть лабораторіям можливості підлаштовувати відповіді моделей під відомі параметри перевірки. Якщо ситуація стане серйозною, механізм можна посилити аж до уповільнення темпів розробки передових систем ШІ.

Хочеш дізнатися більше — читай відгуки