Facebook обучил искусственный интеллект забывать устаревшие данные

freepik.com

Компьютеры слишком хорошо запоминают все, чему мы их учим. Обычно это нормально. Вы бы не хотели, чтобы системы, которые ведут вашу медицинскую или финансовую документацию, начали случайным образом удалять единицы и нули. Однако эти системы обычно не различают источники информации, то есть каждый бит данных обрабатывается с одинаковой энергией. Но по мере увеличения объема доступной информации системы искусственного интеллекта должны расходовать все больше и больше ограниченных вычислительных ресурсов для ее обработки. Исследователи Facebook надеются помочь будущим ИИ уделять больше внимания дате истечения срока годности данных.

Он называется Expire-Span и разработан, чтобы помочь нейронным сетям более эффективно сортировать и хранить информацию, наиболее подходящую для поставленных перед ними задач. Expire-Span работает, сначала предсказывая, какая информация будет наиболее полезной для сети в данном контексте, а затем назначает дату истечения срока действия этой части данных. Чем важнее Expire-Span считает часть информации, тем дальше он назначает дату истечения срока годности, пояснили в своем интервью ученые-исследователи FAIR Анджела Фан и Сайнбаяр Сухбаатар.

Таким образом, нейронные сети смогут дольше сохранять соответствующую информацию, постоянно очищая пространство памяти, “забывая“ нерелевантные точки данных. Каждый раз, когда добавляется новый фрагмент данных, система будет оценивать не только его относительную важность, но и повторно оценивать важность существующих точек данных, связанных с ним. Это также поможет ИИ научиться более эффективно использовать доступную память, что приведет к лучшей масштабируемости.

Акт забывания, по крайней мере для ИИ, может быть проблемой, поскольку это незаметная операция. Подобно единицам и нулям, которые составляют код ИИ, система может либо запоминать часть информации, либо нет. Как таковая оптимизация для такой двоичной системы невероятно сложна. Предыдущие попытки обойти эту трудность включали сжатие менее полезных данных, чтобы они занимали меньше места в памяти, но эти усилия не увенчались успехом, так как процесс сжатия приводит к “размытым версиям“ информации.

“Expire-Span вычисляет срок действия информации для каждого скрытого состояния каждый раз, когда представляется новый фрагмент информации, и определяет, как долго эта информация хранится в памяти“, - пояснили они. “Постепенное разложение некоторой информации является ключом к сохранению важной информации, не размывая ее. А обучаемый механизм позволяет модели регулировать размер диапазона по мере необходимости. Expire-Span рассчитывает прогноз на основе контекста, извлеченного из данных и находящегося под влиянием окружающих воспоминаний“.

Исследовательская группа написала, что, хотя все еще находится на ранних стадиях исследования, “в качестве следующего шага в нашем исследовании систем ИИ, более похожих на человека, мы изучаем, как включить различные типы воспоминаний в нейронные сети“. В будущем команда надеется разработать еще более точное представление о человеческой памяти, но при этом будет способна изучать новую информацию намного быстрее, чем позволяют современные технологии.

Напомним, ранее сообщалось, что искусственный интеллект научился предсказывать смерть.

techno.bigmir.net

Хочешь узнать больше - читай отзывы