Google випустила EmbeddingGemma 2 — відкриту модель для пошуку за текстами, кодом, зображеннями, аудіо та відео прямо на смартфоні

Google представила легку та швидку відкриту модель штучного інтелекту EmbeddingGemma 2 — відкриту модель для пошуку по текстах, коду, зображеннях, аудіо та відео безпосередньо на пристрої. На практиці вона дозволяє шукати в колекції медіафайлів об'єкти або події за їх текстовим описом без відправки будь-яких даних у хмару.

Джерело зображення: blog.google

Модель перетворює різні види даних в єдиний формат — числові вектори з 768 значень, що відображають зміст. В результаті текстовий запит можна співвіднести з зображенням або звуком, навіть якщо у файлу немає відповідної назви та опису. Тобто замість збігу слів система порівнює близькість змісту за сенсом.

Головна відмінність EmbeddingGemma 2 від першої версії — вихід за межі тексту. Нова модель обробляє зображення та звук безпосередньо: збирати комбайн з розпізнавання мови, генерації підписів до картинок і окремої моделі для текстового пошуку більше не потрібно. А для відео можна проіндексувати кадри разом з фрагментами аудіо та знаходити конкретні моменти.

Модель EmbeddingGemma 2 побудована на архітектурі відкритої Gemma 4 і поширюється за ліцензією Apache 2.0, що допускає комерційне використання. При розмірі 740 млн параметрів вона з легкістю запускається локально на сучасних споживчих пристроях.

В профільних тестах MTEB (Massive Text Embedding Benchmark) для коду та MAEB (Massive Audio Embedding Benchmark), стверджує розробник, вона продемонструвала найкращі результати для моделей розміром до 1 млрд параметрів. EmbeddingGemma 2 не поступається, а то й перевершує набагато більші моделі в задачах роботи з текстом, зображеннями та звуком.

Однією з відмінних особливостей моделі є її модульна архітектура: для задач, пов'язаних лише з текстом, їй потрібно всього 270 млн параметрів; для мультимодальних функцій та обробки зображень потрібно підключити кодировщики розміром ще 170 млн параметрів; для аудіо — ще 300 млн параметрів. Завдяки технології Matryoshka Representation Learning (MRL) розробники можуть динамічно скорочувати розмірність вихідних векторів з 768 до 512, 256 або 128 елементів — можна зменшити обсяг пам'яті, що займають векторні бази даних, до шести разів.

EmbeddingGemma 2 ефективно працює навіть в умовах жорстких обмежень ресурсів. У тестах на Pixel 11 Pro квантування допомогло моделі зайняти всього 191 Мбайт оперативної пам'яті для ваг, що відповідають лише за текст; у мультимодальному варіанті — близько 567 Мбайт. У порівнянні з моделлю першого покоління нова зберегла високу ефективність у роботі з багатомовним текстом; в бенчмарку MTEB Code вона підвищила результат з 68,76 до 78,68 балів. Це означає, що вона добре підходить для задач індексування кодової бази та пошуку інформації для програмістів, які пишуть код для ШІ-агентів. Локальна робота на пристроях забезпечує користувачам конфіденційність даних.

У поєднанні з «старшою» Gemma 4 службова EmbeddingGemma 2 дозволяє реалізувати на пристрої конвеєри RAG (Retrieval-Augmented Generation) — враховуючи, що у обох моделей один токенізатор і аудіокодировщик, вони можуть працювати в єдиній середовищі з меншим сумарним споживанням пам'яті. Ваги моделей доступні на платформах Hugging Face та Kaggle; незабаром вони з'являться на Gemini Enterprise Agent Platform. EmbeddingGemma 2 запускається та вбудовується за допомогою стандартних засобів, включаючи transformers, llama.cpp, Ollama, LM Studio та інші.

Хочеш дізнатися більше — читай відгуки