EmbeddingGemma 2 habilita la búsqueda multimodal en dispositivos locales

Google DeepMind ha anunciado el lanzamiento de EmbeddingGemma 2, un modelo de IA de código abierto diseñado para la ejecución en dispositivos de borde, como teléfonos inteligentes y ordenadores con memoria limitada. Según reporta Hackster.io, este desarrollo busca simplificar la búsqueda a través de diversos tipos de contenido multimedia sin la necesidad de enviar datos a servidores externos.

EmbeddingGemma 2 es un modelo de incrustación multimodal de 740 millones de parámetros. Su función principal no es la generación de texto, sino la conversión de información de entrada —proveniente de texto, imágenes, fotogramas de vídeo y audio— en vectores numéricos. Estos vectores representan el significado del contenido y se mapean en un mismo espacio, lo que permite comparar directamente diferentes tipos de medios; por ejemplo, una descripción textual con una fotografía o un momento específico en un vídeo.

El diseño del modelo está optimizado para hardware de borde. La versión multimodal completa puede operar con aproximadamente 567 MB de RAM activa en un Pixel 11 Pro, mientras que una aplicación que solo utilice sus capacidades de texto puede requerir tan solo 191 MB. Esta eficiencia se logra mediante una arquitectura modular, que permite a los desarrolladores cargar únicamente los codificadores necesarios, y el uso de entrenamiento con cuantificación (INT4 e INT8) para reducir su huella de memoria.

Google ha demostrado las capacidades de EmbeddingGemma 2 a través de nuevas funcionalidades en su aplicación AI Edge Gallery. Entre ellas, la Búsqueda instantánea de medios (Instant Media Search) genera incrustaciones para fotos y vídeos almacenados localmente, las guarda en una base de datos SQLite y permite a los usuarios buscar la colección con lenguaje natural o con otra imagen. La función Video Moments Finder aplica un concepto similar a momentos específicos dentro de los vídeos, permitiendo buscar escenas como “persona soplando velas de cumpleaños” sin generar previamente subtítulos para toda la grabación.

Adicionalmente, EmbeddingGemma 2 puede emplearse para clasificación de “cero disparos” (zero-shot classification). Los desarrolladores pueden proporcionar etiquetas y descripciones posibles, y el modelo determinará cuál coincide más estrechamente con una entrada de imagen, texto o audio sin necesidad de entrenamiento específico. El soporte para EmbeddingGemma 2 se ofrece a través de MediaPipe Tasks y LiteRT, con soporte para ML Kit en Android previsto para las próximas semanas. Bundles de modelos LiteRT pre-cuantificados ya están disponibles, lo que permite a los desarrolladores implementar capacidades avanzadas de búsqueda multimodal directamente en el hardware del consumidor, manteniendo la privacidad de los datos en el dispositivo de origen.