Apple ha dado un paso significativo en el campo de los modelos de lenguaje con el lanzamiento unos nuevos LLMs basados en CoreNet, su biblioteca destinada a entrenar redes neuronales profundas (Deep Learning). Dentro de esta iniciativa han presentado ocho nuevos modelos de lenguaje pequeños denominados OpenELM (Open-source Efficient Language Models), que llegan a un ámbito que empieza a estar ya saturado con tanto modelo disponible, como Gemma de Google, Llama de Meta, Mixtral de Mistral.AI_ (franceses) o Phi2 de Microsoft entre otros.
Los modelos OpenELM vienen en ocho variantes distintas: cuatro de ellos son modelos preentrenados y los otros cuatro están afinados para seguir instrucciones específicas. Estos modelos están disponibles en cuatro tamaños diferentes: 270 millones (M), 250 millones (M), 1.1 mil millones (B) y 3 mil millones (B) de parámetros. O sea, son modelos considerados muy pequeños y pequeños respectivamente.
Esta variedad permite elegir el modelo más adecuado según las necesidades específicas de procesamiento y capacidad, pero una de sus principales ventajas es su capacidad para ejecutarse directamente en dispositivos locales relativamente poco potentes, como los móviles. Esto significa que no es necesario conectarse a un servidor remoto para realizar cálculos, lo que puede mejorar tanto la velocidad como la privacidad del procesamiento de datos. Algo que seguro que piensan incluir en sus próximas versiones de iOS (para iPhone).
Apple ha declarado que el objetivo principal de los modelos OpenELM es "empoderar y enriquecer la comunidad de investigación Open Source, proporcionando acceso a modelos de lenguaje de última generación". Una afirmación habitual, pero en este caso, los investigadores de Apple han subrayado la importancia de la reproducibilidad y la transparencia en el desarrollo de estos modelos de lenguaje, cualidades esenciales para garantizar la confianza en los resultados y permitir investigaciones sobre sesgos y posibles riesgos asociados.
Actualmente, los modelos OpenELM están disponibles en Hugging Face, una plataforma popular para el desarrollo y distribución de modelos de lenguaje. Además, Apple ha publicado el código fuente, facilitando a los desarrolladores y a la comunidad investigadora el acceso y la utilización de estos modelos.