BaseRT: el nuevo runtime que promete exprimir mucho más los LLM en Apple Silicon

IA local en Mac

BaseRT es un runtime nativo sobre Metal para ejecutar modelos de lenguaje en Apple Silicon. Sus autores reportan mejoras de decodificación de hasta 1,56× frente a llama.cpp y hasta 1,35× frente a MLX en sus pruebas. Es un preprint: prometedor, pero pendiente de validación independiente.

Qué problema intenta resolver

Los chips M de Apple comparten memoria entre CPU, GPU y Neural Engine. Esa arquitectura evita mover datos entre RAM y VRAM como en muchos PC, pero para aprovecharla de verdad el software tiene que estar escrito pensando en esa topología.

llama.cpp es excelente porque funciona en muchísimas plataformas. MLX está diseñado por Apple para su ecosistema. BaseRT intenta ir un paso más abajo: optimizar patrones concretos de inferencia de LLM — matrices cuantizadas, atención y caché KV — directamente sobre Metal.

Qué significan las cifras

Si usas modelos locales en un Mac, una mejora así puede hacer que una conversación pase de sentirse lenta a sentirse fluida. Pero conviene no venderlo como revolución cerrada: el paper debe reproducirse en más equipos, modelos y configuraciones antes de darlo por hecho.

Para quién es interesante

Principalmente para usuarios con Mac mini, Mac Studio o MacBook Pro con Apple Silicon y memoria suficiente. Para modelos pequeños, 16 GB pueden servir; para trabajar con modelos más grandes o varias herramientas a la vez, 32 GB o más marcan una diferencia clara.

IA local en Mac: por qué tiene tanto sentido

Ejecutar un modelo de lenguaje en tu propio Mac tiene tres ventajas que una suscripción en la nube no da: privacidad (tus datos no salen del equipo), coste (sin cuotas mensuales) y control (funciona aunque te quedes sin internet). Herramientas como BaseRT, MLX o llama.cpp son precisamente las que hacen posible ese salto, exprimiendo el hardware de Apple Silicon que ya tienes.

El matiz importante es el hardware. La memoria en los chips M va integrada y no se amplía después de comprar el equipo, así que elegir bien de origen es clave: 16 GB para empezar con modelos pequeños, 32 GB o más si quieres ir sobrado. En el taller vemos muchos Mac que rinden peor de lo que deberían por temperatura o por un disco al límite; a veces una limpieza térmica o liberar espacio ya cambia la experiencia. Si estás pensando en montar IA local, te asesoramos qué Mac encaja con lo que quieres hacer, con opción de reacondicionado y 3 años de garantía.

Preguntas frecuentes