Hay un coste en tu factura de IA que nunca has visto desglosado: el que pagas por escribir en español.

No es un recargo que nadie te haya aplicado a propósito. Es una consecuencia técnica de cómo se construyeron los modelos que usas. Y como la factura llega agregada —tantos tokens, tanto dinero—, no hay ninguna línea donde puedas verlo.

El tokenizador de ALIA, el modelo de lenguaje del Estado español, parte las lenguas ibéricas de forma bastante más eficiente que los modelos abiertos anglosajones. Lo hemos medido y puedes comprobarlo tú mismo en treinta segundos. Pero antes conviene entender qué se está midiendo exactamente, porque este tema se explica mal muy a menudo.

Qué es un token y por qué te lo cobran

Un modelo de lenguaje no lee palabras. Lee tokens: fragmentos de texto que pueden ser una palabra entera, un trozo de palabra o un solo signo.

El tokenizador es la pieza que hace ese troceado. Funciona como un diccionario de fragmentos que el modelo aprendió a reconocer durante su entrenamiento. Si un fragmento está en ese diccionario, ocupa un token. Si no está, hay que reconstruirlo con varios trozos más pequeños.

Y aquí está la clave económica: todos los proveedores de IA facturan por token, tanto los que envías como los que recibes. Más tokens para decir lo mismo significa más dinero por la misma tarea.

El problema visible: la tarifa por millón de tokens no te dice el coste real

Cuando comparas proveedores, miras el precio por millón de tokens. Parece la métrica correcta. No lo es.

Dos modelos con la misma tarifa publicada pueden costarte cantidades distintas por el mismo trabajo, simplemente porque uno trocea tu texto en más pedazos que el otro. La tarifa es idéntica; el consumo no.

Con textos en inglés esa diferencia es menor, porque casi todos los tokenizadores se entrenaron con corpus dominados por el inglés. Con textos en castellano, catalán, euskera o gallego, la diferencia se dispara.

El problema real: tu idioma no estaba en la sala cuando se diseñó el vocabulario

Los tokenizadores más extendidos se construyeron optimizando para el idioma que dominaba sus datos de entrenamiento. El español, con una morfología más rica y terminaciones más largas, encaja peor en ese diccionario.

El resultado se ve a simple vista: palabras como "transformando" o "comunicaban" se parten en varios fragmentos, mientras sus equivalentes en inglés caben en uno o dos.

Y el sobrecoste tiene dos caras, no una:

• Pagas más por llamada, porque el mismo texto ocupa más tokens.
• Agotas antes la ventana de contexto (el espacio de memoria del modelo en cada conversación), lo que obliga a partir tareas en más llamadas y encarece el proceso por segunda vez.

Ninguna de las dos aparece etiquetada en tu factura. Es un sobrecoste estructural y permanente, no un pico que salte en una revisión de gastos.

La prueba de que esto duele: ya hay gente escribiendo peor a propósito

Si quieres saber si un sobrecoste es real, mira si alguien está cambiando su forma de trabajar para evitarlo.

En equipos de desarrollo que consumen IA de forma intensiva se ha extendido una práctica llamativa: escribir a la máquina en estilo telegráfico. Fuera artículos, fuera nexos, fuera fórmulas de cortesía. "Analiza el impacto de esta estrategia en nuestros resultados" se convierte en "analizar impacto estrategia resultados". Se pierde legibilidad para un humano, pero se ganan tokens.

No es una anécdota de foro. Hay herramientas construidas expresamente para esto. Caveman, un proyecto de código abierto creado por Julius Brussee, fuerza al modelo a responder en estilo escueto eliminando artículos, relleno y cortesías, y su documentación reporta reducciones de hasta el 75% en el consumo de tokens de agentes.

Y no solo en la salida. En optimizaciones de sistemas en producción es habitual comprimir el prompt de sistema —de 1.500 a 400 tokens en un caso documentado— sin que la calidad se resienta.

Detente un momento en lo que eso significa. Hay profesionales renunciando a la gramática de su idioma porque cada artículo y cada preposición tienen un precio. La factura ya está modificando cómo escribimos.

Ahora súmale que ese peaje es más caro si tu idioma se fragmenta peor de partida. El desarrollador anglosajón que escribe telegráficamente optimiza sobre una base ya eficiente. Tú optimizas sobre una base que arranca con desventaja.

Hay una alternativa a escribir mal: usar un tokenizador que entienda tu idioma.

Qué hace distinto al tokenizador de ALIA

ALIA es la familia de modelos de lenguaje del Estado español, desarrollada por el Barcelona Supercomputing Center. La versión de 40.000 millones de parámetros se entrenó desde cero con 6,9 billones de tokens de datos curados en 35 lenguas europeas, y se publicó bajo licencia Apache 2.0 —es decir, abierta y usable comercialmente.

Lo relevante para este artículo no es su tamaño. Es que su vocabulario se diseñó contando con el castellano, el catalán, el euskera y el gallego desde el principio, en lugar de añadirlos después.

Construimos un comparador para medirlo sin depender de la palabra de nadie. Enfrenta los tokenizadores de ALIA, Llama 3 y Mistral sobre el texto que tú le pegues, y muestra el recuento de cada uno.

El resultado con textos en lenguas peninsulares: ALIA necesita en torno a 1,7 veces menos tokens que los otros dos para el mismo contenido. Dicho al revés, Llama 3 y Mistral consumen alrededor de un 70% más de tokens para decir exactamente lo mismo.

Y una precisión que casi nadie hace: esto no significa que el español cueste un 70% más que el inglés en tu factura de OpenAI. Son dos afirmaciones distintas. Lo que medimos es cómo tratan un mismo texto en español tres tokenizadores diferentes. Es una comparación entre modelos, no entre idiomas.

Compruébalo con tu propio texto

El comparador corre entero en tu navegador. No hay servidor detrás, no hay registro, y el texto que pegues no sale de tu equipo —puedes verificarlo abriendo la pestaña de red de tu navegador.

👉 labs.montevive.ai/alia-tokenizer-comparison

El código está publicado en nuestro GitHub por la misma razón: una cifra que no puedes auditar es una cifra en la que tienes que confiar, y preferimos que no tengas que hacerlo.

Prueba con un texto real de tu trabajo —un contrato, un correo, una ficha de producto—. Los textos genéricos dan resultados genéricos.

Qué hacer con este dato

Que ALIA tokenice mejor no significa que debas migrar tus sistemas mañana. Significa que la eficiencia del tokenizador es una variable de coste que probablemente no estás midiendo, y que merece entrar en tu evaluación junto al precio por millón de tokens.

Hay un paso previo a cualquier migración, y es el único que recomendamos hacer esta semana:

Coge el prompt que más ejecutas en producción y cuenta sus tokens en dos o tres tokenizadores distintos. Multiplica la diferencia por tu volumen mensual. Ese número te dirá si esto es una curiosidad técnica o una línea de tu presupuesto.

Si resulta ser lo segundo, hay recorrido. Hemos cuantizado ALIA-40b al formato NVFP4 para que quepa en una máquina de sobremesa con capacidad de fine-tuning local, lo que permite adaptarla a tu terminología sin que tus datos salgan de tu organización. Pero eso es otro artículo.