Cómo manejan los LLM el español y otros idiomas
El mismo modelo, la misma pregunta, otro idioma. Qué cambia por dentro y qué puedes hacer al respecto.
La versión corta
- → Los modelos se entrenan sobre todo en inglés, así que los demás idiomas reciben menos datos y algo menos de calidad.
- → El texto que no está en inglés gasta más tokens para el mismo significado, así que cabe menos en la ventana y cada mensaje cuesta más.
- → Si no le dices nada, el modelo elige un dialecto y un registro por ti. Dile qué español quieres.
Hazle una pregunta en español a un modelo y te responde en un español fluido. Esa fluidez esconde tres diferencias respecto a la experiencia en inglés: el modelo leyó mucho menos español durante el entrenamiento, gasta más tokens por frase para representarlo y, como el español varía según el país, elige uno sin avisar.
Nada de esto hace que los modelos sean malos en español. Los principales modelos de pesos abiertos son buenos en español, francés, alemán, portugués y chino. Pero sí conviene conocer unas cuantas costumbres, sobre todo si escribes en español todos los días.
Los datos de entrenamiento están desequilibrados
El texto con el que aprende un modelo es sobre todo inglés, porque la mayor parte de la web lo es. El español está entre los idiomas mejor representados después del inglés, y la diferencia en las tareas cotidianas es pequeña. Se amplía en los casos menos frecuentes: modismos regionales, vocabulario especializado, jerga reciente. En los idiomas con mucho menos texto en internet que el español se amplía mucho. Cuando un modelo tropieza en un idioma, suele ser un problema de datos, no de razonamiento.
El español gasta más tokens
Los modelos dividen el texto en tokens, y el tokenizador se ajustó con texto sobre todo en inglés. Las palabras inglesas comunes son un solo token; las españolas se dividen en trozos con más frecuencia, y las tildes y las palabras más largas añaden más. El mismo párrafo en español suele usar bastantes más tokens que en inglés, a menudo entre una cuarta parte y la mitad más, según el modelo. Dos consecuencias: cabe menos español en una ventana de contexto, y una conversación en español cuesta más de procesar. Los tokenizadores más nuevos han reducido la diferencia, pero no la han eliminado.
¿Qué español?
El español cambia según el país en los pronombres, las formas verbales y el vocabulario. Un modelo entrenado con todo internet los ha visto todos y, si no le das instrucciones, produce una mezcla que tira hacia lo que más abundaba en sus datos. Si necesitas español de España con vosotros, o el uso de México, o un registro formal, dilo al principio. El modelo te hará caso, y mantendrá mejor la elección si se lo recuerdas en una conversación larga.
Pensar en un idioma y responder en otro
Los modelos de razonamiento a menudo hacen su razonamiento visible en inglés aunque la pregunta fuera en español, y luego responden en español. Es un efecto del entrenamiento, no un problema, y las respuestas suelen ser igual de buenas. Eso sí, el razonamiento no siempre está en el idioma que usaste.
Traducir es donde los modelos son más fuertes
Pasar el significado de un idioma a otro está muy cerca del núcleo de lo que aprendieron estos modelos, y lo hacen de maravilla, incluidos el tono y el registro si describes lo que quieres. Los puntos débiles son los mismos que en otras tareas: modismos sin equivalente, términos muy recientes y textos en los que se notaría el dialecto equivocado. Dale al modelo el público y la variedad, y revisa tú los modismos.
Consejos prácticos
Escribe en el idioma en el que piensas; el modelo no se va a liar. Dile una vez el dialecto y el registro. Cuenta con un contexto efectivo algo más corto en español. Si estás aprendiendo, pídele que corrija en vez de reescribir y que explique la regla, y toma sus explicaciones como un punto de partida que hay que comprobar, no como una autoridad.
Una analogía
Es como un colega muy leído que creció leyendo en inglés y aprendió español con libros e internet. Fluido, con muchas lecturas, a veces despistado sobre qué palabra se usa de verdad en Sevilla frente a Bogotá, y encantado de usar la que le pidas.
Dónde encaja Berges AI
Berges AI lo hace una academia de idiomas que enseña español, así que cómo manejan los modelos el español es algo que probamos en vez de darlo por hecho. Todos los modelos que usamos funcionan bien en español, y los pipelines y las normas se aplican en el idioma en el que escribas. Dile la variedad que quieres y se queda en ella.
Conceptos relacionados
¿Qué son los tokens?
Los modelos no ven palabras. Ven tokens, los fragmentos en los que se miden los precios, los límites de contexto y la velocidad. Leer →
Lo que nos suelen preguntar
¿La IA es peor en español que en inglés?
Un poco, y sobre todo en los márgenes. Para escribir, explicar y traducir en el día a día, los principales modelos son buenos en español. La diferencia se nota en los modismos regionales, el vocabulario especializado y los términos recientes. En idiomas con mucho menos texto en internet, la diferencia es mayor.
¿Por qué una conversación en español llega antes al límite?
Porque el español gasta más tokens para el mismo significado. La ventana de contexto se cuenta en tokens, así que en la misma ventana cabe menos texto en español que en inglés.
¿Puedo hacer que use español de España?
Sí. Dilo al principio: «responde en español de España, con vosotros», o la variedad que necesites. Te hará caso, y recordárselo una vez en un chat largo hace que se mantenga.
¿Puedo aprender un idioma chateando con un modelo?
Es un compañero de práctica útil y explica rápido, pero no es un profesor. Puede equivocarse con total seguridad sobre una regla o un uso, y no se dará cuenta de los errores que cometes siempre salvo que se lo pidas. Úsalo junto a las clases, no en lugar de ellas.