Antes de procesar un texto, el modelo lo divide en tokens y convierte cada uno en números. Después predice, uno a uno, qué token es más probable que venga a continuación. Por eso se dice que estos sistemas trabajan con la forma del lenguaje, no con su significado.
Glosario
Token
Trozo de texto, una palabra o parte de ella, con el que trabaja un modelo de lenguaje. El modelo lee y escribe token a token.