Definición
Un token son unidades de significados, es decir para una frase, los tokens pueden ser las palabras, para un lenguaje de programación pueden ser las variables, las palabras claves, los paréntesis.
Un ejemplo para ver los tokens de una frase, podría ser “hola, tanto tiempo” pasa a ser un conjunto de tokens que pueden ser “hola”, ”,”, “tanto”, “tiempo”.