Enciclopedia Informatica: Token

Chi paga?

Alcuni utenti, ci hanno chiesto spiegazioni sui prodotti che consigliamo. Una risposta per tutti. La commissione non è pagata dall'utente che utilizza il nostro link per l'acquisto. Il prezzo è lo stesso di quello che avrebbe trovato facendo una lunga ricerca in Amazon. Il vantaggio è che risparmia tempo nel vagliare i migliaia di prodotti presenti, trovando tramite noi, i migliori. Sa che il piccolo contributo che ci perverrà ci aiuterà a far crescere questa Enciclopedia libera e gratuita.

Con questo termine, in ambito informatico, s'intende un testo categorizzato costituito da lessemi indivisibili. I lessemi sono analizzati da un analizzatore lessicale che li categorizza in token.

Facciamo un esempio:

Prendiamo un testo che descrive un calcolo:

100 + numero di falchi

L'analizzatore riconoscerebbe come lessemi le tre cifre che definirebbe come numeri e numero di e falchi come token di altro genere.

Ovviamente secondo il linguaggio usato, i testi possono essere riconosciuti come token oppure restituiti come errore. Per esempio, in un linguaggio, se la parola falchi non ha senso, allora si genera un errore nella fase successiva perché in questa comunque sono categorizzati come token.

In ogni linguaggio di programmazione, il codice sorgente si suddivide in 5 classi di token: costanti, identificatori, operatori, parole riservate e separatori.

Alcuni validi libri d'Informatica che consigliamo

click sull'immagine