Token (text)
Token alebo známka v počítačovej vede je kategorizovaný blok textu, obyčajne pozostáva z nedeliteľných znakov, známych ako lexéma. Lexikálny analyzátor najprv číta lexémy a kategorizuje ich podľa funkcie, čím im priraďuje význam. Toto priradenie významu sa nazýva tokenizácia. Tokeny môžu vyzerať rôzne, napríklad to môžu byť slovenské, anglické alebo iné slová alebo rôzne symboly, musia to byť hlavne užitočné súčasti štruktúrovaného textu.
Rôzne druhy tokenov:
| Lexém | Typ tokenu (angl.) |
|---|---|
| sum | IDENT |
| = | ASSIGN_OP |
| 3 | NUMBER |
| + | ADD_OP |
| 2 | NUMBER |
| ; | SEMICOLON |
|
Tento článok týkajúci sa informatiky je zatiaľ „výhonok“. Pomôž Wikipédii tým, že ho doplníš a rozšíriš. |