Token
Auch bekannt als: Tokens, Tokenisierung
Einheiten, in denen ein Sprachmodell Text verarbeitet. Sie spielen bei Kontextgrenzen, Antwortlänge und Abrechnung eine Rolle.
Tokens sind die Einheiten, in die Text für ein Sprachmodell zerlegt wird. Das können ganze Wörter, Wortteile oder Satzzeichen sein. Wie die Aufteilung aussieht, hängt vom verwendeten Tokenizer ab. Ein Wort entspricht deshalb nicht immer genau einem Token.
In Tokens wird unter anderem gemessen, wie viel Kontext ein Modell verarbeiten und wie lang seine Antwort sein kann. Bei vielen Schnittstellen beeinflusst die Token-Anzahl auch die Kosten. Lange Dokumente und umfangreiche Chatverläufe beanspruchen entsprechend mehr Platz im verfügbaren Kontext.
So sieht’s in der Praxis aus
Du lässt ein umfangreiches Markenhandbuch auswerten. Dessen Text und deine Frage benötigen Platz im Kontextfenster des Modells. Passt nicht alles hinein, kann die Anwendung relevante Abschnitte auswählen oder bei Bedarf nachladen. Die Token-Anzahl hilft, diesen Umfang einzuschätzen.
Tipp: Wähle bei langen Unterlagen gezielt die relevanten Inhalte aus. Ein größeres Kontextfenster allein garantiert nicht, dass jede Einzelheit berücksichtigt wird. Verweise bei wichtigen Fragen auf das passende Kapitel.
Verwandte Begriffe
