Diskussion:Lexikalische Analyse
Offener Punkte[Quelltext bearbeiten]
- Abklären ob es einen deutschen Fachbegriff für Token gibt.
- Ggfs. eine Grafik einfügen, die den Prozess illustriert. (nicht signierter Beitrag von 62.203.100.76 (Diskussion) 11:38, 19. Dez. 2002 (CET))
"Lexer"[Quelltext bearbeiten]
Wenn irgendjemand mal dazu kommt, einen Artikel über das Mittelhochdeutsche Handwörterbuch von Matthias Lexer zu schreiben, dann sollte die Weiterleitung von Lexer nach Lexikalischer Scanner angepasst werden - das Wörterbuch wird kurz als "Lexer" bezeichnet.--jonas 19:18, 28. Sep 2005 (CEST)
Thompson Konstruktion[Quelltext bearbeiten]
Die Thompson Konstruktion wird hier nicht erwähnt, arbeitet der Tokenizer wie in einigen Implementierungen allerdings mit regulären Ausdrücken, ist das Verfahren durchaus eine Erwähnung wert, vom theoretischen Aspekt aus ohnehin. Ich würde es hinzufügen wenn keinerlei Einwände bestehen. --Lambda C (Diskussion) 22:16, 26. Okt. 2015 (CET)
Tokenizer: Bedeutung außerhalb vom Compilerbau & Verlinkung zu Tokenisierungs-Wiki-Seite[Quelltext bearbeiten]
In diesem Artikel scheint es nur/hauptsächlich um Tokenizer im Bereich den Compilerbau zu gehen, dabei wird der Begriff 'Tokenizer' in der Computerlinguistik auch benutzt, wenn es um die Segmentierung von natürlichsprachlichem Text (d.h. also deutsche, arabische, chinesische... Texte) geht. In diese Richtung ist auch die Wiki-Seite zur Tokenisierung entstanden. Sollte man nicht beide Artikel verlinken, auf die Mehrdeutigkeit stärker hinweisen bzw. beide Artikel um den jeweiligen anderen Teil erweitern?