Porter-Stemmer-Algorithmus

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Der Porter-Stemmer-Algorithmus ist ein verbreiteter Algorithmus der Computerlinguistik zum automatischen Zurückführen von Wörtern auf ihren Wortstamm (Stemming). Der Algorithmus basiert auf einer Menge von Verkürzungsregeln, die so lange auf ein Wort angewandt werden, bis dieses eine Minimalanzahl von Silben aufweist. Der ursprünglich für Wörter der englischen Sprache entwickelte Algorithmus kann relativ leicht für andere Sprachen portiert werden.

Funktionsweise[Bearbeiten | Quelltext bearbeiten]

Bestimmung der Silbenanzahl[Bearbeiten | Quelltext bearbeiten]

Maßgeblich ist genaugenommen nicht die Anzahl der Silben, sondern die Anzahl der Vokal-Konsonant-Sequenzen. Jedes Wort lässt sich als eine Zeichenkette der Form [C](VC)m[V] interpretieren, wobei C für eine Folge von einem oder mehreren Konsonanten und V für eine Folge von einem oder mehreren Vokalen steht. Gemessen wird die Anzahl m der Vokal-Konsonant-Sequenzen zwischen optional führenden Konsonanten und einer optionalen Folge von Vokalen am Ende.

Beispiele:

  • tr-ee, t-o (m=0)
  • w-eb, ant (m=1)
  • b-etw-een (m=2)
  • W-ik-ip-ed-ia (m=3)

Verkürzungsregeln[Bearbeiten | Quelltext bearbeiten]

Die Verkürzungsregeln bestehen aus Paaren von Bedingungen und Ableitungen für verschiedene Suffixe (Wortendungen). Die Regeln sind in Gruppen zusammengefasst, die nacheinander abgearbeitet werden. Aus jeder Gruppe darf nur eine Regel angewandt werden.

Beispiel: Die erste Gruppe beinhaltet die Suffix-Verkürzungsregeln "sses" → "s", "ies" → "i" und "s" → "", die beispielsweise zu den Ableitungen "libraries" → "librari" und "Wikis" → "Wiki" führen. Eine später folgende Gruppe besteht aus der Regel "y" → "i", so dass beispielsweise das Wort "library" auf den gleichen Stamm ("library" → "librari") zurückgeführt wird.

Implementierungen[Bearbeiten | Quelltext bearbeiten]

Auf der Webseite des Porter-Stemmer-Algorithmus finden sich Implementierungen in mehreren Programmiersprachen. Unter http://snowballstem.org/ befindet sich die von Martin Porter entwickelte Zeichenkettenverarbeitungssprache "Snowball", mit deren Hilfe Porter Stemmer beschrieben werden können. Dort findet man auch einen Porter Stemmer für die deutsche Sprache.

Anmerkungen[Bearbeiten | Quelltext bearbeiten]

Die aus einem Wort abgeleiteten Stämme entsprechen oft nicht den linguistisch korrekten Wortstämmen. Da das Ziel des Stemmings jedoch keine linguistische Analyse ist, sondern verwandte Worte auf ein und dieselbe Zeichenkette zurückgeführt werden sollen, spielt dies keine Rolle.

Wie praktisch alle Stemming-Algorithmen arbeitet auch der Porter-Stemmer nicht mit hundertprozentiger Genauigkeit, so dass es bei einigen Worten vorkommen kann, dass zu viel (Overstemming) oder zu wenig (Understemming) abgeschnitten wird. In der Praxis ist er jedoch ausreichend gut. (siehe auch weitere Hintergrundinformationen zum Thema im Artikel Stemming).

Literatur[Bearbeiten | Quelltext bearbeiten]

  • M.F. Porter: An algorithm for suffix stripping. In: Program, 14(3), S. 130-137, Juli 1980

Weblinks[Bearbeiten | Quelltext bearbeiten]