Tf-idf-Maß

aus Wikipedia, der freien Enzyklopädie
(Weitergeleitet von Tf-idf)
Zur Navigation springen Zur Suche springen

Das Tf-idf-Maß (von englisch term frequency ‚Vorkommenshäufigkeit‘ und inverse document frequencyinverse Dokumenthäufigkeit‘) wird im Information Retrieval zur Beurteilung der Relevanz von Termen in Dokumenten einer Dokumentenkollektion eingesetzt.

Mit der so errechneten Gewichtung eines Wortes bezüglich des Dokuments, in welchem es enthalten ist, können Dokumente als Suchtreffer einer wortbasierten Suche besser in der Trefferliste angeordnet werden, als es beispielsweise über die Termfrequenz allein möglich wäre.

Vorkommenshäufigkeit[Bearbeiten | Quelltext bearbeiten]

Die Vorkommenshäufigkeit (auch Suchwortdichte genannt) gibt an, wie häufig der Term im Dokument vorkommt. Ist beispielsweise das Dokument der Satz

Das rote Auto hält an der roten Ampel.

dann ist

Um eine Verzerrung des Ergebnisses in langen Dokumenten zu verhindern, ist es möglich, die absolute Vorkommenshäufigkeit zu normalisieren. Dazu wird die Anzahl der Vorkommen von Term in Dokument durch die maximale Häufigkeit eines Terms in geteilt und man erhält die relative Vorkommenshäufigkeit .

Andere Ansätze verwenden die Boolesche Häufigkeit (d. h. es wird nur geprüft, ob das Wort vorkommt oder nicht), oder eine logarithmisch skalierte Häufigkeit.

Inverse Dokumenthäufigkeit[Bearbeiten | Quelltext bearbeiten]

Die inverse Dokumenthäufigkeit misst die Spezifität eines Terms für die Gesamtmenge der betrachteten Dokumente. Ein übereinstimmendes Vorkommen von seltenen Begriffen ist für die Relevanz aussagekräftiger als eine Übereinstimmung bei sehr häufigen Worten (z. B. "und" oder "ein").

Die inverse Dokumentfrequenz eines Terms hängt nicht vom einzelnen Dokument, sondern vom Dokumentkorpus (der Gesamtmenge aller Dokumente im Retrievalszenario) ab:

Hier ist die Anzahl der Dokumente im Korpus und die Anzahl der Dokumente, die Term beinhalten.

TF-IDF[Bearbeiten | Quelltext bearbeiten]

Das Gewicht eines Terms im Dokument ist dann nach TF-IDF das Produkt der Termhäufigkeit mit der inversen Dokumentenhäufigkeit:

In den meisten Anwendungen dürfte es sinnvoll sein, dass ein vielfaches Vorkommen eines Terms nicht auch in gleichem Maße zur Relevanz beiträgt. In der Praxis wird der TF-Wert daher in der Regel normalisiert.

Software[Bearbeiten | Quelltext bearbeiten]

Die Tf-idf Berechnung ist unter anderem in Scikit-learn, einer freien Software-Bibliothek in der Programmiersprache Python realisiert.[1]

Literatur[Bearbeiten | Quelltext bearbeiten]

  • Ricardo Baeza-Yates, Berthier Ribeiro-Neto: Modern Information Retrieval. Addison-Wesley, Harlow u. a. 1999, ISBN 0-201-39829-X, S. 29–30.

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. sklearn.feature_extraction.text.TfidfTransformer. In: scikit-learn documentation. Abgerufen am 9. April 2019 (englisch).