Tf-idf-Maß

Das tf-idf-Maß (von engl. term frequency ‚Vorkommenshäufigkeit‘ und inverse document frequency ‚inverse Dokumenthäufigkeit‘) wird im Information Retrieval zur Beurteilung der Relevanz von Termen in Dokumenten einer Dokumentenkollektion eingesetzt.

Mit der so errechneten Gewichtung eines Wortes bezüglich des Dokuments, in welchem es enthalten ist, können Dokumente als Suchtreffer einer wortbasierten Suche besser gerankt (in der Trefferliste angeordnet) werden, als es beispielsweise über die Termfrequenz allein möglich wäre.

Vorkommenshäufigkeit

Die Vorkommenshäufigkeit tf_i,j gibt an, wie häufig der Term i im Dokument j vorkommt. Ist beispielsweise das Dokument 5 der Satz

Das rote Auto hält an der roten Ampel.

dann ist tf_rot,5 = 2.

Inverse Dokumenthäufigkeit

Die inverse Dokumenthäufigkeit misst die allgemeine Bedeutung des Terms für die Gesamtmenge der betrachteten Dokumente.

Die inverse Dokumentfrequenz idf hängt hingegen nicht vom einzelnen Dokument, sondern vom Dokumentkorpus, der Gesamtmenge aller Dokumente im Retrievalszenario, D ab:

$idf_i = \log \frac{N}{n_i}$

Hier ist N = | D | die Anzahl der Dokumente im Korpus und n_i die Anzahl der Dokumente, die Term i beinhalten.

Das Gewicht w eines Terms i im Dokument j ist dann nach TF-IDF:

$w_{i,j} = tf_{i,j} \cdot idf_i = tf_{i,j} \cdot \log \frac{N}{n_i}$

In den meisten Anwendungen dürfte es sinnvoll sein, dass ein vielfaches Vorkommen eines Terms nicht auch in gleichem Maße zur Relevanz beiträgt. In der Praxis wird der TF-Wert daher in der Regel normalisiert.

Literatur

• Ricardo Baeza-Yates, Berthier Ribeiro-Neto: Modern Information Retrieval. Addison-Wesley, Harlow u. a. 1999, ISBN 0-201-39829-X, S. 29–30.