Tf-idf-Maß

Die Vorkommenshäufigkeit (auch Suchwortdichte genannt) ${\displaystyle \operatorname {\#} (t,D)}$ gibt an, wie häufig der Term ${\displaystyle t}$ im Dokument ${\displaystyle D}$ vorkommt. Ist beispielsweise das Dokument ${\displaystyle D_{i}}$ der Satz

Das rote Auto hält an der roten Ampel.

dann ist ${\displaystyle \operatorname {\#} ({\text{rot}},D_{i})=2.}$

Um eine Verzerrung des Ergebnisses in langen Dokumenten zu verhindern, ist es möglich, die absolute Vorkommenshäufigkeit ${\textstyle \operatorname {\#} (t,D)}$ zu normalisieren. Dazu wird die Anzahl der Vorkommen von Term ${\displaystyle t}$ in Dokument ${\displaystyle D}$ durch die maximale Häufigkeit eines Terms in ${\displaystyle D}$ geteilt und man erhält die relative Vorkommenshäufigkeit ${\displaystyle \operatorname {tf} (t,D)}$.

$${\displaystyle \operatorname {tf} (t,D)={\frac {\#(t,D)}{\max _{t'\in D}\#(t',D)}}}$$

Andere Ansätze verwenden die Boolesche Häufigkeit (d. h., es wird nur geprüft, ob das Wort vorkommt oder nicht), oder eine logarithmisch skalierte Häufigkeit.

Die inverse Dokumenthäufigkeit misst die Spezifität eines Terms für die Gesamtmenge der betrachteten Dokumente. Ein übereinstimmendes Vorkommen von seltenen Begriffen ist für die Relevanz aussagekräftiger als eine Übereinstimmung bei sehr häufigen Wörtern (z. B. "und" oder "ein").

Die inverse Dokumentfrequenz ${\displaystyle \operatorname {idf} (t)}$ eines Terms ${\displaystyle t}$ hängt nicht vom einzelnen Dokument, sondern vom Dokumentkorpus (der Gesamtmenge aller Dokumente im Retrievalszenario) ab:

$${\displaystyle \operatorname {idf} (t)=\log {\frac {N}{\sum _{D:t\in D}1}}}$$

Hier ist ${\displaystyle N}$ die Anzahl der Dokumente im Korpus und ${\textstyle \sum _{D:t\in D}1}$ die Anzahl der Dokumente, die Term ${\displaystyle t}$ beinhalten.

Das Gewicht ${\displaystyle \operatorname {tf} .\operatorname {idf} (t,D)}$ eines Terms ${\displaystyle t}$ im Dokument ${\displaystyle D}$ ist dann nach TF-IDF das Produkt der Termhäufigkeit mit der inversen Dokumentenhäufigkeit (Spärck Jones, 1972):

$${\displaystyle \operatorname {tf-idf} (t,D)=\operatorname {tf} (t,D)\cdot \operatorname {idf} (t)}$$

In den meisten Anwendungen dürfte es sinnvoll sein, dass ein vielfaches Vorkommen eines Terms nicht auch in gleichem Maße zur Relevanz beiträgt. In der Praxis wird der TF-Wert daher in der Regel normalisiert.

Die Analyse der Zeitabhängigen Relevanz von Termen wird durch das Konzept des TF-LAG-IDF möglich. Das Gewicht ${\displaystyle \operatorname {tf-lag-idf} (t,J,n,D)}$ eines Terms ${\displaystyle t}$ im Dokument ${\displaystyle D}$ und Jahr ${\displaystyle J}$ mit Lag ${\displaystyle n}$ ist nach TF-LAG-IDF das Produkt der Termhäufigkeit mit der verzögerten inversen Dokumenthäufigkeit:

$${\displaystyle \operatorname {tf-lag-idf} (t,J,n,D)=\operatorname {tf} (t,J,D)\cdot \operatorname {lag-idf} (t,J-n)}$$

Um eine Division durch Null zu vermeiden wird das LAG-IDF Gewicht auf einen hohen Wert festgelegt, wenn die Dokumenthäufigkeit gleich Null ist.[1]

• Spärck Jones, Karen (1972) "A statistical interpretation of term specificity and its application in retrieval", Journal of Documentation 23(1): 11-21.
• Ricardo Baeza-Yates, Berthier Ribeiro-Neto: Modern Information Retrieval. Addison-Wesley, Harlow u. a. 1999, ISBN 0-201-39829-X, S. 29–30.

1. Martin G. Moehrle, Michael Wustmans, Jan M. Gerken: How business methods accompany technological innovations - a case study using semantic patent analysis and a novel informetric measure: How business methods accompany technological innovations. In: R&D Management. Band 48, Nr. 3, Juni 2018, S. 331–342, doi:10.1111/radm.12307.