Latent Dirichlet Allocation

Latent Dirichlet allocation (LDA) ist ein von David Blei, Andrew Ng und Michael I. Jordan im Jahre 2003 vorgestelltes Bayessches Netz (und somit ein generatives Probabilistisches graphisches Modell) für die Themenmodellierung, welches der Einordnung von Dokumenten in Themen dient. Das Modell ist identisch zu einem 2000 publizierten Modell zur Genanalyse von J. K. Pritchard, M. Stephens und P. Donnelly. Dokumente sind in diesem Fall gruppierte, diskrete und ungeordnete Beobachtungen (im Folgenden „Wörter“ genannt). In den meisten Fällen werden Textdokumente verarbeitet, in denen Wörter gruppiert werden, wobei die Wortreihenfolge keine Rolle spielt. Es können aber auch z. B. Pixel aus Bildern verarbeitet werden.

Generierender Prozess

Darstellung des LDA-Modells in Plate notation.

LDA modelliert Dokumente durch ein Bayessches Netz:

Zunächst wird die Anzahl der Themen $K$ durch den Benutzer festgelegt.

Die Dokumentensammlung enthält $V$ unterschiedliche Terme, die das Vokabular bilden. Zunächst werden $K$ Multinomialverteilungen über alle $V$ Terme aus Dirichlet-Verteilungen gezogen, diese Verteilungen werden „Themen“ (englisch topics) genannt.

Für jedes Dokument wird eine Verteilung über die $K$ Themen aus einer Dirichlet-Verteilung gezogen. Ein Dokument enthält also mehrere Themen. Durch eine generierende Dirichlet-Verteilung mit Parametern $<1$ kann die Annahme ausgedrückt werden, dass Dokumente nur wenige Themen enthalten. Diese Annahme ist die einzige Neuerung von LDA im Vergleich zu vorherigen Modellen und hilft bei der Auflösung von Mehrdeutigkeiten (wie etwa beim Wort „Bank“). Die Steigerung der Themen-Qualität durch die angenommene Dirichlet-Verteilung der Themen ist deutlich messbar.

Anschließend wird für jedes Wort aus einem Dokument ein Thema gezogen und aus diesem Thema ein Term. Für die Zufallsvariablen bedeutet das:

${\begin{aligned}{\boldsymbol {\varphi }}_{k=1\dots K}&\sim \operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim \operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,w=1\dots N_{d}}&\sim \operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,w=1\dots N_{d}}&\sim \operatorname {Categorical} _{V}({\boldsymbol {\varphi }}_{z_{dw}})\end{aligned}}$

Das LDA Modell im Bild lässt sich in folgende Formel für die Wahrscheinlichkeit übersetzen:

$P({\boldsymbol {W}},{\boldsymbol {Z}},{\boldsymbol {\theta }},{\boldsymbol {\varphi }};\alpha ,\beta )=\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t=1}^{N_{j}}P(Z_{j,t}\mid \theta _{j})P(W_{j,t}\mid \varphi _{Z_{j,t}}),$

mit:

• $M$ die Anzahl der Dokumente
• $N_{i}$ die Anzahl der Wörter in einem Dokument $i$
• α ist der Parameter der Prior-Dirichlet-Verteilung der Themen pro Dokument
• β ist der Parameter der Prior-Dirichlet-Verteilung der Wörter pro Thema
• $\theta _{i}$ ist die Themenverteilung für Dokument i
• $\varphi _{k}$ ist die Wortverteilung für Thema k
• $z_{ij}$ ist das Thema des j-ten Wortes in Dokument i
• $w_{ij}$ ist das j-te Wort in Dokument i

Eigenschaften

In LDA wird jedes Dokument als eine Mischung von verborgenen Themen (engl. latent topics) betrachtet. Jedes Wort im Dokument ist einem Thema zugeordnet. Diese Themen, deren Anzahl zu Beginn festgelegt wird, erklären das gemeinsame Auftreten von Wörtern in Dokumenten. So kommen in Zeitungsartikeln die Wörter „Euro, Bank, Wirtschaft“ oder „Politik, Wahl, Parlament“ jeweils häufig gemeinsam vor. Diese Mengen an Wörtern haben dann jeweils eine hohe Wahrscheinlichkeit in einem Thema. Wörter können auch in mehreren Themen eine hohe Wahrscheinlichkeit haben.

LDA wird u. a. zur Analyse großer Textmengen, zur Textklassifikation, Dimensionsreduzierung oder dem Finden von neuen Inhalten in Textkorpora eingesetzt. Andere Anwendungen finden sich im Bereich der Bioinformatik zur Modellierung von Gensequenzen.

Siehe auch

• Dirichlet-Verteilung

Literatur

• David M. Blei, Andrew Y. Ng, Michael I. Jordan: Latent dirichlet allocation. In: Journal of Machine Learning Research, Jg. 3 (2003), S. 993–1022, ISSN 1532-4435
• David M. Blei: Probabilistic Topic Models. In: Communications of the ACM, (2013), vol 55/4, S. 77–84.

Weblinks

• LDA Implementierung in C von David Blei.