Dokumentenretrieval

• Ein DRS informiert den Benutzer nicht über das Thema seiner Suchanfrage. Es liefert lediglich Informationen über die Existenz oder Nichtexistenz und den Fundort von Dokumenten, die für seine Suchanfrage relevant sein könnten.[8]
• Ein DRS umfasst die Hard- und Software, die den Anwender dabei unterstützt, von ihm gesuchte Informationen zur Verfügung zu stellen. Hauptziel eines DRS ist, den Aufwand des Benutzers, die gesuchten Informationen zu finden, zu minimieren.[9]
• Document Retrieval bezeichnet den computergestützten Prozess der Rückgewinnung von Dokumenten. Ein Benutzer stellt eine Anfrage in Form eines Queries und erhält eine nach Relevanz sortierte Liste von Dokumenten. Diese Dokumente könnten die Informationen enthalten, die er sucht (oder auch nicht). Die Sortierung des Systemvorschlags muss nicht den Relevanzvorstellungen des Benutzers entsprechen.[3]

Folgende Tabelle zeigt die Gegenüberstellung einiger Unterschiede von Document- und dem klassischen Data Retrieval.[8][10] Für eine ausführliche Diskussion der Unterschiede und Gemeinsamkeiten sei der interessierte Leser auf[10][11] verwiesen.

In Data Retrieval wird normalerweise nach einem exakt spezifizierten Objekt, zum Beispiel „Bob’s Adresse“, gesucht. Das Ergebnis der Suche ist entweder das gesuchte Objekt (Bob’s Adresse), oder dieses ist im durchsuchten Datenbestand nicht vorhanden. Ein entsprechendes Query für eine solche Suchanfrage in SQL könnte so aussehen: SELECT Adresse FROM Angestellte WHERE NAME = Bob. Diese Suchanfrage ist in einer künstlichen Sprache vollständig spezifiziert. Sie wird entweder mit Bob’s Adresse oder mit einer Meldung, dass Bob’s Adresse nicht im Datenbestand existiert, beantwortet werden. Das Ergebnis der Suche ist dabei nur genau dann korrekt, wenn Bob’s richtige Adresse zurückgegeben wurde. Der Ausgang der Suche ist deterministisch: entweder die korrekten Daten sind vorhanden oder nicht.

In Document Retrieval wird nicht nach Bob’s Adresse gesucht, sondern beispielsweise nach Informationen über die Umgebung, in der Bob wohnt. Zunächst ist nicht klar, wie ein Query aussehen sollte, das dem Nutzer diese Informationen liefert. Für ein mögliches Query Bob Adresse Umgebung liefert das DRS Vorschläge, die der Anwender dann nach für ihn nützlichen Informationen durchsuchen kann. Das Informationsbedürfnis des Anwenders ist hier in natürlicher Sprache ausgedrückt, aber nicht vollständig spezifiziert. Für eine vollständige Spezifikation müsste der Anwender wissen, wonach er gerade sucht. Außerdem ist nicht klar, welche Vorschläge vom DRS gemacht werden und ob es die gewünschten Informationen liefern kann und wird. Hier liegt also ein probabilistisches Modell[12][13] zugrunde. Aufgrund dieser Unsicherheiten kann ein Suchergebnis nicht als korrekt oder falsch bezeichnet werden. Die dem Anwender präsentierten Dokumente können für ihn nützlich oder nutzlos sein. Dementsprechend ist hier das Erfolgskriterium einer Suche der Nutzen des Anwenders.[14]

Gegenstand der Indexierung ist, Dokumenten eine Menge von Indextermen oder Schlüsselwörtern zuzuweisen. Dabei sollen die Indexterme[4]:

• den Inhalt des Dokuments möglichst vollständig reflektieren.
• das Dokument so beschreiben, dass es sich möglichst stark von inhaltlich ähnlichen Dokumenten unterscheidet.

Diese Schlüsselwörter können entweder automatisch, oder manuell von einem Indexierer erzeugt werden. Sie bieten eine logische Sicht auf ein Dokument. Die beste Möglichkeit, ein Dokument darzustellen, ist mit seinem vollständigen Inhalt. Dies führt aber zu hohem Speicherplatzbedarf des Indexes. Er wäre dann genauso groß wie die Dokumente, die er indexiert. Daher muss eine Dokument-Repräsentation gefunden werden, die die beiden oben aufgeführten Anforderungen möglichst vollständig erfüllt. Dieser Prozess besteht in der Regel aus folgenden Schritten.[8]

Zunächst werden Sonderzeichen nach vorgegebenen Regeln und häufig vorkommende Wörter wie z. B. Artikel und Verbindungswörter mithilfe einer stop list entfernt. Eine stop list enthält alle Wörter, die für eine inhaltliche Beschreibung des Dokuments irrelevant sind und aus dem Text entfernt werden. Diese werden dann bei Suchanfragen nicht mit einbezogen und vereinfachen somit den Suchprozess. Zusätzlich wird durch diesen Schritt die Größe des ursprünglichen Dokuments um 30–50 % reduziert.[8]

Anschließend werden alle Wörter auf ihren Wortstamm reduziert, indem ihre Suffixe entfernt werden (sog. Stemming). Somit werden alle Worte, die semantisch äquivalent sind, auf den gleichen Wortstamm abgebildet, z. B. werden die Begriffe Fahrer, fahren und Fahrschule abgebildet auf fahr. Die Annahme des Stemming ist, dass Wörter mit demselben Wortstamm zur gleichen Wortfamilie gehören und daher auch als gleich behandelt werden können. Diese Vereinfachung kann aber auch zu Fehlern führen, da durchaus Worte mit gleichem Wortstamm aber unterschiedlicher Bedeutung existieren, wie beispielsweise Neutron und neutralisieren. Außerdem können äquivalente Wörter in unterschiedlichen Zusammenhängen verschiedene Bedeutungen haben. Das Ergebnis dieses Verarbeitungsschrittes ist eine Klasse für jeden Wortstamm. Kommt ein Wort einer Klasse in einem Dokument vor, so wird dem Dokument diese Klasse als Schlüsselwort zugewiesen.[8][3]

Zum Schluss werden alle Indexterme entsprechend dem im DRS implementierten Modell gewichtet. Dann wird ein Index erstellt, der eine schnelle Suche in der Menge der Indexterme ermöglicht, indem diese mit den Dokumenten verknüpft werden, in denen sie enthalten sind. Bei Bedarf können weitere wichtige Informationen wie die Position des Terms im Dokument oder der Autor gespeichert werden. Eine häufig anzutreffende Indexstruktur ist die inverted file. Weitere Datenstrukturen und deren Beschreibungen wie sequential files, index-sequential files und multi-lists können in Kapitel 4 in[8] gefunden werden.[3]

Es kann zusätzlich Clustering eingesetzt werden, wobei ähnliche Dokumente[15][16][17][18][19] einem Cluster zugewiesen werden. Die Suche in einem solch vorklassifizierten Informationsbestand wird Clustersuche genannt und läuft in zwei Schritten ab. Zunächst werden nur Cluster mit hoher Relevanz gesucht. Anschließend werden die Dokumente in diesen Clustern inspiziert und die relevantesten herausgesucht. Durch Clustering soll die Effizienz von Document Retrieval-Systemen durch Reduktion der nötigen Dokumentvergleiche gesteigert werden. Es ist offensichtlich, dass sich dadurch aber die Effektivität senken kann.[4][8]

Der Prozess des Lokalisierens der Informationen, die ein Benutzer erhalten möchte, besteht aus mehreren Schritten. Zunächst muss er sein Informationsbedürfnis in eine für die Suchmaschine verständliche Form, ein sogenanntes Query, umwandeln. Dieses Query wird schließlich in eine Query-Repräsentation überführt. Die meisten Prozesse, die die Dokumente während der Indexierung durchlaufen, durchläuft auch ein Query. Alle nachfolgend beschriebenen Vorgänge laufen ab, während der Nutzer auf die Antwort seiner Suchanfrage wartet. Zunächst werden für die Suche irrelevante Begriffe und Zeichen wie z. B. „Ich suche nach Informationen über:“ entfernt. Dann werden mithilfe der stop list ebenfalls irrelevante Begriffe entfernt und Stemming durchgeführt. Schließlich wird die Query-Repräsentation erzeugt, wobei auch für den Suchalgorithmus notwendige logische Operatoren eingefügt werden können. Es ist auch möglich, die Terme des Queries zu expandieren und so verwandte Terme, die mit dem gesuchten Begriff in Verbindung stehen, in die Suche mit einzuschließen. Diese verwandten Terme können synonyme Begriffe sein, die in elektronischen Thesauri gefunden werden, oder aber mit dem Query-Term aufgrund semantischer Eigenschaften (z. B. bestimmte Wortreihenfolge) in besonderer Verbindung stehen. Dieser Bearbeitungsschritt befreit den Anwender von der Notwendigkeit, alle Varianten seines Queries auszuprobieren, um möglichst viele für ihn relevante im Suchergebnis zu erhalten. Somit wird möglicherweise der Recall erhöht, aber die Präzision wird sinken, wenn expandierte Terme zur Rückgewinnung irrelevanter Dokumente führen.[3]

Schließlich erfolgt die eigentliche Suche. Die verwendeten Suchalgorithmen sind durch das implementierte Modell des DRS vorgegeben. Der Index wird nach Dokumenten durchsucht, die Terme des Queries enthalten. Für jedes Dokument wird der sogenannte similarity score mit dem Query berechnet. Die Berechnung erfolgt mit einem Algorithmus, der ebenfalls vom implementierten Modell des DRS vorgegeben ist. Anschließend erfolgt die Sortierung oder das Ranking der Dokumente entsprechend ihrer similarity scores. Die sortierte Liste wird dem Nutzer (eventuell mit einer kurzen Beschreibung jedes Dokumentes) zur Verfügung gestellt. Er kann die Liste oder auch den Inhalt der Dokumente genauer betrachten. Manche Systeme bieten auch die Möglichkeit des anwenderbasierten Relevanz-Feedbacks, sodass der Nutzer für ihn relevante Dokumente markieren kann. Das System initiiert daraufhin einen neuen Suchvorgang basierend auf diesen Bewertungen und liefert eine überarbeitete Liste von Dokumenten, die (hoffentlich) mehr für den Nutzer relevante Dokumente enthält. Der Prozess des Relevanz-Feedbacks kann beliebig oft durchgeführt werden.[3]