Worteinbettungen: wie ein Computer Bedeutung berechnet

Ein Computer, dem man Hund gibt, sieht vier Zeichen. Er weiß nicht, dass ein Hund ein Tier ist, bellt, gefüttert wird oder mit einer Katze mehr gemein hat als mit der Zahl hundert. Damit eine Maschine mit Bedeutung rechnen kann, muss Bedeutung erst in Zahlen übersetzt werden.

Die Technik, die das leistet, heißt Worteinbettung, und sie steckt nicht nur hinter Kontexto, sondern hinter praktisch jedem modernen Sprachsystem.

Die Idee: jedes Wort bekommt Koordinaten

Eine Worteinbettung ordnet jedem Wort eine Liste von Zahlen zu. Bei dem Modell hinter Kontexto sind es 300 Zahlen pro Wort. Man kann sich das als Koordinaten vorstellen: So wie ein Ort auf einer Landkarte zwei Koordinaten hat, hat Hund dreihundert.

Der entscheidende Punkt ist nicht die Zahl der Dimensionen, sondern was Nähe darin bedeutet. Zwei Wörter liegen nah beieinander, wenn sie in ähnlichen Zusammenhängen vorkommen. Hund und Katze liegen dicht, Hund und Demokratie weit auseinander.

300 Dimensionen kann sich niemand vorstellen, und das ist auch nicht nötig. Alle Eigenschaften, über die es sich zu reden lohnt, funktionieren in zwei Dimensionen genauso. Mehr Dimensionen bedeuten nur, dass mehr unabhängige Bedeutungsaspekte gleichzeitig unterschieden werden können.

Woher das Modell weiß, was zusammengehört

Niemand sagt dem Modell, was ein Hund ist. Es gibt kein Lexikon im Training, keine Kategorien, keine Regeln. Es gibt nur Text.

Zugrunde liegt eine Beobachtung aus der Sprachwissenschaft, die John Rupert Firth 1957 auf die Formel brachte: Man erkennt ein Wort an der Gesellschaft, die es hält.

Wörter mit ähnlicher Bedeutung kommen in ähnlicher Nachbarschaft vor. Hund und Katze stehen beide neben füttern, Tierarzt, streicheln, Fell, Napf. Das Modell liest Milliarden von Sätzen und beobachtet nichts anderes als diese Nachbarschaften. Wörter mit ähnlicher Nachbarschaft bekommen ähnliche Zahlenreihen.

Für Deutsch wird dabei ein Korpus aus Common Crawl und der deutschen Wikipedia verwendet, also aus dem, was Menschen tatsächlich ins Netz geschrieben haben. Das ist wichtig für das Verständnis der Ergebnisse: Das Modell bildet ab, wie über Dinge geschrieben wird, nicht wie sie sind.

Das Verblüffende: man kann mit Bedeutung rechnen

Weil Bedeutung in Zahlen steckt, lassen sich Vektoren addieren und subtrahieren. Das berühmteste Beispiel:

Die Richtung von Mann zu König entspricht ungefähr der Richtung von Frau zu Königin. Das Modell hat das Konzept „königlich“ und das Konzept „weiblich“ als eigene Richtungen im Raum gelernt, ohne dass irgendjemand ihm diese Begriffe beigebracht hätte. Sie sind aus der Statistik der Nachbarschaften herausgefallen.

Solche Analogien funktionieren nicht immer, aber dass sie überhaupt funktionieren, war eine der größeren Überraschungen der Sprachverarbeitung des letzten Jahrzehnts.

Warum Hund und Hundert weit auseinanderliegen

Damit ist das Eingangsrätsel gelöst. Hund erscheint in Texten über Tiere, Hundert in Texten über Zahlen und Mengen. Ihre Nachbarschaften sind vollständig verschieden, also sind ihre Vektoren weit voneinander entfernt. Dass sie fast gleich geschrieben werden, spielt für die Bedeutung keine Rolle.

Mit einer Einschränkung, die bei fastText dazukommt: Das Modell berücksichtigt zusätzlich Zeichenabschnitte, damit es auch seltene und zusammengesetzte Wörter einschätzen kann. Dadurch hat Buchstabenähnlichkeit doch einen kleinen Effekt. Er ist klein genug, dass Hund und Hundert weit auseinanderbleiben, aber groß genug, dass man ihn bei Grenzfällen kennen sollte, siehe Komposita und Teilwörter.

Drei Eigenschaften, die man kennen muss

Worteinbettungen haben Eigenheiten, die beim Spielen regelmäßig für Verwirrung sorgen. Alle drei folgen direkt aus dem Trainingsverfahren.

Gegenteile liegen nah beieinander. heiß und kalt erscheinen in identischen Satzmustern: Das Wasser ist heiß, das Wasser ist kalt. Ihre Nachbarschaft ist fast deckungsgleich, also sind ihre Vektoren ähnlich. Das Modell misst nicht „bedeutet dasselbe“, sondern „erscheint an denselben Stellen“.

Mehrdeutige Wörter bekommen einen einzigen Vektor. Bank heißt Sitzmöbel und Geldinstitut, und beide Bedeutungen fließen in dieselbe Zahlenreihe. Das Ergebnis liegt zwischen beiden Feldern und gehört zu keinem richtig.

Seltene Wörter sind ungenau eingebettet. Ein Wort, das im Trainingstext nur ein paar hundert Mal vorkam, hat einen Vektor mit wenig statistischer Substanz. Seine Position ist eher Schätzung als Messung.

Der Drift, den man wegrechnen muss

Eine vierte Eigenschaft ist weniger bekannt und für ein Spiel wie Kontexto entscheidend: Rohe Worteinbettungen sind nicht sauber um den Nullpunkt zentriert. Alle Vektoren teilen sich eine gemeinsame Komponente, und diese Komponente kodiert vor allem, wie häufig ein Wort ist.

Unbehandelt hätte das eine unangenehme Folge: Häufige Allerweltswörter wären zu jedem beliebigen Zielwort ähnlich, und ein Rang würde messen, wie gebräuchlich dein Wort ist statt wie passend. Kontexto entfernt diesen Drift deshalb, bevor irgendein Rang berechnet wird. Wie das geht, steht in All-but-the-Top.

Warum Ähnlichkeit als Winkel gemessen wird

Wenn jedes Wort ein Punkt in einem Raum ist, liegt die naive Idee nahe, Ähnlichkeit als Abstand zwischen zwei Punkten zu messen. Genau das tut Kontexto nicht, und der Grund ist lehrreich.

Die Länge eines Vektors, also sein Abstand vom Nullpunkt, hängt beim Training vor allem an der Häufigkeit des Worts. Häufige Wörter werden öfter angefasst und bekommen längere Vektoren. Würde man den geraden Abstand messen, wäre und von allem gleich weit entfernt, aber eben auf eine Art, die nichts über Bedeutung sagt.

Deshalb zählt nur die Richtung. Zwei Wörter gelten als ähnlich, wenn ihre Vektoren in dieselbe Richtung zeigen, unabhängig davon, wie lang sie sind. Genau das misst die Kosinus-Ähnlichkeit: den Winkel zwischen zwei Pfeilen. Null Grad heißt identische Richtung, neunzig Grad heißt kein Zusammenhang. Ausführlich steht das in Kosinus-Ähnlichkeit einfach erklärt.

Was man in 300 Dimensionen nicht mehr sieht

Alle Bilder in diesem Text arbeiten mit zwei oder drei Dimensionen, weil man mehr nicht zeichnen kann. Der echte Raum hat 300, und dort gelten Regeln, die der Anschauung widersprechen.

Die wichtigste: In hohen Dimensionen ist fast alles fast gleich weit von allem entfernt. Nimmt man zwei zufällige Richtungen in 300 Dimensionen, stehen sie mit hoher Wahrscheinlichkeit nahezu senkrecht aufeinander. Übertragen auf das Spiel heißt das, dass die überwältigende Mehrheit aller Wortpaare praktisch unähnlich ist und sich in einem sehr schmalen Band drängt.

Das ist die eigentliche Erklärung dafür, warum das Spiel einen Rang anzeigt und keinen Prozentwert. Der rohe Ähnlichkeitswert zwischen zwei zufälligen deutschen Wörtern liegt fast immer in einem engen Bereich, in dem schon Hundertstel über „daneben“ und „unmittelbar davor“ entscheiden. Der Rang macht daraus eine Zahl, die man ohne Vorwissen lesen kann.

Die zweite Folge betrifft die Suche im Spiel. Weil so viele Wörter ungefähr gleich weit weg sind, ist die Information in den hinteren Rängen dünn. Deshalb bringt ein Fortschritt von 9.000 auf 6.000 so wenig und ein Fortschritt von 300 auf 90 so viel.

Was das für dein Spiel bedeutet

Wenn du beim Raten daran denkst, dass das Modell Kontextnachbarschaft misst und nicht begriffliche Verwandtschaft, wirst du weniger überrascht.

Gabel und Löffel liegen nah, weil sie ständig in denselben Sätzen stehen. Gabel und Astgabel klingen verwandt und stehen in völlig verschiedenen Texten, also liegen sie weit auseinander. Deine Intuition sagt „beides ist gegabelt“, das Modell sagt „das eine steht neben Messer, das andere neben Baum“. Beide haben recht, sie beantworten verschiedene Fragen.

Wie aus zwei Vektoren dann eine einzelne Zahl wird, erklärt Kosinus-Ähnlichkeit, und was beim Rang schiefgehen kann, steht in Warum hat mein Wort einen schlechten Rang?.