Zum Inhalt springen

p17 GmbHGeschäftsbereich KI & Automatisierung

KI verstehen: Wie ein Sprachmodell Wörter liest

Eine KI wie Microsoft Copilot oder ChatGPT „versteht“ nicht wie ein Mensch. Sie rechnet: Jedes Wort wird zu Zahlen, und die Antwort entsteht Wort für Wort nach Wahrscheinlichkeit. Wer das einmal gesehen hat, versteht fast jeden Prompt-Tipp von selbst.

Passende Schulung
Zwei Personen vor einer großen Tafel mit einem Ablauf aus drei Schritten, über dem ein KI-Funke leuchtet (Illustration, KI-gestützt erstellt)
Illustration · KI-gestützt erstellt, von Menschen geprüft

p17-ki.de · Wissen · KI verstehen

Das Wichtigste in Kürze

  • Wörter sind mehrdeutig. Erst der Kontext entscheidet, ob „Bank“ Geld oder Parkbank meint – für Menschen und für die KI.
  • Für ein Sprachmodell ist jedes Wort ein Vektor: eine lange Zahlenreihe. Ähnliche Bedeutungen liegen nah beieinander.
  • Die KI schreibt Wort für Wort und wählt jeweils das wahrscheinlichste nächste Wort. Kontext verschiebt diese Wahrscheinlichkeiten.

Ein kleines Experiment: Woran denken Sie bei „Bank“?

Unsere Schulungen beginnen mit einem einzigen Wort auf der Leinwand. Bevor Sie weiterlesen: Woran denken Sie zuerst?

Bank

Die meisten Menschen denken an ein Geldinstitut, einige an die Sitzbank im Park, wer in der IT arbeitet, vielleicht an eine Datenbank. Keine Antwort ist falsch. Das Wort allein ist schlicht mehrdeutig. Welche Bedeutung wir wählen, entscheidet unser eigener Kontext: Beruf, Umfeld, das letzte Gespräch.

50 20
„Bank“ als Geldinstitut: Konto, Geld, Zinsen.
„Bank“ als Sitzbank im Park: sitzen, Pause, Holz.

Mit dem zweiten Wort „Apfel“ passiert dasselbe. In einem Büro voller Technik denken viele an Smartphones und Computer, beim Wochenmarkt an Obst. Eine KI steht vor genau diesem Problem, nur hat sie keinen Beruf und kein Umfeld. Sie hat nur den Kontext, den Sie ihr geben.

„Apfel“ als Obst: Ernte, Wochenmarkt, Kuchen.
„Apfel“ als Technik: Computer, Smartphone, Software.

Für die KI sind Wörter Koordinaten

Ein Sprachmodell legt jedes Wort als Punkt auf eine riesige Landkarte der Bedeutungen. Wörter, die oft in ähnlichen Sätzen vorkommen, landen nah beieinander: „Geld“, „Konto“ und „Zinsen“ auf der einen Seite, „Park“, „sitzen“ und „Pause“ auf der anderen. Das Wort „Bank“ allein liegt irgendwo dazwischen.

Dimension 1 Dimension 2 FINANZEN PARK & PAUSE Geld Konto Zinsen Kredit Park sitzen Holz Pause „Bank“ ohne Kontext mit Kontext „Konto ist fast leer“
Vereinfacht auf zwei Dimensionen. Echte Modelle rechnen mit Hunderten bis mehreren Tausend Zahlen je Wort.

Technisch heißt so ein Punkt Vektor: eine Liste aus Zahlen. Auf der Abbildung sind es zwei Zahlen, damit man es zeichnen kann. Echte Modelle rechnen mit Hunderten bis mehreren Tausend Zahlen je Wort. Kommt Kontext dazu, etwa „Mein Konto ist fast leer“, rückt die Bedeutung von „Bank“ deutlich in Richtung Geld.

So sieht „Bank“ für die KI wirklich aus

Die folgenden Zahlen sind nicht ausgedacht. Es ist der Anfang des echten Vektors für das Wort „Bank“ aus einem frei verfügbaren deutschen Sprachmodell (spaCy, Modell de_core_news_md). Der vollständige Vektor hat 300 Zahlen.

Bank = 7,3 1,9 −0,3 0,1 −0,2 −1,6 2,4 −2,4 3,8 3,2 0,4 2,6 −1,3 2,7 5,6 −1,8 −5,9 3,1 −1,1 0,5 −7,4 2,8 −5,5 2,0 −3,4 −1,8 5,0 −4,3 −1,2 1,1 3,0 2,7 −2,5 −3,1 −7,5 −0,9 −0,3 −3,1 2,2 3,6 0,9 4,3 −0,8 3,6 −1,5 −3,0 2,0 −7,0 −2,2 −0,4 −1,5 −3,0 −1,9 −5,0 −0,0 1,2 1,1 4,7 −2,8 1,0 … und 240 weitere Zahlen

Die ersten 60 von 300 Zahlen des Vektors für „Bank“ im deutschen Sprachmodell spaCy (de_core_news_md), auf eine Nachkommastelle gerundet.

Kein Mensch kann sagen, was eine einzelne Zahl bedeutet. Erst alle zusammen ergeben die Bedeutung. Aus den Vektoren lässt sich aber messen, wie nah sich zwei Wörter sind. 1 hieße identisch, 0 hieße ohne Zusammenhang:

WortNähe zu „Bank“
Zinsen0,49
Konto0,45
Sitzbank0,37
Geld0,33
Park0,12
Apfel0,08

Die Sprachmodelle hinter Copilot, ChatGPT oder Claude arbeiten mit deutlich mehr Dimensionen und berechnen den Vektor für jedes Wort im Satz neu, passend zum Zusammenhang.

Die KI rechnet Wahrscheinlichkeiten, Wort für Wort

Ein Sprachmodell schreibt seine Antwort nicht am Stück. Es setzt den Text Wort für Wort fort. Bei jedem Schritt berechnet es, welches Wort am wahrscheinlichsten folgt, und zwar auf Grundlage von allem, was vorher im Text steht. Derselbe Satzanfang führt deshalb je nach Vorgeschichte zu völlig verschiedenen Fortsetzungen:

Kontext A: „Mein Konto ist fast leer.“ – „Ich gehe noch schnell zur Bank, um …“
Mögliche FortsetzungWahrscheinlichkeit
Geld abzuheben72 %
etwas zu überweisen21 %
mich auszuruhen2 %
Kontext B: „Wir wandern seit drei Stunden.“ – „Ich gehe noch schnell zur Bank, um …“
Mögliche FortsetzungWahrscheinlichkeit
mich auszuruhen81 %
die Aussicht zu genießen12 %
Geld abzuheben3 %

Die Prozentwerte sind Beispielwerte zur Veranschaulichung, keine Messung. Das Prinzip stimmt trotzdem, und es lässt sich auf einen Satz bringen: Kontext verschiebt die Wahrscheinlichkeiten. Je mehr Sie der KI über Ihre Situation sagen, desto weniger muss sie raten.

Tokens: die Bausteine, mit denen die KI zählt

Genau genommen rechnet ein Sprachmodell nicht mit ganzen Wörtern, sondern mit Tokens. Ein Token ist meist eine Silbe, ein kurzes Wort oder ein Satzzeichen. Aus „Lieferverzögerung“ werden zum Beispiel mehrere Tokens. Als Faustregel entsprechen 100 Tokens im Deutschen etwa 60 bis 70 Wörtern.

Tokens sind wichtig, weil zwei Dinge in Tokens gemessen werden: wie viel Text die KI auf einmal im Blick behalten kann (das Kontextfenster, mehr dazu in Kontext und Kontextfenster) und was die Nutzung über eine Programmierschnittstelle kostet. Im Alltag mit Copilot oder ChatGPT müssen Sie keine Tokens zählen. Es hilft aber zu wissen, dass auch ein sehr großes Kontextfenster irgendwann voll ist.

Warum die KI manchmal überzeugend danebenliegt

Weil eine KI immer das wahrscheinlichste nächste Wort sucht, liefert sie auch dann eine flüssige Antwort, wenn ihr eine Information fehlt. Sie füllt die Lücke mit etwas, das plausibel klingt: eine erfundene Quelle, ein falsches Datum, eine Zahl, die es nicht gibt. Fachleute nennen das Halluzination.

Aktuelle Modelle halluzinieren deutlich seltener als die ersten Chatbots und stellen öfter Rückfragen, statt zu raten. Ganz verschwunden ist das Problem nicht. Drei Gewohnheiten schützen zuverlässig:

  1. Fakten prüfen: Zahlen, Namen, Paragrafen und Zitate am Original nachsehen.
  2. Quellen verlangen: Bei Recherchen nach Belegen fragen und die Links selbst öffnen.
  3. Kontext mitgeben: Was die KI nicht raten muss, kann sie nicht falsch raten.

Wie Sie Ergebnisse Schritt für Schritt prüfen, zeigt die Checkliste KI-Ergebnisse prüfen.

Häufige Fragen

Versteht die KI, was sie schreibt?

Nicht im menschlichen Sinn. Ein Sprachmodell hat kein Weltwissen wie ein Mensch und keine Absicht. Es hat aus riesigen Textmengen gelernt, welche Wörter in welchem Zusammenhang aufeinander folgen. Das Ergebnis wirkt oft verblüffend verständig, bleibt aber eine Rechnung.

Warum klingt eine falsche Antwort genauso überzeugend wie eine richtige?

Weil die KI auf passende Formulierungen optimiert ist, nicht auf Wahrheit. Fehlt eine Information, füllt sie die Lücke mit dem Wahrscheinlichsten. Fachleute nennen das Halluzination. Deshalb gilt: Zahlen, Namen, Zitate und Quellen immer selbst prüfen.

Muss ich die Technik verstehen, um KI zu nutzen?

Nein. Aber zehn Minuten Grundverständnis sparen viele Stunden Ausprobieren. Wer weiß, dass die KI nur den Kontext kennt, den man ihr gibt, schreibt automatisch bessere Prompts.

Zuletzt geprüft: · Benjamin Beloch

Kontakt

Schulung zum Thema buchen

Sie möchten das Thema mit Ihrem Team vertiefen? Senden Sie eine unverbindliche Anfrage. Wir melden uns in der Regel innerhalb eines Werktags.

Direkt sprechen
Benjamin Beloch, Ansprechpartner für KI-Schulungen
Benjamin BelochGeschäftsführer der p17 GmbH
+49 2562 18749-00

Mo–Do 8–17 Uhr, Fr 8–16 Uhr

  1. Sie senden die AnfrageUnverbindlich, ein paar Sätze genügen.
  2. Wir melden unsIn der Regel innerhalb eines Werktags, persönlich.
  3. Kurzes Vorgespräch20 bis 30 Minuten, danach erhalten Sie einen Vorschlag mit Festpreis.

Pflichtfelder sind mit * gekennzeichnet.

Wir antworten in der Regel innerhalb eines Werktags.

Ihre Angaben verwenden wir ausschließlich, um Ihre Anfrage zu bearbeiten (Art. 6 Abs. 1 lit. b und f DSGVO). Die Anfrage ist unverbindlich. Mehr zu Speicherdauer und Ihren Rechten in unserer Datenschutzerklärung. Verantwortlich: p17 GmbH.

Anrufen: +49 2562 18749-00