Embeddings (Einbettungen)

Ein Embedding-Modell liest einen Text und gibt eine Zahlenliste fester Länge zurück, zum Beispiel mit 1.024 Einträgen. Keine einzelne Zahl bedeutet für sich etwas; entscheidend ist die Lage des ganzen Vektors in einem Raum mit vielen Dimensionen. Ein Satz über die Adoption eines Welpen und einer über einen Hund aus dem Tierheim landen nebeneinander, während ein Satz über die Steuererklärung weit entfernt landet. Der Abstand wird meist über die Kosinus-Ähnlichkeit gemessen, die die Richtung zweier Vektoren vergleicht, nicht ihre Länge. Stell dir eine Karte vor, auf der jeder Text eine Nadel ist und Nachbarn vom Gleichen reden. Es gibt auch Modelle für Bilder und Audio, die ein Foto und seine Bildunterschrift an benachbarte Punkte legen. Ein Wort wie „Bank“ kann je nach umgebendem Satz in der Nähe von Parks oder von Geld landen.

So wird aus einer unscharfen Frage eine Rechenaufgabe. Um einen Stapel Dokumente zu durchsuchen, berechnet man einmal das Embedding jedes Abschnitts und speichert die Vektoren; zur Fragezeit berechnet man das der Frage und sucht die Abschnitte mit den nächsten Vektoren. Dieselbe Idee steckt in Empfehlungen, Duplikaterkennung, der Gruppierung von Support-Tickets und im Gedächtnis von Assistenten. Sie ist außerdem die erste Stufe der Retrieval-Augmented Generation, bei der die gefundenen Abschnitte einem Sprachmodell übergeben werden, damit es daraus antwortet. Shops, Bibliotheken und Helpdesks nutzen das für Empfehlungsregale, semantische Suchleisten und die Erkennung von Spam oder Duplikaten, mit einem speziellen Index, der Nachbarn schnell findet, statt jeden gespeicherten Vektor zu prüfen.

Embeddings haben Grenzen. Ein Vektor bewahrt den Sinn, verliert aber den genauen Wortlaut, deshalb kann die Suche nach einem exakten Code, Namen oder einer Zahl danebengehen, und viele Systeme kombinieren Vektoren mit einer Stichwortsuche. Vektoren verschiedener Modelle sind nicht vergleichbar: Wer das Embedding-Modell wechselt, muss alles neu berechnen. Lange Texte werden meist zuerst in Abschnitte zerlegt, weil ein einziger Vektor für ein ganzes Buch dessen Inhalt verwischt, und die Abschnittsgröße beeinflusst, was gefunden wird. Die Qualität schwankt zwischen Modellen: Manche beherrschen viele Sprachen, andere sind in einer am besten, teste also mit deinem eigenen Material, bevor du dich festlegst. Typische Sammlungen sind Verträge, Support-Tickets, Rezepte, Liedtexte oder Quellcode.

Der Tresor von NeverNo nutzt Embeddings für deine eigenen Dokumente. Jeder Abschnitt von etwa 800 Tokens erhält einen Vektor aus 1.024 Zahlen, den ein privates Modell bei DeepInfra einmalig berechnet. Die Vektoren liegen in deinem Browser neben den verschlüsselten Dokumenten, und auch die Suche läuft dort. GLM 5.3 Flash ist ein kostenloses privates Modell von Z.ai, das Bilder liest, und gehört zu den Modellen, die danach aus den gefundenen Abschnitten antworten können.

Entwickler können dasselbe Embedding-Modell erreichen. Der Endpunkt /embeddings der API liefert die Vektoren von qwen3-embedding-0.6b, mit 1.024 Werten und bis zu 128 Eingaben pro Anfrage. Die Option dimensions kürzt die Vektoren, die base64-Kodierung wird verstanden, und die Embedding-Modellnamen von OpenAI werden akzeptiert und von ihm bedient. Die Seite über private KI erklärt, wo der Rest deiner Daten liegt.