Tool Calling

Zuerst beschreibst du die Werkzeuge, die du anbietest. Jedes hat einen Namen, eine kurze Beschreibung und ein JSON-Schema seiner Parameter, zum Beispiel eine Funktion get_weather, die eine Stadt erhält. Diese Liste schickst du mit dem Gespräch. Hält das Modell ein Werkzeug für nützlich, enthält seine Antwort statt Endtext einen Werkzeugaufruf: den Namen und die Argumente als JSON. Dein Programm führt die Funktion aus, hängt eine Nachricht mit dem Ergebnis und der Kennung des Aufrufs an und sendet alles zurück. Das Modell schreibt dann die endgültige Antwort aus diesem Ergebnis. Denk an einen Kellner, der deine Bestellung auf einen Zettel schreibt und nie die Küche betritt. Typische Beispiele sind, den Status einer Bestellung abzufragen, eine Währung umzurechnen, eine Wissensdatenbank zu durchsuchen oder einen Kalendereintrag anzulegen.

Die meisten APIs erlauben es, das Verhalten zu steuern. Du kannst die Wahl dem Modell überlassen, Werkzeuge verbieten, verlangen, dass irgendein Werkzeug aufgerufen wird, oder das genaue Werkzeug nennen. In einer Antwort können mehrere Aufrufe stehen, was Hin und Her spart, wenn sie voneinander unabhängig sind, und in einer gestreamten Antwort treffen die Argumente stückweise unter demselben Index ein. Derselbe Mechanismus treibt Agenten an, die den Zyklus aus Aufruf, Ergebnis und Entscheidung wiederholen, und er ist auch ein verlässlicher Weg, strukturierte Daten aus Text zu gewinnen. Manche Anbieter haben einen strikten Modus, der die Ausgabe zwingt, exakt dem Schema zu entsprechen, und viele fehlerhafte Aufrufe beseitigt.

Sorgfalt ist nötig. Ein Modell kann das falsche Werkzeug wählen, ein Argument erfinden oder eine Funktion mit gültigen, aber schädlichen Werten aufrufen: Prüfe die Argumente auf deiner Seite und führe nie etwas Mächtigeres aus, als die Aufgabe braucht. Nicht jedes Modell unterstützt die Funktion, und die, die es tun, halten ein Schema mal mehr, mal weniger zuverlässig ein. Teste mit echten Fällen, halte Beschreibungen kurz und präzise und gib den Werkzeugen Namen, die sagen, was sie tun. Halte die Werkzeugliste kurz, denn ein langes Menü verwirrt Modelle und frisst Platz im Kontextfenster. Typische Fehler sind eine falsch geschriebene Stadt, ein fehlendes Pflichtfeld, eine als Text gesendete Zahl, ein Datum im falschen Format oder ein Werkzeug, das es nicht gibt.

Die API von NeverNo unterstützt es bei Chat-Completions. Übergib tools, eine Liste von Funktionen mit JSON-Schema, und optional tool_choice (auto, none, required oder eine benannte Funktion) sowie parallel_tool_calls. Ruft das Modell ein Werkzeug auf, enthält die Antwort tool_calls, und finish_reason lautet tool_calls; du führst die Funktion aus und sendest eine tool-Nachricht mit dem Ergebnis und ihrer tool_call_id zurück. In einem Stream trifft jeder Aufruf so ein, wie OpenAI ihn schreibt.

Nur Modelle, deren capabilities.tools in der Liste /models true ist, akzeptieren Werkzeuge; jedes andere antwortet mit einem klaren 400-Fehler namens tools_not_supported. GLM 5.2, ein privates Modell von Z.ai in den bezahlten Tarifen, hat ein Kontextfenster von 200.000 Tokens und einen optionalen Reasoning-Modus. Prüfe die Liste, bevor du auf einem Modell aufbaust. Die Seite über die ChatGPT-Alternative erklärt, warum Menschen NeverNo wegen der Modellvielfalt wählen.