API-Umstellung: Streaming

Die neue API (https://llm-server.ai.t-systems.net/v1) unterstützt weiterhin Server-Sent Events (SSE). Das meiste Streaming-Verhalten bleibt kompatibel, die Token-Nutzung wird jedoch anders zurückgegeben. Grundlagen zum Streaming finden Sie unter Streaming.

Was ändert sich?

Verhalten	Legacy-API	Neue API
Streaming-Protokoll	SSE	SSE
Token-Nutzung	Separater letzter Chunk mit der Nutzung	Im letzten Chunk der Completion enthalten
Nutzung standardmäßig	Ohne ausdrückliche Anforderung enthalten	Ohne ausdrückliche Anforderung enthalten
Abschlusszeichen	`[DONE]`	`[DONE]`
Fehler während des Streamings	Stream kann ohne ausdrückliches Fehlerereignis enden	Strukturierte Fehler können im Stream enthalten sein

{
  "choices": [],
  "usage": {
    "total_tokens": 150
  }
}

{
  "choices": [
    {
      "index": 0,
      "delta": {},
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "total_tokens": 150
  }
}

Beide APIs liefern die Token-Nutzung bei erfolgreichen Streaming-Antworten standardmäßig mit, auch wenn stream_options.include_usage nicht ausdrücklich angefordert wird. Der wesentliche Unterschied ist, wo diese Information im Stream steht.

Was Sie prüfen sollten

Anwendungen, die SSE-Antworten direkt verarbeiten, sollten die Token-Nutzung aus dem Chunk lesen, der das Feld usage enthält, und sich nicht auf einen separaten Chunk mit leerem choices-Array verlassen.

Gehen Sie nicht davon aus, dass die Details zur Nutzung beim Streaming bei allen Modell-Providern dieselbe Struktur haben.