Rate-Limits

Rate-Limits schützen den Dienst und gewährleisten eine faire Nutzung. Limits werden pro Tarif definiert und variieren je nach Modell. Jeder RPM- und TPM-Wert unten ist mit einem Sternchen ^* markiert — klicken Sie darauf für die vollständigen Bedingungen, unter denen diese Werte angegeben sind.

Limits nach Tarif

Limits variieren sowohl nach Tarif als auch nach Modell. Die folgende Tabelle zeigt repräsentative Werte für die drei Tarife:

Metrik	Essential	Professional	Agentic
Verfügbare Modelle	42	44	44
Beispiel-RPM *	300 *	600 *	1.000 *

Beispiel: Limits pro Modell je Tarif

Zur Veranschaulichung der Skalierung hier die Limits für zwei repräsentative Modelle:

GPT-OSS 120B (T-Cloud, Deutschland):

Tarif	RPM *	Eingabe-TPM *	Ausgabe-TPM *
Essential	300 *	300.000 *	150.000 *
Professional	600 *	600.000 *	300.000 *
Agentic	1.000 *	2.000.000 *	1.000.000 *

GPT-5.2 (Azure, EU):

Tarif	RPM *	Eingabe-TPM *	Ausgabe-TPM *
Essential	30.000 *	3.000.000 *	1.500.000 *
Professional	60.000 *	6.000.000 *	3.000.000 *
Agentic	100.000 *	10.000.000 *	5.000.000 *

Hinweis

Preview-Modelle (Test-Katalog, z. B. Gemma 4) nutzen dynamische Rate-Limits anstelle fester RPM/TPM-Werte. Die Telekom kann die Nutzung von Preview-Modellen jederzeit ohne vorherige Ankündigung anpassen oder einschränken.

Für die vollständige Aufschlüsselung pro Modell für Ihren Tarif besuchen Sie die Seite Tarife & Preise oder laden Sie die Leistungsbeschreibung (PDF) herunter.

Wie Rate-Limits funktionieren

• TPM (Token pro Minute) — Best-Effort-Obergrenze für verarbeitete Eingabe-Token pro Minute; kein SLA-gestützter Durchsatzwert
• RPM (Anfragen pro Minute) — Best-Effort-Obergrenze für API-Anfragen pro Minute; kein SLA-gestützter Anfragerate-Wert
• Limits gelten je Vertrag — alle erzeugten API-Schlüssel teilen sich das Kontingent
• Sowohl Eingabe- als auch Ausgabe-Token zählen zu den TPM-Limits

Anders gesagt: RPM/TPM zeigen, ab wann die Plattform Ihren Traffic drosselt. Sie sagen nichts darüber aus, mit welcher Rate die Plattform Ihren Traffic bedient. Im Shared Service hängt die tatsächlich erreichte Rate von der Plattformlast und der Nutzung desselben Modells durch andere Tenants ab.

Rate-Limit-Antwort-Header

Antworten von Azure-gehosteten Modellen (GPT, o-Serie) enthalten Header, die Ihnen helfen, die Nutzung im Verhältnis zu den Limits zu verfolgen:

Hinweis

Rate-Limit-Header werden derzeit von Azure-gehosteten Modellen zurückgegeben (z. B. gpt-4.1, o3-mini). Open-Source-Modelle, die auf T-Cloud gehostet werden (z. B. Llama-3.3-70B-Instruct), geben diese Header nicht zurück.

Header	Beschreibung
x-ratelimit-limit-requests	Maximale erlaubte Anfragen pro Minute
x-ratelimit-limit-tokens	Maximale erlaubte Token pro Minute
x-ratelimit-remaining-requests	Verbleibende Anfragen im aktuellen Zeitfenster
x-ratelimit-remaining-tokens	Verbleibende Token im aktuellen Zeitfenster
x-ratelimit-reset-requests	Zeit bis zum Zurücksetzen des Anfrage-Limits
x-ratelimit-reset-tokens	Zeit bis zum Zurücksetzen des Token-Limits

Header auslesen

Python

import os
import httpx

# Use httpx directly to inspect response headers
response = httpx.post(
    "https://llm-server.llmhub.t-systems.net/v2/chat/completions",
    headers={"Authorization": f"Bearer {os.getenv('OPENAI_API_KEY')}"},
    json={
        "model": "gpt-4.1",
        "messages": [{"role": "user", "content": "Hello"}],
        "max_tokens": 10,
    },
)

print(f"Requests remaining: {response.headers.get('x-ratelimit-remaining-requests')}")
print(f"Tokens remaining:   {response.headers.get('x-ratelimit-remaining-tokens')}")
print(f"Resets in:          {response.headers.get('x-ratelimit-reset-requests')}")

curl

curl -i -X POST "$OPENAI_BASE_URL/chat/completions" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4.1",
    "messages": [{"role": "user", "content": "Hello"}],
    "max_tokens": 10
  }'

# The -i flag shows response headers including:
# x-ratelimit-remaining-requests: 19
# x-ratelimit-remaining-tokens: 18740
# x-ratelimit-reset-requests: 3s

Umgang mit Rate-Limits

Wenn Sie ein Rate-Limit überschreiten, gibt die API einen 429 Too Many Requests-Fehler zurück. Best Practices:

1. Antwort-Header überwachen — Prüfen Sie die x-ratelimit-remaining-*-Header, um Limits nicht zu erreichen
2. Exponentielles Backoff implementieren — Verlängern Sie die Wartezeit zwischen Wiederholungsversuchen
3. Anfragen bündeln — Fassen Sie mehrere kleine Anfragen zu weniger größeren zusammen
4. Antworten cachen — Vermeiden Sie das Wiederholen identischer Anfragen
5. Queue-API verwenden — Für Batch-Workloads nutzen Sie asynchrone Anfragen, um die Last zu verteilen

import time

from openai import OpenAI, RateLimitError

client = OpenAI()

def safe_completion(messages, max_retries=3):
    for attempt in range(max_retries):
        try:
            return client.chat.completions.create(
                model="Llama-3.3-70B-Instruct",
                messages=messages,
            )
        except RateLimitError:
            wait_time = 2 ** attempt
            print(f"Rate limited. Waiting {wait_time}s...")
            time.sleep(wait_time)
    raise Exception("Max retries exceeded")

Servicehinweis zu den veröffentlichten RPM- und TPM-Werten

^* Die auf dieser Seite gezeigten Werte für Anfragen pro Minute (RPM) und Token pro Minute (TPM) sind Best-Effort-/Best-Case-Obergrenzen im Shared LLM Serving Service. Sie geben den vertraglich maximal zulässigen Verbrauch an — keinen zugesicherten Durchsatz. Es gelten die folgenden Bedingungen:

• Nicht Teil des Service Level Agreements (SLA). Das 99,9%-Verfügbarkeits-SLA deckt ausschließlich die Erreichbarkeit der API ab; es erstreckt sich nicht auf RPM, TPM, Durchsatz, End-to-End-Latenz oder Time-to-First-Token.
• Für Open-Source-Modelle auf T-Cloud kann der tatsächlich erreichte Durchsatz bei hoher gleichzeitiger Nachfrage deutlich unterhalb der veröffentlichten Obergrenzen liegen. End-to-End-Latenz und Time-to-First-Token variieren ebenfalls mit der Plattformlast.
• Der “Beispiel-RPM”-Wert in der Tabelle “Limits nach Tarif” ist ein Richtwert für ein repräsentatives T-Cloud-Modell; präzise Limits variieren je Modell. Professional und Agentic umfassen Premium-Modelle (z. B. Claude Opus) zusätzlich zum Standard-Katalog des Essential-Tarifs.
• Für vertragliche Zusagen zu Durchsatz, End-to-End-Latenz oder Time-to-First-Token siehe Dedicated LLM Serving — dort können solche Zusagen als Performance-SLAs auf reservierter Hardware verhandelt werden.

Höhere Limits benötigt?

• Tarif upgraden — Höhere Stufen haben deutlich höhere TPM- und RPM-Limits
• Auf Dedicated LLM Serving wechseln — Im Dedicated LLM Serving gibt es keine RPM/TPM-Obergrenzen. Sie reservieren GPU-Hardware und verbrauchen so viele Token, wie diese erzeugen kann — sinnvoll für bursty Traffic oder strikte Latenz-SLAs, die der Shared Service nicht garantieren kann
• Kontakt: T-Cloud Marketplace oder wenden Sie sich an das AIFS-Team unter ai@t-systems.com