Audio (Spracherkennung)
AI Foundation Services bietet Whisper-basierte Audiomodelle für Transkription und Übersetzung, kompatibel mit der OpenAI Audio API.
Was Sie lernen werden:
- Wie Sie Audio in der Originalsprache zu Text transkribieren
- Wie Sie Audio aus beliebigen Sprachen ins Englische übersetzen
- Verfügbare Audiomodelle und Parameter
Audiomodelle auflisten
Abschnitt betitelt „Audiomodelle auflisten“Die Audiomodelle sind whisper- und whisper-. Welche davon Ihr Schlüssel nutzen kann, sehen Sie in der Modellliste: Ihre ID enthält whisper.
from openai import OpenAI
client = OpenAI()
models = client.models.list() for model in models.data: if "whisper" in model.id: print(model.id) curl "$OPENAI_BASE_URL /models" \ -H "Authorization: Bearer $OPENAI_API_KEY "# Audio models have "whisper" in their ID:# whisper-large-v3, whisper-large-v3-turbo Audio transkribieren
Abschnitt betitelt „Audio transkribieren“Die Transkriptions-API wandelt Audio in Text in derselben Sprache wie die Eingabe um. Sie erkennt die Sprache automatisch aus den ersten 30 Sekunden, wenn language nicht angegeben wird.
from openai import OpenAI
client = OpenAI()
with open( "/path/to/audio_file.mp3" , "rb") as audio_file: transcription = client.audio.transcriptions.create( model="whisper-large-v3" , file=audio_file, # language="en" # Optional: specify language )
print( f"Transcription: {transcription.text }" )curl -X POST "$OPENAI_BASE_URL /audio/transcriptions" \ -H "Authorization: Bearer $OPENAI_API_KEY " \ -F "model=whisper-large-v3" \ -F "language=en" \ -F "temperature=0.0" \ -F "file=@/path/to/audio_file.mp3" Beispielausgabe:
Transcription: The stale smell of old beer lingers. It takes heat to bring out the odor.A cold dip restores health and zest. A salt pickle tastes fine with ham.Audio übersetzen
Abschnitt betitelt „Audio übersetzen“Die Übersetzungs-API übersetzt Audio aus beliebigen Sprachen ins Englische.
from openai import OpenAI
client = OpenAI()
with open( "/path/to/audio_file.mp3" , "rb") as audio_file: translation = client.audio.translations.create( model="whisper-large-v3" , file=audio_file, temperature=1.0 , )
print( f"Translation: {translation.text }" )curl -X POST "$OPENAI_BASE_URL /audio/translations" \ -H "Authorization: Bearer $OPENAI_API_KEY " \ -F "model=whisper-large-v3" \ -F "temperature=1.0" \ -F "file=@/path/to/audio_file.mp3" Parameter
Abschnitt betitelt „Parameter“| Parameter | Typ | Beschreibung |
|---|---|---|
model | string | Audiomodell-ID (z.B. whisper-) |
file | file | Die zu verarbeitende Audiodatei |
language | string | Optional. ISO-Sprachcode. Wird automatisch erkannt, wenn nicht angegeben. |
temperature | float | 0. für deterministische Ergebnisse, höher für variablere Ausgabe |
Wichtige Funktionen
Abschnitt betitelt „Wichtige Funktionen“- Automatische Erkennung der Sprache — Erkennt die Eingabesprache aus den ersten 30 Sekunden
- Anpassbare Ausgabe — Verhalten mit
language- undtemperature-Parametern anpassen - Effiziente Verarbeitung — Geringe Latenz für Transkription und Übersetzung
Grenzen und Fehlersuche
Abschnitt betitelt „Grenzen und Fehlersuche“Der Endpunkt nimmt model, file, language und temperature an. Die automatische Erkennung der Eingabesprache nutzt die ersten 30 Sekunden der Aufnahme.
Nächste Schritte
Abschnitt betitelt „Nächste Schritte“- Chat Completions — Transkribierten Text mit LLMs verarbeiten
- Queued Requests — Auf freies Rate-Limit warten statt einen 429 zu erhalten
- API-Endpunkte — Vollständige Endpunkt-Referenz