Ein Transkript kann auf den ersten Blick richtig aussehen und trotzdem den entscheidenden Fehler enthalten: eine vertauschte Ziffer in der Telefonnummer oder einen falsch geschriebenen Produktnamen. Gerade wenn eine Anwendung aus gesprochener Sprache anschließend Datensätze befüllt oder Aktionen auslöst, zählt deshalb mehr als eine niedrige durchschnittliche Wortfehlerrate. Salesforce hat am 12. November mit SOV-Transcribe-1 ein Sprachmodell mit offenen Gewichten vorgestellt, das neben der Transkription auch Anweisungen zum Ausgabeformat und Hinweise auf Fachvokabular verarbeitet. Die Gewichte stehen unter Apache 2.0 auf Hugging Face bereit. [1][2]
Vom Audiosignal zum steuerbaren Transkript
Das Modell verbindet den Audio-Encoder von Whisper large-v3 über einen Projektor mit einem auf Gemma 4 26B A4B beruhenden Mixture-of-Experts-Sprachmodell. Der Encoder bereitet das Sprachsignal auf, der Projektor überführt seine Repräsentation in die Eingabe des Sprachmodells, und dieses erzeugt den Transkripttext. Laut Modellkarte umfasst das gesamte System einschließlich Audio-Encoder 26,6 Milliarden Parameter, von denen bei der Verarbeitung 4,6 Milliarden aktiv sind. Diese Unterscheidung ist beim Eigenbetrieb wichtig: Die kleinere Zahl beschreibt nicht die vollständige Größe der Modellgewichte. [2]
SOV-Transcribe-1 verarbeitet Aufnahmen, nicht fortlaufend eintreffendes Live-Audio. Getestet wurden Eingaben bis zu 30 Minuten; die Modellkarte nennt Audiodaten mit 16 kHz und die Sprachen Englisch, Französisch, Deutsch, Spanisch, Italienisch, Portugiesisch und Niederländisch. Die veröffentlichten Ergebnisse konzentrieren sich allerdings stark auf Englisch. Wer deutschsprachige Kundengespräche auswerten will, sollte die Erkennungsqualität mit eigenen Aufnahmen prüfen, statt englische Messwerte zu übertragen. [1][2]
Anders als bei einer reinen Wort-für-Wort-Ausgabe können Entwickler dem Modell in natürlicher Sprache vorgeben, ob es Füllwörter beibehält, Zahlen als Ziffern schreibt oder ein bereinigtes Transkript liefert. Auch eine Liste einschlägiger Namen und Fachbegriffe kann als Hinweis dienen. Das hilft etwa dann, wenn ein Kundenname selten vorkommt und leicht mit einem geläufigen Wort verwechselt wird. Solche Hinweise müssen zur Aufnahme passen: Eine unpassende Begriffsliste kann die Erkennung in die falsche Richtung lenken. [1][2]
Was die Messungen zeigen – und was nicht
Im unabhängigen Non-Streaming-Vergleich von Artificial Analysis erreicht SOV-Transcribe-1 einen AA-WER-Wert von rund 2,3 Prozent und liegt damit unter den dort getesteten Modellen mit offenen Gewichten vorn. Die Kennzahl zählt ersetzte, ausgelassene und hinzugefügte Wörter im Verhältnis zum Referenztext. Artificial Analysis bildet seinen Index aus drei unterschiedlich gewichteten Audiodatensätzen; er misst also nicht, wie zuverlässig das Modell jede Sprache oder jedes Einsatzfeld beherrscht. [3][4]
Für Anwendungen mit strukturierten Angaben ist ein zweiter Test aufschlussreicher. Auf dem privaten Evaluationssatz von VoiceCodeBench mit 300 Aufnahmen erkennt SOV-Transcribe-1 in 76,33 Prozent der Fälle sämtliche abgefragten Schlüsselangaben korrekt. Damit liegt es in der dortigen Rangliste hinter ElevenLabs Scribe v3 auf Platz zwei. Auch das ist kein allgemeiner Qualitätswert für alle Telefonate: Der Test zielt ausdrücklich auf Angaben wie E-Mail-Adressen, Telefonnummern und andere kritische Entitäten. Da der Evaluationssatz privat ist, lassen sich die einzelnen Modellvorhersagen nicht öffentlich nachprüfen. [5]
Salesforce berichtet außerdem, dass gezielte Stichwörter in einem Test mit kurzen Ausschnitten aus Unternehmensgesprächen den F1-Wert für die Erkennung von Namen und Produkten von 71,9 auf 96,8 erhöhten. Für die Praxis ist das ein Hinweis auf den möglichen Nutzen von Kontextvorgaben, nicht auf eine entsprechende Verbesserung bei beliebigen Audioaufnahmen. Ein technischer Bericht zum Modell ist laut Veröffentlichung noch angekündigt. [1]
Eigenbetrieb erfordert mehr als einen Modelldownload
Für Hugging Face Transformers liefert das Modellrepository eigenen Modellcode; die Beispiele laden ihn mit trust_remote_code=True. Für vLLM stellt Salesforce zunächst ein Plugin bereit, das auf vLLM 0.32.0 ausgelegt ist. Die direkte Integration in beide Projekte wird laut Modellkarte noch vorbereitet. Wer fremden Modellcode im eigenen Betrieb lädt, sollte ihn daher wie andere ausführbare Abhängigkeiten prüfen und die Laufzeitversionen festhalten. [2]
Salesforce zeigt Messungen auf einer NVIDIA RTX PRO 6000 Blackwell mit 96 GB Speicher. Das ist der dokumentierte Testaufbau, keine allgemeine Mindestanforderung. Ein zusätzlich veröffentlichtes DFlash-Modell kann Entwürfe für mehrere Ausgabetoken vorschlagen, die das Hauptmodell überprüft; die angegebenen Geschwindigkeitsgewinne gelten für die beschriebenen Einzelanfragen und Konfigurationen. Längere Aufnahmen, parallele Anfragen und das Zusatzmodell verändern den Speicherbedarf und die Laufzeit. Bei vLLM akzeptiert der dokumentierte Transkriptionsendpunkt zunächst höchstens 600 Sekunden Audio pro Anfrage; für längere Aufnahmen muss die entsprechende Servergrenze angehoben werden. [2]
Fazit
SOV-Transcribe-1 ist vor allem für Teams interessant, die aufgezeichnete Gespräche auf eigener Infrastruktur verarbeiten und das Transkript mit Sprachhinweisen oder Formatvorgaben an ihren Arbeitsablauf anpassen wollen. Die offene Apache-Lizenz erleichtert solche Integrationen. Vor einem produktiven Einsatz sollten sie jedoch eigene Audiodaten mit den benötigten Sprachen und Fachbegriffen testen, kritische Angaben gesondert validieren und den Aufwand für GPU-Betrieb sowie die noch nicht abgeschlossene Framework-Integration einkalkulieren. Für eine Transkription während des Sprechens ist das Non-Streaming-Modell nicht gedacht. [1][2]
Quellen
[1] Salesforce Sovereign Intelligence, „Introducing Salesforce SOV-Transcribe-1“, 12. November 2026: https://huggingface.co/blog/salesforce-sovereign-intelligence/sov-transcribe-1
[2] Salesforce Sovereign Intelligence, Modellkarte und Nutzungsanleitung zu SOV-Transcribe-1: https://huggingface.co/salesforce-sovereign-intelligence/SOV-Transcribe-1
[3] Artificial Analysis, Speech to Text – Non-streaming Leaderboard: https://artificialanalysis.ai/speech-to-text/non-streaming
[4] Artificial Analysis, Methodik des Speech-to-Text-Benchmarks: https://artificialanalysis.ai/methodology/speech-to-text
[5] Besimple AI, VoiceCodeBench Leaderboard und Methodik: https://besimple.ai/leaderboards/voice-code-bench