Eine Gesprächsaufnahme in Text umzuwandeln, ist nur der erste Schritt. Wer ein Meeting auswerten will, muss auch wissen, wer gesprochen hat; für eine internationale Besprechung kommt womöglich eine Übersetzung hinzu. Nvidia hat am 28. Oktober mit Nemotron 3.5 Transcribe ein Modell mit öffentlich verfügbaren Gewichten vorgestellt, das diese Aufgaben anhand einer Textanweisung aus derselben Aufnahme bearbeiten soll. Zugleich hat das Unternehmen mit Granary v2 die aufbereiteten Daten und Teile der Verarbeitungspipeline veröffentlicht, mit denen es solche unterschiedlichen Ausgabeformen vorbereitet. Nvidias Ankündigung beschreibt den Ansatz und verweist auf die Modellkarte sowie die Datensatzkarte.
Eine Aufnahme, mehrere mögliche Antworten
Nemotron 3.5 Transcribe verarbeitet aufgezeichnetes Audio zusammen mit einer Anweisung und optionalem Kontext. Je nach Prompt schreibt es gesprochene Wörter mit, ordnet Textpassagen Sprechern zu, übersetzt Sprache oder beantwortet Fragen zum Inhalt. Auch Wort-Zeitmarken sind vorgesehen. Die Modellkarte nennt Transkription für 40 Sprachen, Übersetzung für eine kleinere Sprachauswahl und Aufnahmen von bis zu einer Stunde. Die Sprecherzuordnung unterstützt nach Nvidias Ankündigung bis zu acht Personen; welche Sprachen für welche Aufgabe abgedeckt sind, muss jeweils der Sprachmatrix der Modellkarte entnommen werden. Besonders wichtig: Fragen zum Audio wurden laut Modellkarte nur auf Englisch evaluiert. Aus der Zahl der Transkriptionssprachen lässt sich deshalb keine gleich gute mehrsprachige Gesprächsanalyse ableiten.
Technisch kombiniert Nvidia einen Audioencoder für Sprachmerkmale mit einem separaten Encoder für Sprecherhinweise und einem Sprachmodell, das die gewünschte Textantwort erzeugt. Dessen Kern ist ein Mixture-of-Experts-Modell mit Mamba-2- und Transformer-Komponenten. Bei dieser Architektur werden pro Verarbeitungsschritt nur Teile des Sprachmodells aktiviert. Die Modellkarte beziffert den Gesamtumfang einschließlich Audioencoder auf rund 34 Milliarden Parameter und die aktiven Parameter auf rund 4,3 Milliarden. Das reduziert die jeweils benötigte Rechenarbeit, macht den Speicherbedarf für die Gewichte aber nicht zu dem eines kleinen Vier-Milliarden-Parameter-Modells. Für die BF16-Referenz nennt Nvidia als Einsatzbeispiel eine H100 mit 80 GB Speicher. Technische Angaben in der Modellkarte.
Der Nutzen des gemeinsamen Modells liegt auch in der Steuerung des Ausgabeformats. Eine Anweisung kann beispielsweise ein wortgetreues Protokoll mit Füllwörtern verlangen oder Zahlen und Maßeinheiten in üblicher Schreibweise ausgeben lassen. Solche Vorgaben beeinflussen den Text, ersetzen aber keine Kontrolle der Aufnahme: Ein vorgegebener Fachbegriff kann auch fälschlich übernommen werden, wenn er ähnlich klingt. Für medizinische Diktate oder Namen sollten Teams deshalb nicht nur die allgemeine Wortfehlerrate, sondern die Genauigkeit der für sie wichtigen Begriffe prüfen.
Warum Granary v2 mehr als ein großer Audiokorpus ist
Granary v2 stellt laut Datensatzkarte Labels und Trainingsanweisungen für 463.062 Stunden Sprache aus 16 Ausgangskorpora und 48 Sprachen bereit. Das Repository enthält keine Audiodateien. Wer damit trainieren möchte, muss die Aufnahmen bei den ursprünglichen Anbietern beschaffen und deren jeweilige Zugangs- und Lizenzbedingungen beachten. Die 48 Sprachen des Datensatzes sind zudem nicht mit den 40 Transkriptionssprachen des veröffentlichten Modells gleichzusetzen.
Die Verarbeitungspipeline erzeugt aus einer Äußerung verschiedene Zieltexte, darunter eine normalisierte Abschrift, eine Schreibweise mit Ziffern und eine bereinigte Variante ohne Füllwörter. Hinzu kommen unter anderem Übersetzungen, kurze Audiobeschreibungen und Frage-Antwort-Paare. So lernt das Modell, auf dieselbe Aufnahme mit der Ausgabe zu reagieren, die eine Anweisung verlangt. Nvidia veröffentlicht den Pipeline-Code in NeMo Curator; die Datensatzkarte kündigt die vollständigen Durchläufe und Skripte für einzelne Stufen allerdings erst noch an. Für Data Engineers ist diese Trennung wichtig: Das Manifest liefert aufbereitete Zielwerte und Herkunftsangaben, aber noch keinen sofort nutzbaren Audiobestand.
Aussagekräftige Tests brauchen den passenden Maßstab
Nvidia verweist auf gute Ergebnisse in mehreren Spracherkennungs- und Sprecherzuordnungstests. Bei einem eigenen Anpassungsversuch für indische medizinische Sprache sank die Wortfehlerrate bei Sprechern, deren Aufnahmen nicht zur Abstimmung verwendet worden waren, von 22,44 Prozent mit dem besten Prompt auf 12,17 Prozent nach dem Fine-Tuning. Der Versuch nutzte neben synthetischer Sprache auch öffentlich verfügbare Sprachaufnahmen; die Zahlen betreffen diesen konkreten Datensatz und sein Auswertungsverfahren. Auf LibriSpeech test-clean verschlechterte sich die Wortfehlerrate nach der Anpassung leicht von 1,54 auf 1,69 Prozent. Das illustriert, warum ein Fachmodell sowohl am Zielvokabular als auch an allgemeiner Sprache getestet werden sollte. Nvidias Beschreibung des Versuchs.
Für den Eigenbetrieb verweist Nvidia derzeit auf vLLM und SGLang-Omni. Das Modell ist für aufgezeichnetes Audio, nicht für Live-Streaming, ausgelegt. Die Modellkarte nennt die Lizenz OpenMDW-1.1, die auch kommerzielle Nutzung erlaubt; bei einer Weitergabe der Modellmaterialien sind Lizenztext und einschlägige Herkunftshinweise beizulegen. Für Granary v2 gelten teilweise andere Regeln: Die veröffentlichten Labels stehen überwiegend unter OpenMDW-1.1, ein Teilbestand unter CC BY-SA 4.0, während die Originalaufnahmen ihren jeweiligen Quelllizenzen folgen. Modellkarte, Datensatzkarte, OpenMDW-Lizenztext.
Bei der Hardwareplanung lohnt ein Blick auf die tatsächlich herunterladbaren Dateien: Die Modellkarte führt bereits FP8- und NVFP4-Varianten auf, Nvidias Ankündigung bezeichnet quantisierte Versionen dagegen noch als bevorstehend. Die von der Modellkarte verlinkten Repositories für diese beiden Varianten waren bei der Prüfung nicht erreichbar. Auch der dort genannte hohe Durchsatz mit NVFP4 stammt aus einem Nvidia-Test mit kurzen Clips und hoher Parallelität; er beschreibt weder eine bereitstehende lokale Installation noch die Antwortzeit einer einstündigen Aufnahme. Ankündigung, Modellkarte.
Fazit
Nemotron 3.5 Transcribe ist vor allem für Teams interessant, die Aufnahmen selbst verarbeiten und je nach Anwendung unterschiedliche Transkripte oder Sprecherzuordnungen erzeugen möchten. Granary v2 macht nachvollziehbar, wie sich diese Aufgaben aus Sprachdaten als unterschiedliche Trainingsziele formulieren lassen. Für den produktiven Einsatz zählen jedoch die verfügbaren Modellvarianten, die Rechte an den Originalaufnahmen und Tests mit dem eigenen Sprachmaterial mehr als ein einzelner Ranglistenplatz. Besonders bei Namen, überlappenden Stimmen und Fragen zum Inhalt bleibt die Gegenprüfung am Audio nötig.