Clover: Ein offenes Diffusions-Sprachmodell für schnelle Agentenaufgaben

Von /

Sprachmodelle schreiben ihre Antworten gewöhnlich Token für Token. DiffuSpace versucht es anders: Das am 30. Oktober auf Hugging Face vorgestellte Clover-35B-A3B-Preview erzeugt Text in Blöcken, deren zunächst verdeckte Positionen es schrittweise auflöst. Die Modellgewichte und der Code stehen öffentlich bereit. Damit lässt sich außerhalb einer geschlossenen API untersuchen, ob dieser Ansatz bei längeren Agentenaufgaben tatsächlich Zeit spart. Ankündigung · Modellkarte

Was hinter Clover steckt

Clover baut auf dem Textmodell Qwen3.6-35B-A3B auf und übernimmt dessen hybride Architektur aus Gated DeltaNet und Attention mit Mixture-of-Experts. DiffuSpace hat sie für die blockweise Generierung angepasst: Der bereits fertige Text bleibt als Kontext erhalten, während das Modell die noch verdeckten Token eines neuen Blocks gemeinsam betrachtet. Es ergänzt zunächst besonders sichere Positionen und wiederholt den Vorgang, bis der Block vollständig ist. Erst dann beginnt der nächste Block. Das ist keine gleichzeitige Erzeugung einer gesamten Antwort, aber mehr Parallelität innerhalb eines Blocks als beim üblichen autoregressiven Schreiben. Modellkarte · Ankündigung

Das Modell umfasst laut DiffuSpace 35 Milliarden Parameter; pro Token werden bei der MoE-Berechnung ungefähr drei Milliarden aktiviert. Das Kontextlimit beträgt 131.072 Token für Eingabe und Ausgabe zusammen. Die Gewichte sind unter Apache 2.0 verfügbar. Die Modellkarte beschreibt ausdrücklich die Ableitung von Qwen3.6 und führt die Änderungen am ursprünglichen Modell auf. Für Entwickler ist das mehr als eine Lizenznotiz: Die zusätzlichen Mechanismen für das blockweise Auflösen verändern auch, welche Inferenzsoftware das Modell ausführen kann. Modellkarte · Änderungsnachweis

Herstellerbenchmarks zeigen Tempo, aber noch keinen Alltagsvorteil

DiffuSpace meldet für interne Agentenaufgaben 680 generierte Token pro Sekunde auf einer einzelnen Nvidia GB300 mit BF16-Gewichten und Batchgröße eins. Auf einer H200 nennt das Team 515 Token pro Sekunde und stellt dem 365 Token pro Sekunde für einen mit DFlash2 beschleunigten Qwen-Vergleich gegenüber. Auch die veröffentlichten Agenten-Benchmarks fallen günstig aus: Das Team gibt 73,6 Punkte auf SWE-bench Verified und 51,7 auf Terminal-Bench 2.1 an. Diese Werte stammen aus den Versuchen des Anbieters. Ob sich der Vorsprung bei anderen Prompts, Ausgabemengen und Serving-Konfigurationen hält, müssen unabhängige Tests zeigen. Ankündigung

Für Coding-Agenten wäre eine kürzere Generierungszeit besonders nützlich. Sie lassen auf eine Modellantwort oft unmittelbar einen Werkzeugaufruf und danach die nächste Modellantwort folgen. Die Laufzeit jedes einzelnen Schritts summiert sich. Allerdings entscheidet nicht allein die Zahl der erzeugten Token pro Sekunde über die Dauer eines Auftrags: Auch Prompt-Verarbeitung, Werkzeugwartezeiten, Antwortlänge und die Zahl nötiger Korrekturen zählen. Die veröffentlichten Messwerte belegen daher noch keine entsprechende Beschleunigung ganzer Arbeitsabläufe.

Wer Clover selbst betreiben will, muss die Runtime prüfen

Die Modellkarte enthält ein Beispiel für die Ausführung mit Transformers und eigens geladenem Modellcode. Für die BF16-Gewichte veranschlagt DiffuSpace rund 69 GB Speicher, zuzüglich des Zustands während der Inferenz. Das Team berichtet außerdem von einem INT4-Einsatz auf einer RTX 5070 Ti mit 16 GB Grafikspeicher; die dazu genannten Geschwindigkeiten beziehen sich auf den konkreten quantisierten Testaufbau und lassen sich nicht auf BF16 übertragen. Modellkarte · Ankündigung

Beim produktionsnahen Serving ist Vorsicht angebracht. Die Projektseite verweist zwar auf SGLang und llama.cpp, doch die zugehörigen Beiträge zur Integration waren zum Redaktionsschluss in beiden Upstream-Projekten noch offene Pull Requests. Ein Nutzer meldet im llama.cpp-Vorschlag zudem einen Initialisierungsfehler im Server und in seinem kurzen Test keinen Geschwindigkeitsvorteil durch das dortige selbstspekulative Decoding. Wer Clover einführen möchte, sollte daher nicht die Unterstützung einer stabilen Standardversion voraussetzen, sondern die tatsächlich verwendete Implementierung und deren Leistung selbst prüfen. Projekt-Repository · SGLang-Pull-Request · llama.cpp-Pull-Request

Fazit

Clover macht einen technisch interessanten Weg zu schnelleren Sprachmodellen öffentlich nachvollziehbar: Es verbindet ein bestehendes MoE-Modell mit blockweiser Diffusion und liefert offene Gewichte statt nur eines API-Zugangs. Die Herstellerzahlen zeigen Potenzial für Agenten und lokale Inferenz. Für eine belastbare Entscheidung über den Eigenbetrieb fehlen aber noch unabhängige Vergleiche unter identischen Bedingungen und ausgereifte Integrationen in verbreitete Inferenzserver.

Quellen

Nach oben scrollen