Wer ein Sprachmodell mit llama.cpp auf dem eigenen Rechner oder Server betreibt, sieht meist zuerst das Modell und seine Geschwindigkeit. Für die Software dahinter zählt aber eine andere Frage: Kann eine Anwendung nach einem Update noch gegen dieselbe Bibliothek gebaut werden? Das Projekt hat am 13. November llama.cpp 1.0.0 und ggml 1.0.0 veröffentlicht. Der Schritt führt eine klarere Versionspolitik für die öffentlichen C-Schnittstellen ein. Gleichzeitig räumt die neue Hauptversion veraltete API-Funktionen ab und bringt Änderungen am Speicher- und Serverbetrieb.[1][2][3]
Was die 1.0 für Integratoren ändert
llama.cpp stellt mit libllama die Inferenzbibliothek bereit; libggml übernimmt die grundlegenden Tensoroperationen. Beide Projekte wollen inkompatible Änderungen an ihren öffentlichen C-APIs künftig durch einen Sprung der Hauptversionsnummer kenntlich machen. Neue, abwärtskompatible Funktionen, Backend-Änderungen und Modellunterstützung fallen nach der veröffentlichten Regel unter die Nebenversion; Fehlerkorrekturen ohne API-Änderung unter die Patch-Version. Für Entwickler, die die Bibliotheken einbinden oder als Pakete verteilen, wird damit erkennbarer, wann sie mit Anpassungsarbeit rechnen müssen.[1]
Das Versprechen beginnt nicht mit völliger Kompatibilität zu älteren Ausgaben. In llama.h entfallen mit Version 1.0 unter anderem 35 zuvor als veraltet markierte Funktionen und llama_set_warmup. Die Schnittstelle für NextN beziehungsweise spekulatives Dekodieren wandert dagegen aus llama-ext.h in den öffentlichen Header llama.h. Wer eigene Bindings, Plugins oder native Anwendungen pflegt, sollte vor dem Umstieg die verwendeten C-Funktionen gegen die neuen Header prüfen und einen vollständigen Neubau samt Funktionstests einplanen. Eine stabile öffentliche C-API verspricht auch nicht, dass Modellformate, Ergebnisse oder Laufzeiten auf jeder Hardware unverändert bleiben.[2]
Für Paketbauer ist außerdem die Beziehung zwischen beiden Repositories wichtig. Nach der dokumentierten Release-Strategie enthält llama.cpp eine interne Kopie von ggml, die in Entwicklungs-Builds von einem offiziellen ggml-Release abweichen kann. Die offiziellen Release-Tags werden dagegen nur erzeugt, wenn interne und veröffentlichte ggml-Kopie übereinstimmen. Wer libllama gegen eine systemweit installierte libggml baut, sollte deshalb die zusammengehörigen Release-Versionen verwenden, statt beliebige nächtliche Builds zu mischen.[4]
Mehr Spielraum für große Modelle, aber kein kostenloser Speicher
Neben der Versionspolitik enthält 1.0 neue Möglichkeiten für die Inferenz. Ein Cache kann Experten eines Mixture-of-Experts-Modells im Hauptspeicher halten; die Parameter moe_cache_size und moe_cache_cpu_share steuern Größe und CPU-Anteil bei Cache-Fehlzugriffen. Das ist besonders dann interessant, wenn ein großes Modell nicht vollständig in den Grafikspeicher passt. Der zusätzliche Weg über den Hauptspeicher kann jedoch Latenz kosten. Ob der Cache bei einem konkreten Modell hilft, hängt vom Zugriff auf die Experten und von der jeweiligen Hardware ab; der Release nennt dafür keine allgemeingültige Beschleunigung.[2]
llama.cpp unterstützt in 1.0 zudem FP8-Formate für den KV-Cache. Dort liegen die Zwischenergebnisse der Aufmerksamkeitsschichten, die das Modell während der Generierung für frühere Token vorhält. Eine kompaktere Darstellung kann den Speicherbedarf langer Kontexte senken. Dafür sollten Betreiber prüfen, wie sich die gewählte Präzision auf Qualität, Durchsatz und Hardwareunterstützung ihrer konkreten Konfiguration auswirkt. Auch neue Modellarchitekturen und Sprach- beziehungsweise Bildfunktionen gehören zum Release; die 1.0 ist also nicht nur eine Umbenennung des bisherigen Stands.[2][3]
Der lokale Server braucht weiterhin eine Sicherheitsprüfung
Für Anwendungen, die llama-server als Dienst verwenden, sind die Sicherheitsänderungen ebenso relevant wie die Modellfunktionen. Die Release Notes nennen Korrekturen für Server-Side Request Forgery bei weitergereichten Medien-URLs und beim CORS-Proxy, Schutz gegen DNS-Rebinding und Einschränkungen für den Zugriff auf untergeordnete Serverinstanzen. Bestimmte riskantere Möglichkeiten erfordern nun ausdrückliche Freigaben, etwa über --media-allow-private-urls und --allow-unauthenticated-tools. Außerdem bricht der Server laufende MCP-Werkzeugaufrufe bei einem Verbindungsabbruch oder Timeout ab.[2]
Das ist kein Ersatz für die Absicherung einer öffentlich erreichbaren Instanz. Wer bisher private Medienadressen verarbeitet oder Werkzeuge ohne Authentifizierung eingebunden hat, muss die neuen Voreinstellungen und Freigaben ausdrücklich gegen den eigenen Ablauf testen. Der sichere Standard und ein funktionierender bestehender Workflow können beim Versionswechsel auseinanderfallen.[2]
Fazit
Mit llama.cpp und ggml 1.0 bekommen Entwickler ein besser lesbares Signal für künftige Änderungen an den öffentlichen Bibliotheksschnittstellen. Der unmittelbar anstehende Schritt ist allerdings eine Migration: Alte C-Funktionen verschwinden, während neue Cache-Optionen und strengere Serverregeln das Laufzeitverhalten beeinflussen können. Für lokale KI-Anwendungen lohnt sich deshalb ein Test mit der eigenen Modell-Hardware-Kombination und den tatsächlich genutzten API- und Serverfunktionen, bevor Version 1.0 einen bestehenden Dienst ersetzt.[1][2][4]
Quellen
[1] ggml-org, „llama.cpp v1.0.0: A stronger foundation for the local AI ecosystem“, 13. November 2026: https://huggingface.co/blog/ggml-org/llama-cpp-v1
[2] ggml-org, Release Notes zu llama.cpp v1.0.0, 13. November 2026: https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0
[3] ggml-org, Release Notes zu ggml v1.0.0, 13. November 2026: https://github.com/ggml-org/ggml/releases/tag/v1.0.0
[4] ggml-org, Diskussion „Releases and versioning of ggml-org projects“: https://github.com/ggml-org/ggml/discussions/1579