Ein Modell kann in Sekunden einen Forschungsentwurf kommentieren. Ob es einen Fehler in einem langen Beweis findet oder einen Widerspruch zwischen Methodik und Ergebnissen bemerkt, ist eine andere Frage. Google Research hat am 14. Oktober Deep Review öffentlich zugänglich gemacht. Das System untersucht komplexe Dokumente in mehreren Schritten und soll begründete Kritik liefern, statt nur einen pauschalen Kommentar zu erzeugen.
Die neue Anwendung geht aus dem Paper Assistant Tool (PAT) hervor. Dessen frühere Versionen konnten Forschende vor der Einreichung bei STOC, ICML, NeurIPS und ICLR freiwillig nutzen; laut Google wurden dabei mehr als 16.000 Manuskripte bearbeitet. Diese Rückmeldungen waren vom offiziellen Begutachtungsverfahren getrennt. Deep Review richtet sich nun auch an Nutzer außerhalb der Konferenzen und soll neben Forschungsarbeiten beispielsweise technische Entwürfe sowie Rechts- und Finanzdokumente prüfen. Google Research beschreibt dafür unter anderem die Suche nach logischen Brüchen, zweifelhaften Aussagen und fehlenden Belegen.
Warum die Prüfung aufgeteilt wird
Bei langen Texten reicht es nicht, dem Sprachmodell das gesamte Dokument mit der Bitte um eine Bewertung zu übergeben. Eine einzelne Antwort kann Querverweise übersehen oder eine plausible, aber falsche Behauptung ungeprüft übernehmen. Deep Review zerlegt den Text deshalb zunächst in inhaltliche Abschnitte, die sich überlappen können. Anschließend verteilt das System Rechenaufwand nach Bedarf: Ein dichtes mathematisches Argument soll mehr Aufmerksamkeit erhalten als eine Einleitung. Mehrere spezialisierte Agenten untersuchen ihre Abschnitte parallel, behalten aber Zugriff auf den gesamten Dokumentkontext. Zuletzt führt ein weiterer Agent die Befunde zusammen, prüft Widersprüche zwischen den Teilen und zieht bei Bedarf externe Quellen oder Werkzeuge hinzu. So beschreibt Google die vier Stufen seines Systems.
Für Forschungsteams ist das vor allem als zusätzliche Prüfschleife vor einer Veröffentlichung interessant. Entwickler könnten damit etwa Architekturentwürfe auf übersehene Annahmen untersuchen. Ein solcher Bericht ersetzt jedoch weder die fachliche Abnahme noch die Prüfung der angeführten Quellen: Auch ein ausführlich begründeter Einwand kann auf einem Missverständnis des Ausgangstextes beruhen.
Was die bisherigen Tests aussagen
Die wissenschaftliche Arbeit zum Vorgänger PAT untersuchte unter anderem 26 mathematische und informatische Arbeiten mit insgesamt 29 bekannten Fehlern in Gleichungen oder Beweisen. Mit Gemini 3.1 Pro als Basismodell fand ein einzelner Modellaufruf in diesem ausgewählten Test 55,2 Prozent der Fehler, die mehrstufige PAT-Pipeline 89,7 Prozent. Das sind Ergebnisse für eine kleine, gezielt ausgewählte Teilmenge und ein älteres System, nicht eine gemessene Trefferquote für beliebige Dokumente. Die Autoren nutzten zudem eine eigene, von einem Mitautor überprüfte KI-Bewertung; ihre Zahlen sind nicht direkt mit den Ergebnissen der ursprünglichen SPOT-Studie vergleichbar.
Auch die Rückmeldungen aus den Konferenztests zeigen Nutzen und Grenzen zugleich. In der PAT-Studie gaben 31 Prozent der befragten ICML-Nutzer an, aufgrund der Hinweise neue Experimente durchgeführt zu haben. Andere berichteten von Problemen beim Auslesen von PDFs, veralteten Informationen und zu Unrecht beanstandeten Argumenten. Es handelt sich um Angaben befragter Teilnehmer, nicht um einen unabhängigen Nachweis, dass ihre Arbeiten durchgehend korrekter wurden.
Google nennt inzwischen Gemini 4 Argon als unterstütztes Modell für Deep Review. Die beschriebenen Zahlen aus der älteren PAT-Arbeit messen dessen Leistung nicht. Für die heute angebotene Fassung fehlen damit vergleichbare, unabhängig überprüfte Ergebnisse zur Fehlererkennung über unterschiedliche Dokumenttypen hinweg.
Zugang und sensible Unterlagen
Über das Deep-Review-Portal können Nutzer nach Anmeldung mit einem Google-Konto zwei Dokumente pro Woche kostenlos prüfen lassen. Für zusätzliche Prüfungen lässt sich ein eigener Gemini-API-Schlüssel hinterlegen; dabei fallen laut Portal Tokenkosten an. Google nennt für den Start PDFs und reinen Text als Eingabe. Die angekündigte Unterstützung mehrerer Dateien ist noch nicht Teil dieses anfänglichen Umfangs. Google stellt außerdem eine Deep-Review-API für programmatische Arbeitsabläufe in Aussicht, doch die Ankündigung liefert keine technischen Angaben zu Endpunkten oder Integrationsaufwand.
Vor dem Hochladen vertraulicher Manuskripte oder Vertragsentwürfe lohnt ein Blick auf die Datenhaltung. Google erklärt, hochgeladene Dokumente nicht zum Trainieren oder Verbessern seiner Modelle zu verwenden, speichert sie für die Anzeige im Portal aber bis zu einem Jahr. Das ist ein anderer Umgang mit den Unterlagen als in den zeitlich begrenzten Konferenztests, bei denen Google die Manuskripte nach Abschluss der Programme löschte. Unternehmen sollten deshalb zuerst prüfen, ob ihre internen Vorgaben eine solche Verarbeitung erlauben. Quelle: Google Research.
Deep Review zeigt, wie sich lange Fachtexte mit Planung, paralleler Prüfung und einer abschließenden Gesamtschau systematischer untersuchen lassen. Der praktische Gewinn liegt darin, mögliche Fehler früh sichtbar zu machen. Ob ein gemeldeter Fehler tatsächlich vorliegt und welche Folgen er hat, müssen weiterhin Menschen mit Fachkenntnis entscheiden.