OptAI®
DE

Artikel Lab

Das kleinste Modell, das reicht

Ausgerechnet Forscher von NVIDIA argumentieren, dass kleine Sprachmodelle den Grossteil der Arbeit in KI-Agenten besser erledigen. Für Schweizer Firmen ist das eine gute Nachricht, was Kosten, Tempo und Datenschutz betrifft.

Eine Reihe schlichter weisser Matrjoschkas, von gross bis winzig, auf violettem Hintergrund

Es ist seltsam, wenn die Firma, die die grössten Chips verkauft, für kleinere Modelle wirbt. Im Juni 2025 veröffentlichte ein Team von NVIDIA Research ein Paper mit einem unverblümten Titel: «Small Language Models are the Future of Agentic AI». Die These ist einfach. Das meiste, was ein KI-Agent den ganzen Tag tut, ist eng begrenzt und repetitiv. Er liest ein Dokument, zieht fünf Felder heraus, füllt ein Formular aus, ruft ein Tool auf, schreibt eine kurze Zusammenfassung. Dafür braucht es kein Modell, das darauf trainiert ist, über Kant zu diskutieren und Sonette zu schreiben.

Die Autoren nennen ein Modell klein, wenn es auf ein gewöhnliches Endgerät passt und die Anfragen eines einzelnen Nutzers schnell genug beantwortet. Heute trifft das auf die meisten Modelle unter 10 Mrd. Parametern zu. Die Zahlen sind eindrücklich. Laut den Autoren ist der Betrieb eines Modells mit 7 Mrd. Parametern bei Latenz, Energie und Rechenleistung 10- bis 30-mal günstiger als der eines Modells mit 70 bis 175 Mrd. Parametern. Sie untersuchten drei Open-Source-Agentensysteme und schätzten, dass kleine, spezialisierte Modelle zwischen 40% und 70% der Anfragen, die diese Systeme an grosse Modelle stellen, zuverlässig übernehmen könnten.

Grosse Modelle, wo es darauf ankommt

Das heisst nicht, dass grosse Modelle ausgedient haben. Ist eine Aufgabe offen, neu oder wirklich schwierig, liegen die Frontier-Modelle von Anthropic, OpenAI und Google noch weit vorne, und sie sind ihr Geld wert. Das NVIDIA-Team schlägt vor, beides zu mischen: kleine Modelle für die Routine, ein grosses für die Ausnahmen. Eine gut geführte Firma funktioniert genauso. Den Finanzchef lässt man auch nicht die Rechnungen verbuchen.

Kleine Modelle bleiben im Haus

Kleine Modelle haben einen zweiten Vorteil, der in Zürich mehr zählt als in San Francisco. Sie laufen auf bescheidener Hardware: auf einer einzigen Grafikkarte in einem Schweizer Rechenzentrum oder einem Server im eigenen Rack. Die Daten müssen die Schweiz nicht verlassen, nicht einmal das Haus. Das erleichtert vieles: den Umgang mit dem Schweizer Datenschutzrecht und mit Kunden, die wissen wollen, wo ihre Dateien landen.

Die Schweiz hat inzwischen eine eigene offene Option. Im September 2025 veröffentlichten die EPFL, die ETH Zürich und das Nationale Hochleistungsrechenzentrum der Schweiz (CSCS) Apertus, ein Modell in den Grössen 8 und 70 Mrd. Parameter. Es wurde mit 15 Billionen Tokens in über 1’000 Sprachen trainiert. Rund 40% der Daten sind nicht auf Englisch. Auch Schweizerdeutsch und Rätoromanisch sind dabei. Anders als die meisten offenen Modelle legt es neben den Gewichten auch Trainingsdaten und Rezepte offen. So kann eine Bank oder ein Spital nachsehen, was drinsteckt. Im Juli 2026 veröffentlichten dieselben Institutionen Apertus 1.5. Es versteht auch Bilder und Audio und darf unter der Apache-2.0-Lizenz kommerziell genutzt werden. Dazu kam Apertus Mini, 16 kompakte Modelle für Geräte mit wenig Rechenleistung.

Das Modell nach der Aufgabe wählen

Bei OptAI® gilt: Wir beginnen bei der Aufgabe und wählen das kleinste Modell, das sie gut genug erledigt, gemessen an den eigenen Beispielen des Kunden. Oft heisst das, ein kleines offenes Modell per Fine-Tuning auf eine einzige Aufgabe zu trimmen, etwa Lieferantenrechnungen lesen oder Mieteranfragen sortieren, und ein Frontier-Modell nur dann zu fragen, wenn das kleine unsicher ist. Die Rechnung sinkt, die Antworten kommen schneller, und die Daten bleiben im Haus.

Das Rennen um das grösste Modell geht weiter, und es ist gut, dass es jemand bestreitet. Die meisten Firmen müssen nicht antreten. Sie brauchen das kleinste Modell, das reicht, und jemanden, der erkennt, welches das ist.

Quellen

  1. Belcak et al., NVIDIA Research: Small Language Models are the Future of Agentic AI, arXiv, June 2025
  2. NVIDIA Technical Blog: How small language models are key to scalable agentic AI
  3. EPFL AI Center: Apertus, a fully open, transparent, multilingual language model, 2 September 2025
  4. Swiss AI Initiative: About Apertus
  5. EPFL AI Center: Apertus 1.5, building the next generation of open AI infrastructure, 24 July 2026

Weitere Artikel