KI-Stack für KMU: Welche Tools, welche Modelle, kaufen oder bauen?

Kurzfassung

• Ein sinnvoller KI-Stack besteht aus wenigen Bausteinen: einem Allzweck-Assistenten, KI in vorhandener Software, optional einer Automatisierung und einer Wissensablage.
• Kein Modell ist in allem das beste. Entscheiden Sie mit eigenen Aufgaben und eigenen Tests, nicht mit Ranglisten.
• Wählen Sie Standardlösungen zuerst. Eigenentwicklung lohnt sich nur für klar umrissene, häufige und wertvolle Sonderfälle.
• Bleiben Sie austauschbar: Anbieter, Modelle und Preise ändern sich im Quartalstakt.
• Prüfen Sie bei jedem Tool Datenschutz, Vertrag und Herkunft des Anbieters.

Die Bausteine eines sinnvollen KI-Stacks

„Welche KI-Tools brauchen wir eigentlich?" ist eine der häufigsten Fragen in Beratungen. Die Antwort ist meist kürzer, als Betriebe erwarten. Statt einer Tool-Liste hilft es, in fünf Kategorien zu denken:

1. Ein Allzweck-Assistent. Das Arbeitspferd für Texte, Recherche, Zusammenfassungen und Ideen, etwa ChatGPT, Claude oder Gemini. Für die meisten Betriebe reicht ein Hauptwerkzeug.
2. KI in vorhandener Software. Viele Programme, die Sie ohnehin nutzen (Office, CRM, Buchhaltung, Warenwirtschaft), enthalten inzwischen KI-Funktionen. Das ist oft der einfachste Einstieg, weil kein neues Tool eingeführt werden muss. Für das Microsoft-Umfeld lesen Sie den Beitrag zu Microsoft Copilot für KMU.
3. Ein Werkzeug im Kundenkontakt. Ein Assistent, der Standardanfragen beantwortet. Wie das sauber gelingt, steht im Beitrag zu KI im Kundenservice.
4. Eine Automatisierung. Für wiederkehrende, mehrstufige Abläufe. Das reicht von einfachen Workflows bis zu KI-Agenten.
5. Eine Wissensablage. Ein System, das Ihr Unternehmenswissen durchsuchbar macht, wie im Beitrag zu LLM Knowledge Bases beschrieben.

Sie brauchen nicht alle fünf auf einmal. Beginnen Sie mit dem Baustein, bei dem der Nutzen am klarsten ist, meist beim Assistenten oder bei der vorhandenen Software.

Weniger ist mehr

Der häufigste Fehler ist nicht ein Mangel an Tools, sondern ein Überfluss: viele Abos, die niemand richtig beherrscht. Das führt zu Verwirrung, ungenutzten Lizenzen und Schatten-KI, weil Beschäftigte auf private Konten ausweichen. Eine praktische Faustregel lautet: lieber drei Werkzeuge, die das Team beherrscht, als zehn, die brachliegen. Die Kosten der Varianten rechnen wir im Beitrag Was kostet KI im Unternehmen? durch.

Welches Modell passt? Kriterien statt Ranglisten

Es gibt kein Modell, das in allen Aufgaben führt. Die Anbieter liefern sich Rennen, bei denen sich die Reihenfolge alle paar Monate ändert. Ranglisten und Benchmark-Tabellen veralten deshalb schnell, und sie messen oft Aufgaben, die mit Ihrem Alltag wenig zu tun haben. Eine Gegenüberstellung der großen Anbieter finden Sie im Beitrag ChatGPT, Claude oder Gemini?. Für Ihre eigene Entscheidung sind fünf Kriterien wichtiger:

• Qualität bei Ihren Aufgaben: Wie gut sind Ergebnisse bei Ihren Texten, Dokumenten und Daten?
• Tempo: Wie schnell muss die Antwort da sein?
• Preis: Was kostet es bei Ihrem Volumen?
• Datenschutz und Vertrag: Gibt es einen Firmentarif mit Auftragsverarbeitungsvertrag?
• Verarbeitung langer Dokumente: Wie viel Material muss das Modell auf einmal lesen?

Der Eigentest in einer Stunde

So testen Sie ohne Technikkenntnisse:

1. Sammeln Sie zehn echte Aufgaben aus Ihrem Alltag (anonymisiert, ohne personenbezogene Daten).
2. Geben Sie jede Aufgabe zwei bis drei Modellen mit identischer Anweisung.
3. Lassen Sie die Ergebnisse von zwei Kolleginnen oder Kollegen blind bewerten (ohne zu wissen, welches Modell welches Ergebnis geliefert hat).
4. Notieren Sie Qualität, Tempo und Aufwand für Nacharbeit.

Wiederholen Sie den Test einmal pro Quartal. Dann sehen Sie rechtzeitig, wenn ein anderes Modell besser oder günstiger wird.

Mehrere Modelle gezielt kombinieren

Für viele Betriebe genügt ein Hauptwerkzeug. Sobald Sie Aufgaben automatisieren oder hohe Mengen verarbeiten, lohnt sich ein Mix:

• Kleine, schnelle Modelle für Massenaufgaben mit klarer Struktur, etwa Anfragen vorsortieren oder Dokumente kurz zusammenfassen.
• Große, stärkere Modelle für schwierige Aufgaben mit viel Kontext, etwa Vertragsanalysen oder komplexe Auswertungen.
• Offene Modelle auf eigener Hardware, wenn Daten das Haus nicht verlassen sollen oder das Volumen sehr hoch ist. Wann sich das rechnet, zeigt der Beitrag zu den KI-Kosten.

Das spart Geld, ohne Qualität zu opfern, weil das teure Modell nur dort läuft, wo es gebraucht wird. Die Zuordnung ist keine Dauerlösung, sondern ein Ergebnis Ihrer Tests und Ihrer Quartalsprüfung.

Aufwand steuern: die Effort-Einstellung bei Claude

Manche Modelle lassen sich in ihrer Gründlichkeit steuern. Anthropic bietet für Claude einen Parameter namens Effort an. Laut der Entwicklerdokumentation gibt es die Stufen low, medium, high, xhigh und max. Er steuert, wie viele Ausgabe-Tokens das Modell aufwendet, also für Text, Werkzeugaufrufe und, falls aktiv, das Nachdenken. Niedrige Stufen sind schneller und günstiger, mit etwas weniger Gründlichkeit. Hohe Stufen denken länger nach und eignen sich für schwierige Aufgaben. Bei Claude Opus 5.5 und Claude Haiku 5.5 ist medium voreingestellt.

Zwei Einordnungen:

• Es ist ein Verhaltenssignal und kein strenges Budget. Auch auf niedriger Stufe denkt das Modell bei schwierigen Aufgaben nach, nur weniger.
• Die Einstellung gibt es in der Programmierschnittstelle. In Chat-Oberflächen heißt sie je nach Anbieter und Tarif anders oder fehlt. Ähnliche Regler bei anderen Anbietern prüfen Sie in deren Dokumentation.

Für die Praxis: Routineaufgaben auf niedriger bis mittlerer Stufe, wichtige Analysen auf hoher Stufe, und nach dem Test prüfen, ob die Mehrkosten sichtbar bessere Ergebnisse bringen.

Unabhängig bleiben: Lock-in vermeiden

Wer alle Abläufe auf ein einzelnes Modell oder einen Anbieter ausrichtet, zahlt später beim Wechsel. Wie schnell sich Angebote ändern, zeigte die Abschaltung von GPT-4o. Vier einfache Gegenmittel:

1. Eigene Anweisungen und Vorlagen sammeln, außerhalb des Chatverlaufs eines Anbieters (etwa in einem gemeinsamen Dokument).
2. Offene Standards nutzen. Das Model Context Protocol (MCP) ist eine Schnittstelle, mit der KI-Systeme auf Werkzeuge und Daten zugreifen. Anthropic hat sie im Dezember 2025 an die Agentic AI Foundation unter dem Dach der Linux Foundation übergeben, mit OpenAI und Block als Mitgründern. Google, Microsoft und Amazon unterstützen sie. Laut Anthropic gab es damals über 10.000 aktive öffentliche MCP-Server. Mehr dazu im Beitrag zum MCP Dev Summit.
3. Wichtige Abläufe so bauen, dass das Modell ein Austauschteil ist.
4. Quartalsprüfung der Modelle und Preise fest einplanen.

Datenschutz und Herkunft des Anbieters

Zu jedem Tool gehören drei Prüfungen:

• Tarif und Vertrag: Firmentarif mit Auftragsverarbeitungsvertrag statt Privatkonto. Details im Beitrag zu KI und Datenschutz.
• Standort und Rechtsraum: US-Anbieter können unter bestimmten Umständen von US-Behörden zur Herausgabe von Daten verpflichtet werden (CLOUD Act). Bei Anbietern aus China gelten dortige Gesetze. Europäische Anbieter wie Mistral aus Frankreich sind eine Option, wenn Ihnen der Rechtsraum wichtig ist. Bei sensiblen Daten lassen Sie das rechtlich prüfen.
• Gedächtnisfunktionen: Assistenten merken sich zunehmend frühere Gespräche. ChatGPT zeigt seit Mai 2026 mit „Memory Sources" an, welche früheren Chats oder Einträge in eine Antwort eingeflossen sind, und erlaubt, diese zu löschen oder zu ändern. Entscheiden Sie bewusst, ob Gedächtnis in Firmenkonten aktiv sein soll, und legen Sie das in Ihrer KI-Richtlinie fest.

Kaufen oder bauen?

Früher oder später stellt sich die Frage: Fertige Lösung nutzen oder eine maßgeschneiderte bauen lassen? Für die meisten KMU gilt: zuerst Standard.

Eine Maßanfertigung muss ihren Mehrpreis durch klaren Nutzen rechtfertigen. Rechnen Sie dafür mit der Methode aus dem Beitrag KI-ROI berechnen und denken Sie die Pflege mit: Modelle ändern sich, Schnittstellen auch. Ebenso teuer ist der umgekehrte Fehler, eine Standardlösung in einen Prozess zu zwängen, für den sie nicht gebaut wurde. Eine herstellerunabhängige Einschätzung vor großen Projekten hilft, nicht mehr zu kaufen als nötig. Bei der Umsetzung unterstützt die Implementierungsbegleitung.

So entscheiden Sie in fünf Schritten

1. Aufgabe wählen, bei der Zeit verloren geht, und den heutigen Aufwand messen.
2. Vorhandene Software prüfen: Gibt es dort schon eine KI-Funktion?
3. Zwei bis drei Kandidaten testen (Eigentest, zehn Aufgaben).
4. Firmenzugang mit Vertrag wählen und eine kurze Richtlinie festlegen.
5. Nach drei Monaten auswerten: Nutzung, Zeitersparnis, Kosten. Ungenutzte Lizenzen kündigen.

Checkliste

• Maximal drei Hauptwerkzeuge im Einsatz
• Jede Lizenz hat eine verantwortliche Person und einen Zweck
• Eigentest mit zehn echten Aufgaben durchgeführt
• Firmentarif mit Auftragsverarbeitungsvertrag, keine Privatkonten für Kundendaten
• Gedächtnisfunktionen bewusst entschieden und in der Richtlinie geregelt
• Anweisungen und Vorlagen außerhalb des Anbieters gesichert
• Quartalsprüfung im Kalender
• Maßanfertigung nur mit gerechnetem Nutzen

Unser Fazit

Ein guter KI-Stack ist klein, bewusst gewählt und austauschbar. Er entsteht nicht aus Ranglisten, sondern aus Ihren Aufgaben, Ihren Tests und Ihren Datenschutzanforderungen. Starten Sie mit einem Baustein, bleiben Sie beweglich und prüfen Sie jedes Quartal, ob sich Modelle oder Preise geändert haben.

Sie wollen Ihren Stack gemeinsam sortieren? In der KI-Strategieberatung stellen wir herstellerunabhängig zusammen, was zu Ihrem Betrieb passt. Der Einstieg gelingt im kostenlosen Erstgespräch.

Weiterführend

• KI-Strategieberatung: Den passenden Stack herstellerunabhängig auswählen
• KI für Produktion und Fertigung: Individuelle Abläufe abbilden
• Was kostet KI im Unternehmen?
• KI und Datenschutz in Österreich
• Kostenloser KI-Readiness-Check: Wie bereit ist Ihr Unternehmen für KI?

Quellen

• Effort-Parameter, Stufen und Standardwerte: Claude-Entwicklerdokumentation, Effort
• MCP und Agentic AI Foundation (9. Dezember 2025): Anthropic, Donating the Model Context Protocol
• ChatGPT Memory Sources (Mai 2026): Pulse, See and Control What ChatGPT Remembers
• Zum CLOUD Act und zur Herkunft von Anbietern gab es keine geprüfte Primärquelle, der Hinweis ist allgemein gehalten und im Einzelfall rechtlich zu klären.