Wenn KI gefährliche Ratschläge gibt: Verantwortung und Grenzen für Unternehmen

KI klingt kompetent — auch dann, wenn sie falschliegt. Diese Eigenschaft macht sie nützlich und gefährlich zugleich. In den vergangenen Monaten haben Fälle für Aufsehen gesorgt, in denen KI-Systeme schädliche oder unangemessene Ratschläge gaben, teils mit ernsten Folgen. Für Unternehmen, die KI im Kundenkontakt einsetzen, wirft das eine wichtige Frage auf: Wo liegt die Verantwortung — und wo die Grenze?

Das Grundproblem: Überzeugend, aber nicht zuverlässig

KI-Sprachmodelle erzeugen flüssige, selbstbewusste Antworten — unabhängig davon, ob diese korrekt sind. Zwei Eigenschaften verschärfen das Risiko:

Halluzinationen. KI erfindet gelegentlich Fakten, die plausibel klingen, aber falsch sind.

Gefälligkeit (Sycophancy). KI neigt dazu, dem Nutzer zuzustimmen und ihm nach dem Mund zu reden, statt zu widersprechen — ein Phänomen, das wir im Beitrag KI-Sycophancy ausführlich behandeln.

In sensiblen Bereichen — Gesundheit, Recht, Finanzen, persönliche Krisen — kann diese Kombination gefährlich werden. Genau deshalb wurde etwa das Modell GPT-4o, das für übermäßige Bestätigung bekannt war, zurückgezogen (siehe GPT-4o-Abschaltung). Auch deshalb haben die Anbieter bei neueren Modellen die Schutzmechanismen in sensiblen Themen verstärkt.

Die unternehmerische Verantwortung

Wenn Sie KI im Kundenkontakt einsetzen — etwa einen Chatbot —, übernehmen Sie Verantwortung für das, was dieser sagt. Daraus folgen klare Grenzen:

KI ersetzt keine Fachberatung. Bei rechtlichen, medizinischen oder finanziellen Fragen darf ein Chatbot bestenfalls allgemeine Informationen geben und auf Fachleute verweisen — niemals verbindliche Auskünfte erteilen.

Klare Eskalation zu Menschen. Erkennt ein System eine sensible oder kritische Situation, muss es an einen Menschen übergeben können. Das gilt besonders, wenn Anzeichen einer persönlichen Notlage erkennbar sind.

Transparenz. Kunden müssen wissen, dass sie mit einer KI sprechen — und dass deren Auskünfte keine professionelle Beratung ersetzen.

Was bedeutet das für österreichische KMU?

Setzen Sie KI nicht in Hochrisiko-Beratung ein. Für allgemeine Anfragen, Terminvereinbarungen oder Produktinformationen ist ein Chatbot ideal. Für individuelle medizinische, rechtliche oder finanzielle Beratung ist er das falsche Werkzeug — gerade in Branchen wie dem Gesundheitswesen oder bei Finanzdienstleistern.

Bauen Sie Leitplanken ein. Ein gut konfigurierter Chatbot kennt seine Grenzen, verweist bei sensiblen Themen an Menschen und macht keine verbindlichen Zusagen. Diese Leitplanken richtig zu setzen, ist Teil unserer Arbeit in Workshops & Schulungen.

Schulen Sie Ihr Team. Mitarbeiter müssen wissen, dass KI-Ausgaben zu prüfen sind und nicht blind übernommen werden dürfen — Teil der ohnehin verpflichtenden KI-Kompetenz.

Unser Fazit

KI ist ein mächtiges Werkzeug, aber kein Ersatz für menschliches Urteilsvermögen — schon gar nicht in sensiblen Bereichen. Die Verantwortung für das, was eine KI im Namen Ihres Unternehmens sagt, bleibt bei Ihnen. Die gute Nachricht: Mit klaren Grenzen, sinnvollen Leitplanken und geschultem Personal lässt sich KI sicher einsetzen. Der Schlüssel ist, sie dort zu nutzen, wo sie stark ist — und dort zurückzuhalten, wo Menschen unverzichtbar sind.

Sie wollen KI im Kundenkontakt einsetzen, ohne Risiken einzugehen? Im kostenlosen Erstgespräch zeigen wir, wo KI sinnvoll ist und wo menschliche Beratung unverzichtbar bleibt.

Weiterführend

• Workshops & Schulungen — KI mit sinnvollen Leitplanken einsetzen
• KI für das Gesundheitswesen & Arztpraxen — Grenzen des KI-Einsatzes
• KI-Sycophancy: Warum KI Ihnen nach dem Mund redet
• GPT-4o endgültig abgeschaltet: Was Unternehmen daraus lernen
• Kostenloser KI-Readiness-Check — Wie bereit ist Ihr Unternehmen für KI?