KI im Mittelstand: Wo kleine und mittlere Unternehmen stehen und wie sie sicher ans Ziel kommen

Wer mit kleinen und mittleren Unternehmen arbeitet, kennt diese Szene. Eine Bürokraft schreibt abends Angebote, merkt dass ein Chatbot das schneller kann, und nutzt ihn. Niemand hat es verboten, niemand hat es erlaubt, die Geschäftsführung weiß nichts davon. Genau so kommt KI heute in die meisten KMU. Nicht über eine Strategie, sondern über die Hintertür. Das ist weder böser Wille noch Nachlässigkeit. Es ist schlicht das, was passiert, wenn ein Werkzeug nützlich ist und keine Regeln existieren. Dieser Beitrag beschreibt, wie die Situation heute wirklich aussieht, welche Risiken daraus für das Unternehmen entstehen, wie der Zielzustand aussehen sollte und welcher Weg dorthin führt.

Was die Studien zum Mittelstand zeigen

Es mangelt nicht an Studien. Die IKT-Erhebung des Statistischen Bundesamts, das KfW-Mittelstandspanel, die Erhebungen des Digitalverbands Bitkom und der KI-Index des Deutschen Mittelstands-Bunds liefern zusammen ein belastbares Bild. Die Zahlen weichen voneinander ab, weil jede Erhebung anders fragt und andere Betriebsgrößen abdeckt. Das Ergebnis hinter den Zahlen ist trotzdem eindeutig.

Das Statistische Bundesamt kam 2025 auf 26 Prozent der Unternehmen ab zehn Beschäftigten, die KI nutzen. Bei Großunternehmen ab 250 Beschäftigten sind es 57 Prozent, bei mittleren 36 und bei kleinen 23 Prozent. Bitkom meldete im September 2026 erstmals eine aktive Nutzung durch die Mehrheit der Unternehmen ab 20 Beschäftigten, nach 41 Prozent im März desselben Jahres. Das KfW-Mittelstandspanel liegt für die Jahre 2022 bis 2024 mit 20 Prozent zurückhaltender. Der KI-Index des Deutschen Mittelstands-Bunds sieht rund ein Drittel der Mittelständler bis 500 Beschäftigte im Einsatz, vor allem mit generativer KI für Texte und Kommunikation.

Daraus lassen sich zwei Erkenntnisse ableiten. Je kleiner das Unternehmen, desto seltener gibt es einen geordneten KI-Einsatz. Und der Mittelstand nutzt KI nicht als Technologieprojekt, sondern als Werkzeug für Texte, E-Mails, Bewertungen und Angebote, genau dort, wo einzelne Beschäftigte die Initiative ergreifen. Auch die genannten Hemmnisse passen dazu: 27 Prozent der Mittelständler wissen schlicht nicht, wofür sie KI einsetzen sollen, 21 Prozent nennen rechtliche Unsicherheiten, 14 Prozent fehlen die Fachkräfte.

KI entsteht im Unternehmen, ohne dass das Unternehmen es steuert

Die offiziellen Zahlen erfassen nur die halbe Wahrheit. Die andere Hälfte läuft über private Konten und private Geräte.

Bitkom hat im Oktober 2025 erhoben, dass vier von zehn Unternehmen davon ausgehen, ihre Beschäftigten würden private KI-Zugänge für berufliche Aufgaben nutzen. Nur rund ein Viertel der Unternehmen hat überhaupt Regeln für den KI-Einsatz am Arbeitsplatz. Der Grund ist einfach: Die meisten stellen schlicht kein offizielles Angebot bereit.

Internationale Erhebungen zum Arbeitsalltag zeigen dasselbe Muster. Drei Viertel der Wissensarbeiter nutzen KI bei der Arbeit. Von diesen Nutzern bringen fast 80 Prozent eigene Tools mit. In kleinen und mittleren Unternehmen ist der Anteil am höchsten, gerade weil es dort am seltensten offizielle Programme gibt. Viele Nutzer geben zudem ungern zu, KI für wichtige Aufgaben zu verwenden. Die IT-Abteilung sieht die Nutzung also oft gar nicht.

Eine Befragung von Bürobeschäftigten in Deutschland macht die Folgen greifbar. Knapp die Hälfte nutzt KI-Werkzeuge, die der Arbeitgeber nicht bereitstellt. Über 40 Prozent dieser Nutzer haben schon Entwürfe für interne E-Mails in solche Dienste eingegeben. Rund 16 Prozent haben strategische Informationen zu Projekten, Produkten oder Kunden dort hinterlegt.

Die Praxisbeispiele sehen überall ähnlich aus. In der Gastronomie werden Antworten auf Gästebewertungen mit einem Chatbot formuliert. Im Prompt stehen dann Gästename, Besuchsdatum und der Wortlaut der Reklamation. Ein Handwerksbetrieb lässt ein Angebot mit Stückzahlen und Kundennamen von einem Gratis-Dienst schreiben. Der Verlauf dieser Eingaben bleibt im privaten Konto des Mitarbeitenden, nicht beim Unternehmen. Der bekannteste Fall stammt aus dem Jahr 2023, als Beschäftigte eines großen Elektronikkonzerns sensiblen Quellcode in einen öffentlichen Chatbot eingaben. Der Konzern verbot daraufhin generative KI auf Firmengeräten. Der Schaden war bereits entstanden und nicht rückholbar.

Was dabei auf dem Spiel steht: die Risiken für das Unternehmen

Die private Nutzung wirkt harmlos, weil es im Alltag meist glattgeht. Rechtlich liegt der Hebel trotzdem beim Unternehmen. Drei Risiken sind entscheidend.

Erstes Risiko: Datenschutzverstöße nach der DSGVO

Sobald personenbezogene Daten in ein ungeprüftes Werkzeug wandern, gilt die Datenschutzgrundverordnung. Gästenamen, Kundendaten und Mitarbeiterangaben sind personenbezogen. Die Verantwortung trägt das Unternehmen, nicht die einzelne Mitarbeiterin und nicht der einzelne Mitarbeiter. Eine Geschäftsführung, die nichts bereitstellt und nichts regelt, haftet trotzdem. Konkret fehlt bei privater Nutzung fast alles, was die Verordnung verlangt: eine Rechtsgrundlage, ein Vertrag zur Auftragsverarbeitung, gegebenenfalls eine Datenschutzfolgenabschätzung und die Information der Betroffenen. Die Bußgelder reichen theoretisch bis 20 Millionen Euro oder 4 Prozent des weltweiten Jahresumsatzes. Für einen Mittelständler ist das theoretisch. Das praktische Risiko sind Meldepflichten, behördliche Anfragen und der Vertrauensschaden bei Kunden, deren Daten abgeflossen sind.

Zweites Risiko: Verlust des Schutzes für Geschäftsgeheimnisse

Die DSGVO schützt personenbezogene Daten. Sie schützt keine Kalkulationen, Rezepturen, Preismodelle oder Kundendaten in Form von Vertragskonditionen. Dafür gibt es das Geschäftsgeheimnisgesetz, und hier liegt die größte Gefahr für KMU. Das Gesetz schützt ein Geheimnis nur, solange das Unternehmen angemessene Geheimhaltungsmaßnahmen trifft. Das ist keine Formalität, sondern Voraussetzung für den Schutzstatus. Ein Schutzkonzept ohne Regeln für den Umgang mit KI-Werkzeugen gilt als unvollständig. Die Folge ist unangenehm und geschieht geräuschlos. Fliegt eine Kalkulation über ein privates Konto ab und taucht sie später beim Wettbewerber auf, kann das Gericht dem Geschädigten entgegenhalten, dass er die eigenen Geheimnisse nicht gesichert hat. Schadensersatzansprüche scheitern dann am eigenen Versäumnis. Anders als beim Datenschutz warnt hier keine Aufsichtsbehörde. Der Schutz erlischt still.

Drittes Risiko: Kontrollverlust über Qualität und Wissen

Die Nutzung über private Konten hinterlässt keine Spuren im Unternehmen. Niemand kann nachvollziehen, welche Anfragen gestellt wurden, welche Ergebnisse in Angebote geflossen sind und welche Fehler sich dadurch einschlichen. KI-gestützte Texte können sachlich falsch sein, und ohne Nachvollziehbarkeit haftet das Unternehmen auch dafür. Hinzu kommt der EU AI Act. Er verlangt je nach Einsatzzweck Dokumentation und den Aufbau von KI-Kompetenz in der Belegschaft. Wer den Einsatz offiziell nicht kennt, kann beide Pflichten nicht erfüllen.

Wie ein geordneter KI-Einsatz aussieht

Der Zielzustand ist keine düstere Kontrollwelt, sondern das Gegenteil. Ein Unternehmen, das KI geordnet einsetzt, kann sie weiter und freier nutzen als eines, das wegschaut. Der Zielzustand lässt sich in fünf Merkmalen beschreiben.

Erstens gibt es ein bis zwei vom Unternehmen freigegebene KI-Angebote. Sie sind nach Kriterien ausgewählt, nicht nach Marke oder Tagesaktualität: ein Vertrag zur Auftragsverarbeitung, die schriftliche Zusicherung, dass Eingaben nicht zum Training der Modelle verwendet werden, ein Datenstandort in der EU und klare Löschregelungen.

Zweitens existiert eine kurze, verständliche Richtlinie. Sie legt fest, welche Daten in welche der drei Stufen gehören: öffentlich, intern, geheim. Geheimes wie Kalkulationen, Rezepturen und Kundenkonditionen bleibt grundsätzlich draußen oder fließt nur in das ausdrücklich dafür freigegebene Angebot.

Drittens weiß jede Beschäftigte und jeder Beschäftigter nach einer einzigen Schulungseinheit, was erlaubt ist und was nicht. Die Richtlinie wird an echten Fällen aus dem eigenen Betrieb erklärt, nicht als juristisches Dokument verteilt.

Viertens ist der KI-Einsatz Teil der dokumentierten Geheimnisschutzmaßnahmen. Damit bleibt der Schutzstatus nach dem Geschäftsgeheimnisgesetz erhalten.

Fünftens werden KI-generierte Inhalte in der Außenkommunikation gekennzeichnet, und der Einsatz wird halbjährlich überprüft. Diese Prüfung ist ein kurzer Termin, kein Projekt.

Der Weg dorthin: fünf Schritte

Dieser Weg ist für ein KMU in wenigen Wochen machbar und kostet deutlich weniger als die Summe der privaten Konten, die ohnehin schon laufen. Entscheidend ist die Reihenfolge.

Ehrliche Bestandsaufnahme. Die Geschäftsführung fragt die Belegschaft sanktionsfrei, welche KI-Werkzeuge bereits genutzt werden und wofür. Ohne dieses Bild bleibt jede Regel Theorie. Das Ergebnis ist eine einfache Liste der realen Datenflüsse.
Werkzeuge bereitstellen, bevor geredet wird. Ein oder zwei Angebote werden nach den genannten Kriterien ausgewählt und offiziell eingeführt. Erst danach lohnt sich die Aussprache über Verbote, denn jetzt gibt es eine Alternative.
Regeln auf eine Seite schreiben. Freigegebene Werkzeuge, die drei Datenstufen, die Kennzeichnungspflicht für KI-Inhalte und ein klarer Ansprechpartner bei Unsicherheit. Eine Seite genügt. Zehn Seiten werden nicht gelesen.
Schulung an eigenen Beispielen. Eine Stunde reicht. Drei Fälle aus dem eigenen Betrieb, etwa die Antwort auf eine Gästebewertung, ein Angebot und eine interne E-Mail, wirken stärker als jede Checkliste.
Dokumentieren und wiederholen. Die Geheimnisschutz-Dokumentation wird um den Punkt KI ergänzt. Ein halbjährlicher kurzer Termin bei der Geschäftsführung hält den Stand aktuell.

Ein Hinweis zum häufigsten Fehler: Verbote funktionieren nicht. Ein Verbot verschiebt die Nutzung auf private Smartphones und unbekannte Dienste und macht sie unsichtbar. Der Wunsch nach effizientem Arbeiten ist da und bleibt da. Der einzig wirksame Weg ist, ihm eine sichere Richtung zu geben.

Wie ich kleine und mittlere Unternehmen dabei unterstützen kann

Dieser Weg lässt sich aus eigener Kraft gehen. Manche möchten dabei Begleitung, und genau hier biete ich meine Unterstützung an. Ich begleite Unternehmen von der ersten ehrlichen Bestandsaufnahme über die Richtlinie und die Schulung bis zur halbjährlichen Wiederholung.

Dabei geht es nicht nur um Regeln, sondern auch um die passende Technik. Ich stelle KI-Chatbots bereit und implementiere sie im Unternehmen. Diese Chatbots arbeiten mit mehreren Sprachmodellen, sodass je nach Aufgabe und Datenschutzanforderung das passende Modell gewählt wird. Sie greifen auf eine rollenbezogene Wissensdatenbank zu, in der jede Rolle nur die für sie freigegebenen Informationen sieht. Der Service liest andere Inhalte als die Verwaltung, die Verwaltung andere als die Geschäftsführung. Was in der Richtlinie als Datenstufe steht, ist damit technisch umgesetzt und nicht nur versprochen. Über API-Schnittstellen werden die Chatbots an bestehende Systeme angebunden, etwa an Warenwirtschaft, Kundenverwaltung oder Ticketsysteme. Das Ergebnis ist ein KI-Einsatz, der zum Zielzustand passt: offiziell, nachvollziehbar und an die eigenen Abläufe gekoppelt.

Fazit

Die Studien zeigen, dass KI im Mittelstand angekommen ist, aber selten gesteuert wird. Offiziell nutzt etwa ein Viertel bis ein Drittel der kleinen und mittleren Unternehmen KI. Inoffiziell arbeiten weit mehr Beschäftigte mit privaten Zugängen, weil ihnen nichts Besseres angeboten wird. Aus dieser Lücke entstehen die Risiken: Datenschutzverstöße, die das Unternehmen treffen, und ein stiller Verlust des Schutzes für Geschäftsgeheimnisse. Die Antwort des Mittelstands muss also nicht lauten, weniger KI. Sie muss lauten: offizielle Angebote statt private Konten, eine Seite Regeln statt keine, und ein Weg, der mit einer ehrlichen Bestandsaufnahme beginnt und in einer Schulung endet. Wer diesen Weg geht, hat den Effizienzvorteil der Technologie und keine schlafenden Risiken.