KI im Mittelstand:
Was wirklich funktioniert – und was nicht.

01

Wo der Mittelstand beim Thema KI wirklich steht

Kaum ein Thema wird so laut diskutiert wie Künstliche Intelligenz. Und doch stehen viele mittelständische Unternehmen vor der gleichen, nüchternen Frage: Was bedeutet das konkret für uns?

Dieses Strategiepapier ist kein Hype-Beitrag. Es gibt keine Versprechen und keine Liste von Tools, die sofort eingeführt werden sollten. Stattdessen: eine strukturierte Einschätzung, welche KI-Anwendungen im Mittelstand heute tatsächlich funktionieren – und wo die Risiken liegen, die zu selten offen benannt werden.

Der Digitalisierungsverband Bitkom hat Mitte 2024 602 Unternehmen ab 20 Mitarbeitenden in Deutschland befragt (KI- bzw. IT-Verantwortliche, telefonisch, repräsentative Stichprobe): Erst 20 Prozent setzen KI aktiv ein – wobei „KI-Nutzung" von Sprachassistenten bis Machine Learning reicht. Weitere 37 Prozent planen oder diskutieren den Einsatz. Und drei Viertel (78 Prozent) sehen in KI Chancen für ihr Unternehmen.^[1]

Doch zwischen Absicht und Umsetzung klafft eine große Lücke. Laut einer KMU-Studie aus 2025 – der bisher größten Befragung dieser Zielgruppe in Deutschland – erkennen 86 Prozent der befragten kleinen und mittleren Unternehmen die Relevanz von KI, aber nur 23 Prozent haben KI-Projekte erfolgreich abgeschlossen (definiert als: produktiver Einsatz im regulären Betrieb). 82 Prozent beklagen eine erhebliche Kompetenzlücke bei KI-Fähigkeiten.^[2]

Ergänzend dazu: Eine Erhebung von Stifterverband und McKinsey kommt zu dem Ergebnis, dass 79 Prozent der deutschen Unternehmen die notwendigen KI-Kompetenzen für eine erfolgreiche Umsetzung fehlen.^[3]

Das Gute: Wer die Voraussetzungen ernstnimmt, sieht messbare Ergebnisse. Laut IW Köln berichten 82 Prozent der deutschen Unternehmen, die generative KI im Einsatz haben, von Produktivitätssteigerungen – im Schnitt 13 Prozent pro Jahr (Selbsteinschätzung der Befragten, branchengemischt, Unternehmen ab 10 Mitarbeitenden).^[4]

02

Erst verstehen, wie Menschen einen Prozess erleben – dann entscheiden, ob KI hilft

Viele KI-Projekte scheitern nicht an der Technologie. Sie scheitern daran, dass niemand vorher genau verstanden hat, wie der betroffene Prozess aus der Perspektive der Menschen aussieht, die ihn täglich durchlaufen. Mitarbeitende, Kunden, Lieferanten – jeder erlebt einen Prozess anders. Und wer diese Perspektiven nicht kennt, automatisiert häufig das Falsche.

Ein einfaches Beispiel: Ein Unternehmen möchte seinen Kundenservice mit KI unterstützen. Die naheliegende Idee ist ein Chatbot. Doch wer sich die tatsächlichen Anfragen genauer ansieht – wann kommen sie, warum kommen sie, was löst sie aus – stellt oft fest: Das eigentliche Problem sitzt früher im Prozess. Der Chatbot löst ein Symptom, nicht die Ursache.

Die Methode dahinter ist nicht neu: Prozesse konsequent aus der Perspektive derjenigen beschreiben, die sie erleben. Nicht als Ablaufdiagramm, sondern als gelebte Erfahrung: Was passiert wann? Wo entsteht Reibung? Wo warten Menschen auf Informationen, die nicht kommen? Wo entstehen Fehler, weil etwas unklar ist?

Wer einen Prozess aus Nutzersicht kennt, stellt andere Fragen: Nicht: Welche KI-Lösung passt zu unserem Prozess? Sondern: An welchem Punkt entsteht echter Mehrwert, wenn wir KI einsetzen – und für wen? Nicht: Wie automatisieren wir diesen Schritt? Sondern: Sollte dieser Schritt überhaupt so existieren – oder ist er ein Workaround für ein größeres Problem? Nicht: Wie schnell können wir ausrollen? Sondern: Wer muss mit dem Ergebnis arbeiten – und was braucht diese Person wirklich?

Diese Perspektivverschiebung ist kein Luxus. Sie ist die Voraussetzung dafür, dass KI-Investitionen dort ankommen, wo sie echten Nutzen stiften – und nicht dort, wo sie am einfachsten technisch umsetzbar sind.

03

Was wirklich funktioniert

KI-Projekte, die im Mittelstand erfolgreich sind, haben eines gemeinsam: Sie lösen ein konkretes, bereits bekanntes Problem – und die betroffenen Menschen waren bei der Problemdefinition dabei. Sie entstehen nicht aus dem Wunsch, KI zu machen, sondern aus der Erkenntnis, dass ein bestimmter Prozess zu langsam, zu fehleranfällig oder zu teuer ist.

1. Dokumenten- und Datenverarbeitung

Rechnungen auslesen, Lieferscheine verarbeiten, Qualitätsberichte klassifizieren – das sind Aufgaben, bei denen KI heute zuverlässig arbeitet. Entscheidend ist aber nicht nur die technische Eignung, sondern ob die Mitarbeitenden, die mit dem Ergebnis weiterarbeiten müssen, das System als Unterstützung erleben – oder als zusätzliche Fehlerquelle.

2. Interne Wissensassistenten

Unternehmen mit großem internem Dokumentenbestand – Wartungshandbücher, Prozessdokumentationen, Schulungsunterlagen – profitieren von KI-gestützten Suchsystemen. Voraussetzung ist, dass man vorher versteht, wie Mitarbeitende heute nach Informationen suchen: Was fragen sie wen? Wann und warum scheitert die Suche? Erst dann lässt sich sinnvoll gestalten, was das System leisten soll.

3. Unterstützung in der Texterstellung

Angebote, E-Mails, Berichte – viele Routinetexte lassen sich mit KI-Unterstützung schneller erstellen. Wichtig: KI produziert Entwürfe, keine Endversionen. Die inhaltliche Verantwortung bleibt beim Menschen.

4. Predictive Maintenance und Qualitätskontrolle

In produzierenden Betrieben mit Sensorik und historischen Maschinendaten gibt es reales Potenzial für vorausschauende Wartung (Erkennung von Ausfällen bevor sie auftreten). Der Aufbau ist aufwendig und erfordert saubere Datenhistorie – lohnt sich aber langfristig. Die Mitarbeitenden in der Wartung müssen früh einbezogen sein, weil sie das implizite Wissen mitbringen, das das System allein nicht hat.

04

Was nicht funktioniert – und warum

Ebenso wichtig wie Erfolgsbeispiele ist das Verständnis für typische Muster des Scheiterns. Diese Muster wiederholen sich – unabhängig von Branche oder Größe. Und sie haben fast nie technische Ursachen.

KI ohne klare Problemdefinition

„Wir möchten KI einsetzen" ist keine ausreichende Ausgangslage. Projekte, die ohne konkrete Problemstellung starten, enden häufig in Piloten, die nie in den Betrieb überführt werden. Die Frage muss lauten: Welches spezifische Problem lösen wir – und was ist es uns wert?

Schlechte Datenqualität als verstecktes Fundament

KI-Systeme sind nur so gut wie die Daten, auf denen sie basieren. Viele Projekte scheitern nicht an der Technologie, sondern an inkonsistenten, unvollständigen oder nicht zugänglichen Daten. Eine ehrliche Bestandsaufnahme der Datensituation ist vor jedem Projekt zwingend.

Verantwortung ungeklärt

Wer entscheidet, wenn die KI falsch liegt? Wer pflegt das System? Wer haftet bei Fehlern in sicherheitskritischen Anwendungen? Diese Fragen müssen vor dem Bau beantwortet sein – nicht danach.

Fehlende Akzeptanz im Team

KI-Einführungen, die am Team vorbei geplant werden, scheitern an der Umsetzung. Laut einer aktuellen KMU-Studie sind kulturelle Widerstände und Ängste das größte Hindernis für KI-Adoption – größer als technische oder finanzielle Hürden.^[2] Mitarbeitende, die das System als Bedrohung erleben, finden Wege, es zu umgehen.

05

Fünf Fragen vor jedem KI-Projekt

Ob KI in einem konkreten Fall sinnvoll ist, lässt sich anhand von fünf Fragen einschätzen. Sie ersetzen keine Beratung – aber wer sie nicht beantworten kann, sollte mit der Klärung beginnen, nicht mit dem Bauen.

1. Wer erlebt den Prozess – und wie? Haben wir verstanden, wie Mitarbeitende, Kunden oder Partner den betroffenen Prozess heute tatsächlich erleben? Wo entsteht Reibung, Wartezeit, Fehler – und warum? Ohne diese Perspektive fehlt die Grundlage.
2. Ist das Problem klar definiert? Kann das Team in zwei Sätzen beschreiben, welches Problem gelöst werden soll – und wie Erfolg gemessen wird?
3. Sind die Daten verfügbar und sauber? Liegen ausreichend historische oder strukturierte Daten vor? Sind Zugriff, Qualität und Aktualität sichergestellt?
4. Ist die Verantwortung geklärt? Wer betreibt das System? Wer entscheidet bei Unsicherheiten? Wer trägt die Verantwortung bei Fehlern?
5. Ist das Team eingebunden? Wissen die betroffenen Mitarbeitenden, was geplant ist? Haben sie die Möglichkeit, mitzugestalten?

06

Start-Playbook: Erste 4 Wochen

KI-Projekte scheitern selten an der Technologie. Sie scheitern daran, dass die Vorbereitung fehlt. Dieses Playbook gibt einen strukturierten Einstieg – für Teams, die ernsthaft starten wollen.

A — Problem klar machen (Woche 1) Ziel: das richtige Problem identifizieren. 3–5 Gespräche mit den Menschen, die den Prozess täglich durchlaufen: Wo stecken Sie fest? Was dauert zu lange? Was passiert immer wieder? Kein Brainstorming im Meetingraum – sondern echte Beobachtung und ehrliche Fragen. Ergebnis: eine kurze Problembeschreibung in zwei Sätzen, die alle Beteiligten unterschreiben würden. Test: Wenn das Problem gelöst ist, was ändert sich konkret? Wenn die Antwort vage bleibt, ist das Problem noch nicht klar genug.

B — Daten ehrlich bewerten (Woche 2) Ziel: Datenbasis realistisch einschätzen. Wo liegen die relevanten Daten – in welchen Systemen, in welchem Format, wie vollständig? Seit wann existieren sie? Wurden sie konsistent erfasst oder gibt es Lücken, Formatwechsel, menschliche Eingriffe? Wer hat Zugriff – und wer muss ihn noch bekommen? Ehrliche Einschätzung: Reichen die Daten für ein KI-Projekt? Wenn nicht, was muss zuerst bereinigt werden?

C — Team und Verantwortung klären (Woche 3) Ziel: Rollen und Grenzen definieren. Wer ist für das KI-Projekt verantwortlich – nicht als Projektleiter auf dem Papier, sondern als Person, die es wirklich durchzieht? Wer betreibt das System nach dem Launch? Wer pflegt und aktualisiert es? Was passiert, wenn das System falsch liegt? Wer entscheidet dann – und nach welchen Kriterien? Betroffene Mitarbeitende einbeziehen: nicht informieren, sondern mitgestalten lassen.

D — Piloten starten und messen (Woche 4) Ziel: schnell lernen, ohne viel zu investieren. Kleinsten sinnvollen Piloten definieren: ein Anwendungsfall, ein Team, klarer Zeitraum. Erfolgskriterien vorher festlegen, nicht nachher anpassen. Was sich nicht messen lässt, kann nicht bewertet werden. Nach 4 Wochen Pilot: Funktioniert es tatsächlich im Alltag? Nutzen die Mitarbeitenden es freiwillig? Wenn nicht – warum nicht? Entscheidung: weiterentwickeln, stoppen oder Problemstellung anpassen. Kein schlechtes Ergebnis, wenn die Entscheidung bewusst getroffen wird.

Wichtig: Das Playbook ist kein Garant für Erfolg. Es ist ein Schutz vor den häufigsten Fehlern. Wer alle vier Schritte ehrlich durchläuft, weiß spätestens nach vier Wochen, ob das Vorhaben auf soliden Grundlagen steht.

07

Fazit

KI ist kein Allheilmittel – aber auch kein Hype, den man ignorieren kann. Für mittelständische Unternehmen liegt die Wahrheit in der Mitte: Es gibt konkrete Anwendungen, die heute funktionieren und echten Nutzen stiften. Und es gibt Bereiche, in denen die Voraussetzungen noch nicht stimmen.

Der entscheidende Unterschied zwischen Unternehmen, die mit KI vorankommen, und denen, die stecken bleiben, liegt nicht in der Technologie. Er liegt in der Qualität der Vorbereitung: Ist der Prozess aus Nutzersicht verstanden? Ist das Problem klar? Sind die Daten bereit? Ist die Verantwortung geregelt?

Diese Arbeit lässt sich nicht outsourcen – sie muss im Unternehmen selbst geleistet werden. Externe Beratung kann helfen, die richtigen Fragen zu stellen und den Weg zu strukturieren. Aber die Antworten müssen von innen kommen.