„Wo versagen AI Voice Agents im Livebetrieb, und warum sieht es fast niemand kommen?” Mit dieser Frage eröffnete Ilya Ostrovskiy, Chief Product Officer bei Tenios und Apifonica, am 8. September seinen Vortrag beim CSVD 2026 in Hamburg.
Die KI-Branche verbringt viel Zeit damit, darüber zu sprechen, wie man einen Agent startet – welches Modell man nutzt, wie man das Gespräch aufbaut und wie man einen Piloten zum Laufen bringt. Doch die Produktion beginnt dort, wo der Pilot endet. Hier sind fünf Fehlerquellen, die typischerweise erst sichtbar werden, sobald echte Endkunden anrufen. Diese Fehler werden selten durch das Sprachmodell selbst verursacht. Sie entstehen in den Systemen, Prozessen und der Infrastruktur drumherum.
Der Agent meldet einen Erfolg. Das System zeigt etwas anderes.
-> Ein Anrufer bittet einen Agent, seine Adresse zu aktualisieren.
<- Der Agent antwortet, dass die Adresse aktualisiert wurde.
Das Transkript sieht perfekt aus, doch der eigentliche Vorgang hat nie stattgefunden. Der CRM-Datensatz bleibt unverändert. Das ist einer der gefährlichsten Fehler im Produktivbetrieb, weil herkömmliche Qualitätsprüfungen ihn übersehen können. Das Gespräch klingt korrekt, obwohl der eigentliche Geschäftsprozess fehlgeschlagen ist.
Dasselbe Problem kann auftreten, wenn ein Agent das falsche Feld aus einem externen System ausliest. Ein Beispiel betrifft einen BMW-Händler in Toronto, bei dem ein AI Agent einen Kreditsaldo als Kaufpreis interpretiert. Die Sprache war korrekt. Die Dateninterpretation war es nicht.
Die Lehre daraus ist einfach: Eine erfolgreiche Interaktion sollte nicht daran gemessen werden, ob der Agent das Richtige gesagt hat. Sie sollte daran gemessen werden, ob die beabsichtigte Transaktion tatsächlich stattgefunden hat.
Die Authentifizierung funktioniert in der Testumgebung. Dann kommen echte Anrufer.
Voice AI hat ein schwieriges Problem, das leicht unterschätzt wird: die Authentifizierung. Eine Kundennummer, IBAN oder ein anderer Identifikator kann viele Zeichen enthalten. Ein einziges falsches Zeichen kann die gesamte Transaktion ungültig machen.
Die Erkennungsgenauigkeit kann stark abfallen, je komplexer die Eingaben werden – von reinen Ziffern über gemischte alphanumerische Identifikatoren bis hin zu vollständigen Kundennummern.
Ein Studiomikrofon ist kein Mobiltelefon im Auto. Eine saubere Testaufnahme hat wenig mit einem echten Anruf gemein, der über einen 8-kHz-Telekommunikationscodec läuft, mit Hintergrundgeräuschen, Frame-Verlusten oder gedämpftem Klang. Was in einem ruhigen Raum gut funktioniert, wird über eine reale Telefonverbindung deutlich schwieriger.
Das hat wichtige Konsequenzen fürs Testen.
Testen Sie den Agent nicht nur über ein Laptop-Mikrofon in einer kontrollierten Umgebung. Testen Sie ihn auf dem tatsächlichen Telefonweg, mit echten Aufnahmen und den Arten von Anrufern, die er später bedienen wird.
Die Übergabe funktioniert. Der Kundenkontext nicht.
Wenn ein Endkunde zu einem menschlichen Mitarbeiter durchgestellt wird, gilt das oft als reines Voice-AI-Feature. Tatsächlich ist es genauso ein Telefonie-Problem.
Bei der Übergabe an einen Menschen entscheidet sich, ob der Kontext mitkommt: Weiß der Mitarbeiter, warum der Endkunde angerufen hat, oder muss dieser sein Anliegen erneut erklären? Das hängt auch davon ab, ob die Übergabe zuverlässig funktioniert, wenn die KI auf einer anderen Telefonieumgebung läuft.
Die Übergabe ist einer der Bereiche, in denen die Infrastruktur unter der KI entscheidend wird. Studien zeigen, dass es vielen Organisationen weiterhin nicht gelingt, Kontext über Kanäle hinweg mitzuführen, während Endkunden stark frustriert darüber sind, sich wiederholen zu müssen.
Die Eskalation an einen Menschen ist eine Telekommunikationsfähigkeit, kein Prompt. Diese Unterscheidung ist wichtig, denn das Ändern eines Prompts kann eine Übergabearchitektur nicht reparieren, die den erforderlichen Kontext nicht mitführt.
Niemand bemerkt den Fehler.
Die vielleicht unangenehmsten Beispiele sind die Fälle, in denen ein KI-System bereits seit Monaten oder sogar Jahren fehlerhaft lief. Das Problem war nicht, dass der Fehler existierte, sondern dass die Organisation, die das System betrieb, ihn nicht fand.
Bei einem Behördendienst wählten Anrufer die spanischsprachige Option und bekamen trotzdem ein englisches Skript zu hören. Das Problem blieb monatelang bestehen und wurde schließlich von einem Endkunden auf TikTok aufgedeckt. . Der anschließende Fix erzeugte dann ein neues Problem, diesmal für englischsprachige Anrufer.
Wenn Endkunden als Erste merken, dass Ihre KI nicht funktioniert, hat Ihr Monitoring versagt. Dass es noch keinen Rollback gab, ist nicht automatisch ein gutes Zeichen. Organisationen mit ausgereiften Schutzmechanismen führen oft mehr Rollbacks durch, einfach weil sie Probleme früher erkennen.
Ein System, das noch nie auf eine frühere Version zurückgesetzt wurde, wird möglicherweise einfach nicht genau genug beobachtet.
Das Sprachmodell ist nicht Ihr Bot.
Wenn Unternehmen Voice-AI-Anbieter bewerten, dreht sich die Diskussion oft um das Sprachmodell: Welches LLM wird verwendet? Wie schnell und genau ist es? Wie schneidet es im Vergleich zum neuesten Modell ab?
Doch das Sprachmodell ist nur ein Baustein im Zusammenspiel aller Systeme. Der Anrufer erlebt die gesamte Kette: Telefonleitung, Carrier, Netzwerk, Integrationen, Tools, APIs, Übergabelogik und das Modell selbst.
Latenz macht das besonders deutlich. Jeder Schritt in der Kette braucht Zeit, von der Spracherkennung über die Systemanbindung bis zur Antwort, und diese Zeiten summieren sich, sobald das Modell mit dem Rest des Gesamtsystems zusammenarbeitet. Realistische Tests über Echtzeitsysteme hinweg zeigten Antwortzeiten von etwa 900 bis 1.150 Millisekunden. Das Modell selbst kann dabei gut funktionieren, die gesamte Interaktion fühlt sich für den Anrufer trotzdem langsam an.
Dasselbe gilt für Resilienz. Fällt ein vorgelagerter Modellanbieter aus, was passiert dann mit dem Telefongespräch? Bricht das Gespräch in diesem Fall einfach ab, hat das System eine Abhängigkeit, die außerhalb der Kontrolle der Organisation liegt. Der Voice-AI-Stack ist eher eine Lieferkette als nur ein Voice Agent.
Die fünf Fehlerquellen haben eines gemeinsam
Diese fünf Fehlerquellen zeigen alle dasselbe: Keines der Probleme ist in erster Linie ein Modellproblem.
Eine Transaktion kann fehlschlagen, selbst wenn die Sprache perfekt war. Die Authentifizierung kann an der Telefonumgebung scheitern, nicht am Modell. Eine Übergabe kann misslingen, weil die Telefonieebene den Kontext nicht mitgibt. Ein ernsthaftes Problem kann monatelang unbemerkt bleiben, weil niemand dafür verantwortlich ist, es zu überwachen. Und selbst ein leistungsfähiges Modell wird unzuverlässig, wenn die Systeme darum herum ausfallen.
Drei dieser fünf Fehlerquellen liegen außerhalb der eigentlichen KI, in der Telefonie- und Systemebene darunter. Das verändert, wie Voice-AI-Projekte bewertet werden sollten: Die Frage ist nicht mehr nur, ob das Modell verstehen und antworten kann, sondern ob das gesamte System zuverlässig ausführen, authentifizieren, übergeben, überwachen und sich von Fehlern erholen kann.
Was sich nach den gescheiterten Pilotprojekten geändert hat
Erstens: Wir starten mit echten Anrufaufzeichnungen statt mit einer polierten Demo. Wir analysieren, welche Fälle auftreten, wie häufig sie auftreten und wo ein AI Voice Agent tatsächlich übernehmen kann.
Zweitens: Wir prüfen den tatsächlichen Vorgang, nicht den gesprochenen Satz. Abnahme sollte bedeuten, dass sich der erwartete Zustand tatsächlich im CRM, im Billing-System oder im Ticketing-System ändert.
Drittens: Telekommunikationsinfrastruktur ist Teil des Voice-AI-Produkts. Wir sind ein Telekommunikationsanbieter, nicht ein KI-Unternehmen, das lediglich eine Telefonleitung mietet. Unser Produktivansatz umfasst die Kontrolle über die zugrunde liegende Telekommunikationsinfrastruktur sowie ein Failover auf KI-Ebene. Das sind architektonische Entscheidungen, keine Prompt-Verbesserungen.
Fünf Praxistests, die Sie diese Woche machen können
Wählen Sie einen Ablauf aus und prüfen Sie, ob sich der Datensatz in Ihrem System tatsächlich geändert hat.
Rufen Sie Ihren eigenen Agent von einem Mobiltelefon aus an und testen Sie die Authentifizierung mit einem echten Kundenidentifikator.
Bitten Sie um einen menschlichen Ansprechpartner und messen Sie, wie lange die Übergabe dauert und wie viele Informationen Sie wiederholen müssen.
Finden Sie die Person, die tatsächlich für den KI-Prozess verantwortlich ist und weiß, welche Kennzahlen im laufenden Betrieb überwacht werden.
Fragen Sie den Anbieter, was bei einem größeren Ausfall eines Modellanbieters passiert, und bitten Sie darum, das Runbook zu sehen.
Ein Voice-AI-System läuft nicht in einer sauberen Demo-Umgebung. Es läuft innerhalb eines Telekommunikationsnetzes, verbunden mit Geschäftssystemen und genutzt von echten Menschen, die echte Ergebnisse erwarten.
Genau dort werden Fehler sichtbar, und genau dort entscheidet sich, wie produktionsreif ein System wirklich ist.
