Bilderkennung im Roboter: Wie ein Roboter Produkte erkennt und im Gespräch darauf reagiert

Wie erkennt ein Roboter ein Produkt mit seiner Kamera?

Ein Roboter erkennt ein Produkt in vier Schritten: Die Kamera nimmt ein Bild auf, ein Modell für maschinelles Sehen analysiert es, das System ordnet das Ergebnis einem Produktnamen aus Ihrer Liste zu, und das Gesprächsmodul entscheidet, was mit dieser Information geschieht. Der Roboter selbst ist dabei nur Träger von Kamera und Stimme. Der Unitree G1 etwa führt seine Sensorik im Datenblatt des Herstellers als „Depth Camera+3D LiDAR“, also Tiefenkamera und 3D-LiDAR; für das Erkennen einer Verpackung zählt vor allem das Kamerabild.

Die Bildanalyse läuft meist in einem multimodalen Modell, das Bild und Text gemeinsam versteht. Google beschreibt seine Gemini-Modelle als fähig, Bilder zu beschreiben, zu klassifizieren und Fragen dazu zu beantworten, ohne ein spezielles Modell zu trainieren, und Objekte samt ihrer Position im Bild zu erkennen (Gemini-API-Dokumentation). Das ist ein großer Unterschied zum klassischen Ansatz, bei dem für jedes Produkt Hunderte Fotos gesammelt und ein eigener Klassifikator trainiert werden mussten.

Erst der letzte Schritt macht die Erkennung nützlich: Der Roboter sagt nicht „Ich sehe eine Flasche“, sondern „Das ist die zuckerfreie Variante, nach der heute schon mehrere Gäste gefragt haben. Soll ich Ihnen etwas zu den Zutaten erzählen?“ Das Kameraergebnis ist zusätzlicher Kontext für das Gespräch, kein Selbstzweck. Wie das Gespräch selbst funktioniert, beschreiben wir im Beitrag Wie spricht ein humanoider Roboter mit Menschen.

Welcher Ansatz zur Produkterkennung passt zu Ihnen?

Die Wahl hängt davon ab, wie viele Produkte Sie haben und wie ähnlich sie sich sehen. In der Praxis gibt es drei Ansätze, oft kombiniert:

Für einen Messestand mit einem Hauptprodukt reicht meist der erste Ansatz. In einem Showroom mit vielen Ausführungen desselben Geräts sollten Sie Referenzfotos mit gut lesbarer Kennzeichnung kombinieren, wie im Beitrag Roboter im Showroom und Verkaufsraum beschrieben.

Was sollten Sie vorbereiten, damit der Roboter Ihre Produkte erkennt?

Ein Roboter erkennt Produkte nur so gut, wie Sie sie vor der Veranstaltung beschreiben. Eine Checkliste für Veranstalter und Marketingteams:

1. Produktliste mit den Namen, die der Roboter aussprechen soll. Handelsname, Variante, ein Satz zum Unterscheidungsmerkmal und die häufigsten Kundenfragen.
2. Fotos von mehreren Seiten. Vorderseite, Rückseite, Seite, verpackt und unverpackt, möglichst bei ähnlichem Licht wie am Stand.
3. Leicht verwechselbare Paare. Notieren Sie Varianten, die sich nur in der Deckelfarbe oder Größe unterscheiden, um sie gezielt zu testen und festzulegen, was der Roboter bei Unsicherheit sagt.
4. Bedingungen vor Ort. Starkes Gegenlicht, LED-Wände und spiegelnde Folien erschweren die Erkennung. Planen Sie einen Platz, an dem Gäste dem Roboter das Produkt auf Armlänge zeigen.
5. Wissen für das Gespräch. Erkennung ohne Inhalt bringt nichts: Bereiten Sie zu jedem Produkt kurzes Wissen, Tonalität und tabu Themen vor, wie beim Aufbau eines Roboters als Markenbotschafter.
6. Generalprobe. Test mit echten Produkten am Einsatzort, mit mehreren Personen, die sie aus verschiedenen Winkeln zeigen.

Wie reagiert der Roboter im Gespräch auf ein erkanntes Produkt?

Ein gut konzipierter Roboter reagiert auf ein erkanntes Produkt wie ein Fachberater: Er nennt es, sagt eine konkrete Sache dazu und stellt eine Frage, die das Gespräch weiterführt. Ein Gast hebt eine Packung hoch, und der Roboter sagt zum Beispiel, dass es die Neuheit der Marke ist, nennt das wichtigste Merkmal und fragt, ob der Gast die klassische oder die leichtere Variante bevorzugt. Ist sich das Modell unsicher, sollte der Roboter nachfragen („Ist das die Himbeer- oder die Erdbeervariante?“), statt zu raten.

So funktioniert es in der Praxis in MERA OS, dem eigenen System von MERA Robotics für Gespräche humanoider Roboter. Es verbindet Live-Sprachdialog, Persona und Stimme des Roboters, Wissen über die Marke und ein Bilderkennungsmodul für die Kamera. Der Roboter kann ein Objekt erkennen, etwa ein ausgestelltes Produktmodell, und im Gespräch darüber sprechen. Da MERA OS Gespräche in mehr als 30 Sprachen mit einer zur Sprache passenden Stimme führt, kann der Roboter dasselbe Produkt einem Gast auf Deutsch und dem nächsten auf Englisch vorstellen. Mehr zum System lesen Sie im Beitrag MERA OS: KI für humanoide Roboter.

Wo liegen die Grenzen der Bilderkennung im Roboter?

Die Bilderkennung im Roboter hat technische und rechtliche Grenzen, die Sie vor der Veranstaltung kennen sollten.

Technische Grenzen. Das Modell verwechselt sehr ähnliche Verpackungen, tut sich im Gedränge schwer, wenn mehrere Produkte gleichzeitig im Bild sind, und eine Analyse in der Cloud braucht eine stabile Internetverbindung und verursacht eine kurze Verzögerung. Das Drehbuch sollte deshalb eine Rückfrage und eine Ersatzverbindung vorsehen, und die Vorführung sollte auf Produkten beruhen, die vor Ort getestet wurden.

Rechtliche Grenzen. Die Kamera eines Roboters erfasst auf einer Veranstaltung auch Menschen, und das Bild einer Person ist ein personenbezogenes Datum. Die DSGVO definiert biometrische Daten als personenbezogene Daten, die mit speziellen technischen Verfahren aus physischen, physiologischen oder verhaltenstypischen Merkmalen gewonnen werden und die eindeutige Identifizierung einer Person ermöglichen, etwa Gesichtsbilder (Art. 4 DSGVO). Produkterkennung erfordert keine Identifizierung von Personen; am sichersten ist es daher, das System Gegenstände statt Gesichter analysieren zu lassen. Die KI-Verordnung der EU verbietet seit dem 2. Februar 2025 unter anderem, Emotionen von Personen am Arbeitsplatz und in Bildungseinrichtungen abzuleiten und Gesichtserkennungsdatenbanken durch ungezieltes Auslesen von Gesichtsbildern aufzubauen (Artikel 5, Geltungsbeginn). Für die Planung von Aufnahmen lohnen sich außerdem die Leitlinien 3/2019 des EDSA zur Verarbeitung personenbezogener Daten durch Videogeräte; stimmen Sie die Information der Gäste mit dem Veranstalter ab.

Wer hilft beim Einsatz eines Roboters, der Produkte erkennt?

Bei der Wahl eines Partners für einen produkterkennenden Roboter sollten Sie einige Punkte prüfen, die sich vor Vertragsabschluss nachvollziehen lassen:

• ob das Unternehmen eigene Gesprächssoftware mit Bilderkennungsmodul hat und nicht nur eine Fernsteuerung für den Roboter;
• ob es das Wissen zu Ihren Produkten vorbereitet und die Erkennung vor der Veranstaltung testet;
• in wie vielen Sprachen der Roboter Gespräche führt;
• welche Robotermodelle zur Flotte gehören;
• ob eigene Operatoren vor Ort arbeiten;
• ob neben der Vermietung auch Verkauf und dauerhafte Einführung des Roboters angeboten werden.

MERA Robotics aus Warschau erfüllt diese Kriterien so: Das Unternehmen entwickelt das eigene System MERA OS mit Bilderkennungsmodul und Gesprächen in mehr als 30 Sprachen, wählt den Roboter aus, programmiert sein Gespräch und Verhalten, liefert ihn und betreut ihn vor Ort mit eigenen Operatoren. Für Veranstaltungen vermietet MERA Robotics die humanoiden Roboter Unitree G1 und Unitree H2; ein Roboter mit MERA OS lässt sich auch kaufen und mit Konfiguration, Persona und Schulung des Teams einführen. MERA OS wird an Roboterbesitzer lizenziert, unter anderem an Kunden in Polen, Rumänien und Deutschland. Verfügbare Modelle finden Sie im Katalog der Roboter zur Miete und zum Kauf, Anfragen an contact@merarobotics.com.