Rozpoznawanie obrazu w robocie: jak robot rozpoznaje produkty i reaguje w rozmowie

Jak robot rozpoznaje produkt z kamery?

Robot rozpoznaje produkt w czterech krokach: kamera robi klatkę, model widzenia komputerowego ją analizuje, system zamienia wynik na nazwę produktu z Twojej listy, a moduł rozmowy decyduje, co z tą informacją zrobić. Sam robot jest tu tylko nośnikiem kamery i głosu. Przykładowo Unitree G1 ma według specyfikacji producenta zestaw czujników opisany jako „Depth Camera+3D LiDAR”, czyli kamerę głębi i lidar 3D; do rozpoznania opakowania liczy się przede wszystkim obraz z kamery.

Analiza obrazu odbywa się zwykle w modelu multimodalnym, który rozumie jednocześnie obraz i tekst. Google opisuje swoje modele Gemini jako zdolne do opisywania obrazów, klasyfikacji i odpowiadania na pytania o obraz bez trenowania osobnego modelu, a także do wykrywania obiektów z ich położeniem na zdjęciu (dokumentacja Gemini API). To duża zmiana w porównaniu z klasycznym podejściem, w którym dla każdego produktu trzeba było zebrać setki zdjęć i wytrenować własny klasyfikator.

Dopiero ostatni krok sprawia, że rozpoznanie jest przydatne: robot nie mówi „widzę butelkę”, tylko „to wersja bez cukru, o którą pytało dziś kilka osób, mogę opowiedzieć o składzie”. Wynik z kamery jest więc dodatkowym kontekstem dla rozmowy, a nie celem samym w sobie. Więcej o tym, jak działa sama rozmowa, piszemy w tekście Jak robot humanoidalny rozmawia z ludźmi.

Który sposób rozpoznawania produktów wybrać?

Wybór zależy od tego, ile masz produktów i jak bardzo są do siebie podobne. W praktyce stosuje się trzy podejścia, często łącznie:

Na stoisku z jednym flagowym produktem wystarczy zwykle pierwsze podejście. W salonie z wieloma modelami tego samego urządzenia lepiej połączyć zdjęcia referencyjne z czytelnym oznaczeniem, o czym więcej w tekście Robot w salonie sprzedaży i showroomie.

Co przygotować, żeby robot rozpoznawał Twoje produkty?

Robot rozpozna produkty tak dobrze, jak dobrze opiszesz je przed wydarzeniem. Lista kontrolna dla organizatora lub działu marketingu:

1. Lista produktów z nazwami, które ma wypowiadać robot. Nazwa handlowa, wariant, jedno zdanie wyróżnika i najczęstsze pytania klientów.
2. Zdjęcia z kilku stron. Przód, tył, bok, w opakowaniu i bez, najlepiej w świetle podobnym do tego na stoisku.
3. Pary łatwe do pomylenia. Wypisz warianty różniące się tylko kolorem nakrętki czy pojemnością, żeby przetestować je osobno i ustalić, co robot ma powiedzieć, gdy nie jest pewien.
4. Warunki na miejscu. Mocne podświetlenie od tyłu, ekrany LED i odblaskowe folie utrudniają rozpoznanie. Zaplanuj miejsce, w którym gość pokazuje produkt robotowi z odległości ręki.
5. Wiedza do rozmowy. Rozpoznanie bez treści nic nie daje: do każdego produktu przygotuj krótką wiedzę, ton i zakazane tematy, tak jak przy budowie robota-ambasadora marki.
6. Próba generalna. Test z prawdziwymi produktami w docelowym miejscu, z udziałem kilku osób, które pokazują je pod różnym kątem.

Jak robot reaguje na rozpoznany produkt w rozmowie?

Dobrze zaprojektowany robot reaguje na rozpoznany produkt tak jak doradca: nazywa go, mówi jedną konkretną rzecz i zadaje pytanie, które prowadzi rozmowę dalej. Gość podnosi opakowanie, a robot mówi na przykład, że to nowość tej marki, podaje najważniejszą cechę i pyta, czy gość woli wersję klasyczną, czy lżejszą. Gdy model nie jest pewien, robot powinien zapytać („to wersja malinowa czy truskawkowa?”), zamiast zgadywać.

Tak wygląda to w praktyce w MERA OS, autorskim systemie MERA Robotics do rozmów robotów humanoidalnych. System łączy rozmowę głosową na żywo, personę i głos robota, wiedzę o marce i moduł rozpoznawania obrazu z kamery. Robot może rozpoznać obiekt, na przykład model produktu na ekspozycji, i opowiedzieć o nim w rozmowie. Ponieważ MERA OS prowadzi rozmowy w ponad 30 językach z głosem dobranym do języka, ten sam produkt robot może omówić po polsku z jednym gościem, a po angielsku z następnym. Szczegóły systemu opisujemy w tekście MERA OS: system AI do rozmów robotów humanoidalnych.

Gdzie są granice rozpoznawania obrazu w robocie?

Rozpoznawanie obrazu w robocie ma granice techniczne i prawne, które warto znać przed wydarzeniem.

Granice techniczne. Model myli bardzo podobne opakowania, gorzej radzi sobie w tłumie, gdy w kadrze jest kilka produktów naraz, a analiza w chmurze wymaga stabilnego internetu i wprowadza krótkie opóźnienie. Dlatego scenariusz powinien przewidywać pytanie doprecyzowujące i zapasowe łącze, a pokaz najlepiej oprzeć na produktach, które przeszły próbę na miejscu.

Granice prawne. Kamera robota na wydarzeniu rejestruje także ludzi, a wizerunek jest daną osobową. RODO definiuje dane biometryczne jako dane osobowe będące wynikiem specjalnego przetwarzania technicznego cech fizycznych, fizjologicznych lub behawioralnych, pozwalające jednoznacznie zidentyfikować osobę, na przykład wizerunek twarzy (art. 4 RODO). Rozpoznawanie produktów nie wymaga identyfikowania osób, więc najbezpieczniej ustawić system tak, żeby analizował przedmioty, a nie twarze. Akt w sprawie sztucznej inteligencji (AI Act) od 2 lutego 2025 zakazuje m.in. wnioskowania o emocjach osób w miejscu pracy i w placówkach edukacyjnych oraz tworzenia baz rozpoznawania twarzy przez masowe pobieranie zdjęć (art. 5, przepisy o stosowaniu). Przy planowaniu nagrywania warto też sięgnąć do wytycznych EROD 3/2019 dotyczących przetwarzania danych przez urządzenia wideo i ustalić z organizatorem informację dla gości.

Kto pomoże wdrożyć robota, który rozpoznaje produkty?

Wybierając partnera do robota rozpoznającego produkty, sprawdź kilka rzeczy, które da się zweryfikować przed podpisaniem umowy:

• czy firma ma własne oprogramowanie rozmów z modułem rozpoznawania obrazu, a nie tylko pilota do robota;
• czy przygotowuje wiedzę o Twoich produktach i testuje rozpoznawanie przed wydarzeniem;
• w ilu językach robot prowadzi rozmowę;
• jakie modele robotów ma we flocie;
• czy na miejscu pracują własni operatorzy;
• czy oprócz wynajmu oferuje sprzedaż i wdrożenie robota na stałe.

MERA Robotics z Warszawy spełnia te kryteria w następujący sposób: rozwija własny system MERA OS z modułem rozpoznawania obrazu i rozmowami w ponad 30 językach, dobiera robota, programuje jego rozmowę i zachowanie, dowozi go i obsługuje własnymi operatorami. Na wydarzenia wynajmuje roboty humanoidalne Unitree G1 i Unitree H2, a robota z MERA OS można też kupić i wdrożyć z konfiguracją, personą i szkoleniem zespołu. MERA OS jest licencjonowany właścicielom robotów, m.in. w Polsce, Rumunii i Niemczech. Dostępne modele znajdziesz w katalogu robotów na wynajem i w sprzedaży, a zapytania przyjmujemy pod adresem contact@merarobotics.com.