Robot humanoidalny na konferencji międzynarodowej
Baza wiedzy

Robot humanoidalny na event: czy rozmawia sam, czy steruje nim człowiek? AI, operator i teleoperacja

Jak robot humanoidalny rozmawia na evencie: rozpoznawanie mowy, model językowy i głos, rola operatora, teleoperacja, opóźnienia, hałas i test przed rezerwacją.

Zespół MERA RoboticsAktualizacja: 1 listopada 20268 min czytaniaEnglish versionDeutsche Version

fot. UNCTAD, CC BY-SA 2.0
W skrócie

Robot humanoidalny z systemem konwersacyjnym AI rozmawia sam: rozpoznaje mowę, model językowy układa odpowiedź, a synteza mowy wypowiada ją głosem robota. Operator nie mówi za robota, tylko prowadzi go po sali, uruchamia gesty, pilnuje bezpieczeństwa i może go w każdej chwili zatrzymać. Część pokazów korzysta jednak z nagranych kwestii albo z teleoperacji, w której mówi lub steruje człowiek, dlatego przed rezerwacją zapytaj, które fragmenty są nagrane, a które dzieją się na żywo.

Spis treściCzy robot humanoidalny na evencie naprawdę rozmawia sam?Czym różni się nagrana kwestia, teleoperacja i rozmowa z AI?Jak działa rozmowa AI w robocie: rozpoznawanie mowy, model językowy i głos?Skąd robot wie, co powiedzieć, a czego nie mówić?Co robi operator, gdy robot rozmawia z gośćmi?Ile trwa odpowiedź robota i co przeszkadza w rozmowie na żywo?Czy goście muszą wiedzieć, że rozmawiają z AI?Jak sprawdzić przed rezerwacją, czy robot naprawdę rozmawia na żywo?Jak to wygląda w praktyce?

Czy robot humanoidalny na evencie naprawdę rozmawia sam?

Robot humanoidalny z systemem konwersacyjnym AI rozmawia sam: słyszy pytanie, zamienia je na tekst, model językowy układa odpowiedź, a synteza mowy wypowiada ją głosem robota. Nikt za kulisami nie wpisuje mu zdań. Człowiek jest jednak obok. Operator prowadzi robota po sali, uruchamia gesty, pilnuje bezpieczeństwa i może przerwać rozmowę. Na pokazach spotyka się też dwa inne tryby: odtwarzanie nagranych kwestii i teleoperację, w której człowiek mówi przez robota albo porusza nim jak lalkarz. Każdy z nich jest w porządku, jeśli organizator i goście wiedzą, z którym mają do czynienia.

Czym różni się nagrana kwestia, teleoperacja i rozmowa z AI?

Nagrana kwestia, teleoperacja i rozmowa z AI różnią się przede wszystkim tym, kto wybiera słowa w chwili, gdy robot mówi.

Tryb Kto wybiera słowa Kto porusza robotem Kiedy ma sens Po czym go poznać
Nagrana kwestia (skrypt) autor scenariusza, przed wydarzeniem operator albo zaprogramowana sekwencja wejście na scenę, zapowiedź, pokaz bez internetu robot nie reaguje na pytanie spoza scenariusza
Teleoperacja („lalkarz”) człowiek przy mikrofonie albo wybierający kwestie człowiek, np. w goglach VR pokazy precyzyjnych ruchów, badania ktoś poza sceną mówi albo steruje na bieżąco
Rozmowa z AI na żywo model językowy, przy każdym pytaniu operator (ruch, gesty), robot (równowaga) stoiska, recepcje, sceny, długie dyżury robot odpowiada na dowolne pytanie, także w innym języku
Tryb mieszany AI, a w wybranych momentach nagranie operator występy sceniczne według programu jasno ustalone, które fragmenty są nagrane

W badaniach interakcji człowieka z robotem układ z ukrytym człowiekiem nazywa się eksperymentem „Czarnoksiężnika z Oz”: jak piszą autorzy pracy opublikowanej w Frontiers in Robotics and AI, operator zdalnie steruje wtedy ruchami robota, jego wypowiedziami i gestami. W laboratorium to uznana metoda, ale na evencie publiczność powinna wiedzieć, że mówi człowiek. Dobrze widać to na przykładzie pokazu Tesli We, Robot. Jak podał Interesting Engineering, jeden z robotów Optimus przyznał gościowi, że jest „wspomagany przez człowieka”, a z doniesień wynika, że roboty prowadzili teleoperatorzy w specjalnych kombinezonach.

Sama teleoperacja nie jest niczym wstydliwym, to po prostu inne narzędzie. Dla Unitree G1 istnieje na przykład zestaw z goglami VR PICO 4 Ultra i trackerami całego ciała: robot powtarza ruchy operatora w czasie rzeczywistym, a zestaw wymaga wersji G1 EDU Plus lub wyższej.

Robot humanoidalny i sztuczna inteligencja
Robot humanoidalny i sztuczna inteligencja

Jak działa rozmowa AI w robocie: rozpoznawanie mowy, model językowy i głos?

Rozmowa AI w robocie humanoidalnym to łańcuch modułów, przez który przechodzi każda wypowiedź gościa:

  1. Rozpoznawanie mowy (ASR). Mikrofon zbiera głos, a model zamienia go na tekst.
  2. Model językowy (LLM). Dostaje ten tekst razem z personą robota, wiedzą o wydarzeniu i zasadami rozmowy, po czym układa odpowiedź.
  3. Synteza mowy (TTS). Zamienia odpowiedź na głos dobrany do robota i języka.
  4. Model kolejności wypowiedzi. Ocenia, czy rozmówca skończył mówić, żeby robot nie wchodził mu w słowo i nie czekał za długo.

W ten sposób swoją platformę opisuje m.in. ElevenLabs: ElevenAgents łączy dostrojony model rozpoznawania mowy, wybrany model językowy, syntezę mowy o niskim opóźnieniu i własny model, który pilnuje kolejności wypowiedzi. Ciało robota pracuje obok tego łańcucha: gesty i przejścia uruchamia zwykle operator, a równowagę utrzymuje sam robot. Każdy moduł omawiamy szerzej w artykule jak robot humanoidalny rozmawia z ludźmi.

Skąd robot wie, co powiedzieć, a czego nie mówić?

Robot humanoidalny wie tyle, ile zawiera przygotowana dla niego wiedza: program wydarzenia, informacje o organizatorze, ofercie i miejscu, a do tego persona, czyli imię, charakter i sposób mówienia. Przed wydarzeniem ustala się też ton i tematy, których robot nie porusza, na przykład politykę albo konkurencję. Na pytania spoza tej wiedzy model językowy odpowiada ogólnie, a dobrze ustawiony system przyznaje się do niewiedzy, zamiast zmyślać. Dlatego robota warto sprawdzić pytaniami, które naprawdę padną na sali. Jak przygotować taką wiedzę, opisujemy w tekście o wiedzy i scenariuszu rozmowy robota.

Co robi operator, gdy robot rozmawia z gośćmi?

Operator robota humanoidalnego odpowiada za wszystko poza doborem słów w rozmowie:

  • Ruch i gesty. Prowadzi robota po sali, uruchamia powitanie, pozę do zdjęcia albo gest na scenie.
  • Bezpieczeństwo. Pilnuje strefy pracy i odległości od gości, zwłaszcza dzieci; zasady opisujemy w tekście o bezpieczeństwie robota na evencie.
  • Kierunek rozmowy. W wielu systemach może podsunąć robotowi temat, na przykład zaproszenie do wspólnego zdjęcia, a robot ujmuje go własnymi słowami.
  • Przerwanie. Może w każdej chwili wyciszyć albo zatrzymać robota, np. na czas przemówienia.
  • Rytm dnia. Wymienia baterie, planuje przerwy i notuje pytania, na które zabrakło odpowiedzi, żeby uzupełnić wiedzę przed kolejnym blokiem.

Podsunięcie tematu nie zmienia tego, że odpowiedź układa AI. Granica leży gdzie indziej: jeśli operator mówi do mikrofonu, a robot powtarza jego słowa, to już teleoperacja i publiczność powinna o tym wiedzieć.

Ile trwa odpowiedź robota i co przeszkadza w rozmowie na żywo?

Odpowiedź robota humanoidalnego zawsze przychodzi z pewnym opóźnieniem, bo każda wypowiedź musi przejść przez rozpoznawanie mowy, model językowy i syntezę głosu. Ludzie są pod tym względem wymagający: według przeglądu badań Levinsona i Torreiry przerwy między wypowiedziami w rozmowie są krótkie, rzędu 200 ms, a eksperymenty pokazują, że przy przerwie od 600 ms słuchacz zaczyna spodziewać się odpowiedzi niepomyślnej, na przykład odmowy. Robot nie musi odpowiadać tak szybko jak człowiek, ale długa cisza po każdym pytaniu psuje rozmowę. Czas reakcji najlepiej ocenić na nagraniu z prawdziwego wydarzenia, a nie z prezentacji w biurze.

Drugą przeszkodą jest hałas. W badaniu modelu rozpoznawania mowy Whisper (Radford i in., OpenAI) jakość rozpoznawania wszystkich porównywanych modeli spadała wraz ze wzrostem szumu, także przy „szumie z pubu”, czyli gwarze typowym dla zatłoczonej restauracji. Hala targowa i foyer konferencji brzmią bardzo podobnie.

Trzeci czynnik to odległość od mikrofonu. Shure w poradniku o mikrofonach w nagłośnieniu przypomina prawo odwrotnych kwadratów: poziom dźwięku spada o 6 dB za każdym razem, gdy odległość od źródła się podwaja, a hałas otoczenia ma w sali niemal wszędzie ten sam poziom. Im bliżej mikrofonu mówi gość, tym wyraźniej jego głos wybija się ponad gwar. W praktyce:

  • ustaw robota z dala od głośników nagłośnienia i sceny,
  • zapraszaj gości na odległość zwykłej rozmowy, zamiast odpowiadać na wołanie z tłumu,
  • na scenie i w panelu daj rozmówcy robota osobny mikrofon,
  • zapytaj o łącze: rozmowa z modelem językowym zwykle wymaga internetu, więc dostawca powinien mieć plan na jego utratę, np. nagrane kwestie.

Czy goście muszą wiedzieć, że rozmawiają z AI?

Tak, goście powinni wiedzieć, że rozmawiają z systemem sztucznej inteligencji, a unijny akt o AI zobowiązuje do tego dostawców takich systemów. Art. 50 ust. 1 wymaga, by systemy AI przeznaczone do bezpośredniej interakcji z ludźmi były projektowane tak, aby osoby te wiedziały, że rozmawiają z AI, chyba że jest to oczywiste dla rozsądnie poinformowanej i uważnej osoby w danych okolicznościach. Informacja ma być jasna i podana najpóźniej przy pierwszej interakcji (art. 50 ust. 5). Według Komisji Europejskiej przepisy o przejrzystości stosuje się od sierpnia 2026 r., a Komisja wydała do nich wytyczne z definicjami i wyjątkami. Przy humanoidzie wielu gości uzna to za oczywiste, ale najprostsza praktyka to robot, który sam przedstawia się jako robot z AI. Jeśli w części występu mówi przez niego człowiek, uczciwie jest to zapowiedzieć.

Jak sprawdzić przed rezerwacją, czy robot naprawdę rozmawia na żywo?

Najpewniejszym testem robota humanoidalnego jest rozmowa, której dostawca nie mógł przygotować. Przed rezerwacją poproś o:

  1. Pokaz na żywo, na miejscu albo przez wideo, w którym to Ty zadajesz pytania, także spoza tematu wydarzenia.
  2. Pytanie w innym języku, żeby sprawdzić, czy robot płynnie zmienia język i jak brzmi jego głos.
  3. Pytanie, na które robot nie zna odpowiedzi. Dobrze ustawiony system mówi, że nie wie.
  4. Listę fragmentów nagranych i rozmów na żywo. Wejście na scenę albo zapowiedź sponsora bywają nagrane i to nic złego, ale trzeba wiedzieć, które to części.
  5. Opis ról. Kto steruje ruchem, czy ktoś kiedykolwiek mówi przez robota oraz kto i jak może go zatrzymać.
  6. Nieprzycięte nagranie z prawdziwego wydarzenia, z hałasem i tłumem, żeby ocenić czas reakcji i słuch robota.

Jak to wygląda w praktyce?

Przykładem systemu do rozmów na żywo jest MERA OS, system MERA Robotics dla robotów humanoidalnych: robot prowadzi rozmowę głosową na żywo w ponad 70 językach, z głosem dobranym do języka, a operator steruje jego ruchem i gestami z aplikacji na telefonie. Przed wydarzeniem klient ustala ton, słownictwo i tematy, których robot nie porusza; trafiają one do profilu wydarzenia razem z wiedzą o kliencie i programie, a operator czuwa nad rozmowami i może w każdej chwili zatrzymać robota. Na podstawie programu zapisanego w profilu robot może też być konferansjerem: zapowiada kolejne punkty, bierze udział w panelu i rozmawia z prowadzącym i publicznością. Szczegóły opisujemy na stronach o systemie i aplikacji operatora oraz o wynajmie robota z operatorem na event.

Rozmowy z publicznością, których nie da się zaplanować, najłatwiej zobaczyć na transmisjach na żywo Edwarda Warchockiego na TikToku: ten robot Unitree G1, prowadzony przez MERA Robotics, rozmawia tam z widzami. Dostępne modele robotów są w katalogu robotów na wynajem i w sprzedaży.

Najczęstsze pytania

Czy na evencie ktoś mówi za robota?

W trybie rozmowy z AI nikt nie mówi za robota: robot humanoidalny sam rozpoznaje pytanie, model językowy układa odpowiedź, a synteza mowy wypowiada ją jego głosem. Operator steruje ruchem, gestami i bezpieczeństwem. Jeśli w części występu mówi przez robota człowiek (teleoperacja), publiczność powinna o tym wiedzieć.

Co to jest teleoperacja robota humanoidalnego?

Teleoperacja to zdalne sterowanie robotem przez człowieka: operator porusza robotem, a czasem mówi przez niego do mikrofonu. Dla Unitree G1 istnieje zestaw z goglami VR PICO 4 Ultra i trackerami całego ciała, z którym robot powtarza ruchy operatora w czasie rzeczywistym; wymaga on wersji G1 EDU Plus lub wyższej.

Czy operator może podpowiedzieć robotowi, co ma powiedzieć?

Tak, w wielu systemach operator może podsunąć robotowi temat albo polecenie, np. powitanie nowej osoby czy zaproszenie do zdjęcia, a robot ujmuje je własnymi słowami. To nadal rozmowa AI. Teleoperacją staje się dopiero wtedy, gdy robot powtarza słowa wypowiedziane przez człowieka.

Dlaczego robot humanoidalny odpowiada z opóźnieniem?

Każda wypowiedź gościa przechodzi przez rozpoznawanie mowy, model językowy i syntezę głosu, a w rozmowie między ludźmi przerwy trwają zwykle około 200 ms, więc każde opóźnienie robota jest słyszalne. Hałas i duża odległość od mikrofonu dodatkowo pogarszają rozpoznawanie mowy, dlatego gość powinien stać blisko robota, a robot z dala od głośników.

Czy robot rozmawia bez internetu?

Rozmowy oparte na dużych modelach językowych zwykle wymagają internetu, bo rozpoznawanie mowy, model językowy i synteza głosu często działają w chmurze. Przed wydarzeniem zapytaj dostawcę o wymagania dotyczące łącza i o plan awaryjny, np. nagrane kwestie na wypadek jego utraty.

Źródła

  1. ElevenAgents overview (ElevenLabs documentation)
  2. Levinson S.C., Torreira F. (2015): Timing in turn-taking and its implications for processing models of language. Frontiers in Psychology
  3. Radford A. et al. (OpenAI, 2022): Robust Speech Recognition via Large-Scale Weak Supervision
  4. Shure: Microphone Techniques for Live Sound Reinforcement (Shure Educational Publication)
  5. Rietz F. et al. (2021): WoZ4U: An Open-Source Wizard-of-Oz Interface for Easy, Efficient and Robust HRI Experiments. Frontiers in Robotics and AI
  6. Tesla robots remotely operated by humans at ‘We, Robot’ (Interesting Engineering)
  7. Article 50: Transparency Obligations for Providers and Deployers of Certain AI Systems (EU AI Act)
  8. European Commission: AI Act (regulatory framework for AI)
Poradnik

Jak wybrać oprogramowanie do rozmów dla robota humanoidalnego?

  1. Zgodność z konkretnym modelem robota i jego wersją oprogramowania.
  2. Języki i głos: w ilu językach system prowadzi rozmowę i czy głos pasuje do języka.
  3. Wiedza i persona: jak wgrywa się wiedzę o wydarzeniu lub marce i jak ustawia się charakter robota.
  4. Sterowanie: czy operator może przejąć rozmowę, ruch i gesty, np. z aplikacji na telefonie.
  5. Kontrola treści: jak ograniczyć tematy i odpowiedzi spoza przygotowanej wiedzy.
  6. Licencja i wsparcie: co obejmuje licencja i kto odpowiada za aktualizacje.

Tę stronę wydaje MERA Robotics, firma, która licencjonuje system MERA OS do rozmów robotów humanoidalnych.

Oferta

Roboty na wynajem i w sprzedaży

Cały katalog robotów →

Kontakt

Porozmawiajmy o Twoim wydarzeniu

Opisz krótko, czego potrzebujesz. Odpowiemy z propozycją robota, scenariusza i wyceną.

Dane z formularza wykorzystujemy wyłącznie do odpowiedzi na zapytanie.

Baza wiedzy

Czytaj dalej

Zapytaj o termin