A humanoid robot and artificial intelligence
Pangkalan pengetahuan

Bagaimana robot humanoid bercakap dengan manusia: pengecaman pertuturan, AI dan suara robot

Bagaimana robot humanoid mendengar, memahami dan menjawab: mikrofon, pengecaman pertuturan, model bahasa, suara, kelajuan jawapan, bunyi bising dan AI Act.

Pasukan MERA RoboticsDikemas kini: 21 November 20266 minit bacaanAzərbaycancaShqipBosanskiМакедонскиSrpskiالعربيةעבריתहिन्दीTiếng ViệtDanskTürkçeBahasa Indonesia中文日本語EestiSlovenčinaΕλληνικάSuomiMagyarLatviešuSlovenščinaČeštinaHrvatskiLietuviųNorsk한국어RomânăPortuguêsSvenskaБългарскиItalianoFrançaisNederlandsEspañol

Ringkasan

Robot humanoid bercakap melalui rantaian perisian: mikrofon menangkap bunyi, pengecaman pertuturan menukarnya kepada teks, model bahasa menulis jawapan yang sesuai dengan persona dan pengetahuan tentang acara, dan sintesis pertuturan menyuarakannya. Kualiti perbualan bergantung pada perisian, pengetahuan yang disediakan dan akustik tempat acara, bukan pada robot semata-mata.

Isi kandunganBagaimana perbualan dengan robot humanoid berjalan, langkah demi langkah?Apa yang didengar oleh robot humanoid, dan bagaimana ia menghadapi bunyi bising?Bagaimana robot humanoid tahu apa yang hendak dikatakan?Mengapa kelajuan jawapan robot begitu penting?Berapa banyak bahasa dan suara apa yang boleh digunakan oleh robot humanoid?Adakah orang perlu dimaklumkan bahawa mereka bercakap dengan AI?Apa yang perlu disemak sebelum acara dengan robot yang bercakap?Bagaimana memilih rakan untuk perbualan robot humanoid?

Robot humanoid bercakap dengan manusia melalui rantaian perisian: mikrofon menangkap bunyi, pengecaman pertuturan menukarnya kepada teks, model bahasa menulis jawapan yang sesuai dengan persona robot dan pengetahuannya tentang acara, dan sintesis pertuturan menukar jawapan itu kepada suara yang anda dengar daripada pembesar suara. Robot itu sendiri (contohnya Unitree G1) menyediakan "telinga", "mulut" dan pergerakan; kualiti perbualan bergantung pada perisian dan sejauh mana ia disediakan untuk lokasi tertentu.

Bagaimana perbualan dengan robot humanoid berjalan, langkah demi langkah?

Perbualan dengan robot humanoid melalui lima peringkat yang berulang dalam setiap pertukaran:

Peringkat Apa yang berlaku Kualiti bergantung pada
Mendengar mikrofon robot (atau mikrofon luaran) menangkap bunyi bunyi bising, jarak ke penutur, gema bilik
Pengesanan giliran sistem menentukan bila seseorang mula dan selesai bercakap tetapan kepekaan, perbualan di latar belakang
Pengecaman pertuturan pertuturan ditukar kepada teks bahasa, loghat, nama khas, suara kanak-kanak
Jawapan model bahasa menulis jawapan menggunakan persona dan pengetahuan kualiti taklimat persona dan pangkalan pengetahuan, peraturan topik
Suara dan pergerakan sintesis pertuturan, pembesar suara, isyarat tangan suara yang dipadankan dengan bahasa, kelantangan, sistem bunyi dewan

Pautan yang lemah di mana-mana bahagian memutuskan seluruh rantaian. Kegagalan paling biasa di acara bukanlah "AI yang bodoh", tetapi robot yang tersalah dengar soalan dalam bunyi bising orang ramai dan kemudian menjawab dengan betul soalan yang tidak pernah ditanya.

Unitree G1 and Go2 robots on a trade show stand (Japan Mobility Show 2025)
Unitree G1 and Go2 robots on a trade show stand (Japan Mobility Show 2025), Gambar: RuinDig/Yuki Uchida, CC BY 4.0

Apa yang didengar oleh robot humanoid, dan bagaimana ia menghadapi bunyi bising?

Robot humanoid mendengar melalui susunan mikrofon terbina dalamnya, dan di tempat yang bising mikrofon tambahan yang dekat dengan mulut penutur selalunya lebih berkesan. Menurut pengeluar, Unitree G1 mempunyai susunan mikrofon dan pembesar suara terbina dalam (spesifikasi Unitree G1). Ini mencukupi untuk perbualan di pejabat, di bilik pameran atau di reruai yang tenang.

Di pameran perdagangan, majlis gala atau festival, keadaannya berubah: muzik, sistem bunyi pentas dan berpuluh-puluh perbualan serentak semuanya sampai ke mikrofon yang sama. Apa yang membantu dalam amalan:

  • tetamu berdiri dekat dengan robot dan bercakap terus kepadanya, bukan dari sisi,
  • mikrofon tangan atau mikrofon berarah untuk tetamu di pentas dan dalam panel,
  • menempatkan reruai jauh daripada pembesar suara pentas,
  • memberikan nama khas kepada sistem lebih awal (jenama, produk, nama penceramah) supaya pengecaman pertuturan tidak merosakkannya,
  • menguji di tempat acara sebenar, bukan hanya di pejabat.

Perkara yang sama terpakai untuk output bunyi: pembesar suara terbina dalam robot memadai untuk perbualan bersemuka, tetapi untuk penampilan di pentas audio robot perlu disalurkan ke sistem bunyi dewan.

Bagaimana robot humanoid tahu apa yang hendak dikatakan?

Jawapan robot humanoid ditulis oleh model bahasa yang menerima penerangan persona, pengetahuan tentang acara dan peraturan tentang apa yang tidak boleh dikatakan oleh robot. Model itu mengetahui bahasa dan dunia secara umum, tetapi tidak tahu apa-apa tentang atur cara persidangan, produk pelanggan atau lokasi bilik simpan kot. Pengetahuan itu perlu disediakan.

Pakej persediaan yang baik merangkumi:

  • persona: nama, watak, gaya bercakap, panjang jawapan,
  • pengetahuan: atur cara, penceramah, tawaran, jawapan kepada soalan lazim tetamu,
  • had: topik larangan, cara menolak dengan sopan, apa yang perlu dilakukan dengan soalan tentang politik atau pesaing,
  • skrip: ucapan alu-aluan, jemputan untuk bergambar, menyerahkan tetamu kepada orang di reruai.

Beginilah cara MERA Robotics bekerja: kenyataan robot disediakan untuk setiap acara tertentu dalam profil acara yang mengandungi pengetahuan tentang pelanggan dan atur cara, dan robot boleh mempunyai identiti jenamanya sendiri dengan nama, watak dan pengetahuan tentang tawaran.

Sesetengah sistem menggabungkan perbualan dengan imej kamera. Robot kemudian mengecam objek di hadapannya, seperti model produk yang dipamerkan, dan merujuk kepadanya dalam perbualan. Ini berguna di bilik pameran dan di reruai, tempat tetamu bertanya "dan apa ini?".

Mengapa kelajuan jawapan robot begitu penting?

Kelajuan jawapan robot humanoid menentukan sama ada perbualan terasa semula jadi, kerana manusia sudah biasa dengan jeda yang sangat singkat antara giliran bercakap. Kajian merentas beberapa bahasa yang diterbitkan dalam PNAS mendapati bahawa dalam setiap bahasa yang dikaji, jeda paling biasa antara hujung satu giliran dan permulaan jawapan hanyalah sebahagian kecil daripada sesaat (Stivers et al., PNAS).

Tiada rantaian pengecaman pertuturan, model bahasa dan sintesis pertuturan yang menjawab secepat manusia, jadi sistem robot mengimbanginya melalui cara perbualan dikendalikan:

  • jawapan mula dimainkan sebelum ia dijana sepenuhnya,
  • jawapan pendek dan bukan monolog yang panjang,
  • isyarat tangan atau gerakan kepala sejurus selepas soalan, supaya tetamu tahu robot sedang mendengar,
  • keupayaan untuk mencelah robot di tengah ayat.

Masalah kedua ialah detik robot memutuskan bahawa seseorang telah selesai bercakap. Terlalu awal, dan robot mencelah pada setiap jeda berfikir. Terlalu lewat, dan tetamu menunggu dalam senyap. Tetapan ini perlu dipadankan dengan khalayak: kanak-kanak dan orang yang bercakap dalam bahasa asing berhenti lebih lama.

Berapa banyak bahasa dan suara apa yang boleh digunakan oleh robot humanoid?

Bilangan bahasa dan pilihan suara bergantung pada perisian perbualan robot humanoid, bukan pada perkakasan robot. MERA OS, sistem perbualan yang dibangunkan oleh MERA Robotics, mengendalikan perbualan dalam lebih daripada 70 bahasa, termasuk bahasa Poland dan Inggeris, dengan suara yang dipadankan dengan setiap bahasa dan loghat asli. Di acara antarabangsa, robot boleh menyambut seorang tetamu dalam bahasa Inggeris dan berbual dengan tetamu seterusnya dalam bahasa Poland.

Semasa memilih suara, semak:

  • sama ada ia sesuai dengan persona (umur, perangai, jenama),
  • sama ada ia kedengaran semula jadi dalam bahasa tersebut dan bukan seperti terjemahan daripada bahasa Inggeris,
  • bagaimana ia menyebut nama khas pelanggan,
  • sama ada kelajuan pertuturan kekal mudah difahami dalam bunyi bising.

Sebelum acara, uji setiap bahasa yang diperlukan dengan perbualan sebenar, bukan hanya dengan ucapan alu-aluan.

Adakah orang perlu dimaklumkan bahawa mereka bercakap dengan AI?

Ya: di Kesatuan Eropah, kewajipan memaklumkan orang bahawa mereka bercakap dengan AI datang daripada peraturan ketelusan AI Act, yang terpakai mulai 2 Ogos 2026. Peraturan ini mewajibkan sistem AI yang bertujuan berinteraksi secara langsung dengan manusia direka supaya orang tersebut dimaklumkan bahawa mereka berinteraksi dengan sistem AI, kecuali jika perkara itu sudah jelas (AI Act, kewajipan ketelusan, AI Act, tarikh terpakai). Maklumat itu mesti jelas dan diberikan paling lewat pada interaksi pertama.

Dengan robot humanoid, biasanya jelas bahawa mesin yang sedang bercakap. Namun, satu ayat dalam ucapan alu-aluan robot atau papan tanda di reruai adalah mudah dan menghapuskan sebarang keraguan. Data ialah soalan yang berasingan: jika perbualan dirakam atau dilog, tetamu perlu tahu.

Apa yang perlu disemak sebelum acara dengan robot yang bercakap?

Sebelum acara dengan robot humanoid yang bercakap, semak tujuh perkara:

  1. Ujian perbualan di tempat acara sebenar atau dalam bunyi bising yang serupa.
  2. Senarai nama khas yang mesti dikenali dan disebut dengan betul oleh robot.
  3. Persona dan panjang jawapan yang diluluskan oleh pelanggan.
  4. Senarai topik larangan dan cara robot menolak dengan sopan.
  5. Pelan pentas: mikrofon untuk tetamu, sambungan ke sistem bunyi.
  6. Notis yang memaklumkan tetamu bahawa mereka bercakap dengan AI.
  7. Pengendali di lokasi yang boleh mengambil alih, menukar bahasa atau menghentikan robot.

Untuk model yang tersedia untuk acara, lihat katalog robot untuk disewa dan dijual.

Bagaimana memilih rakan untuk perbualan robot humanoid?

Nilai rakan untuk perbualan robot humanoid berdasarkan kriteria yang boleh anda sahkan sebelum menandatangani kontrak:

  • perisian perbualan sendiri dan bukan satu aplikasi pengeluar yang tegar,
  • bilangan bahasa dan sejauh mana suara kedengaran semula jadi dalam bahasa anda,
  • persona dan pengetahuan yang disediakan untuk acara anda, bukan chatbot umum,
  • pengendali di lokasi yang bertindak apabila berlaku masalah,
  • model robot yang tersedia untuk disewa atau dibeli,
  • pengalaman acara di dalam dan di luar negara.

Minta demonstrasi perbualan dalam keadaan bising dan dalam bahasa tetamu anda sebelum membuat keputusan.

Soalan lazim

Adakah robot humanoid memahami apa yang dikatakan kepadanya?

Robot humanoid menukar pertuturan kepada teks, dan model bahasa mentafsir maksud serta menulis jawapan. Ia memahami soalan yang ditanya dalam bahasa semula jadi, tetapi pengetahuan tentang acara, tawaran atau atur cara tertentu perlu disediakan lebih awal.

Mengapa robot kadangkala menjawab di luar topik?

Biasanya kerana ia tersalah dengar soalan dalam bunyi bising: pengecaman pertuturan mencatat perkataan yang berbeza dan model menjawab dengan betul soalan yang tersalah transkripsi. Bercakap dari jarak dekat, mikrofon untuk tetamu dan memberikan nama khas kepada sistem lebih awal semuanya membantu.

Bolehkah robot humanoid bercakap dalam beberapa bahasa di satu acara?

Ya, jika perisian perbualan menyokongnya. MERA OS, sistem MERA Robotics, mengendalikan perbualan dalam lebih daripada 70 bahasa, termasuk bahasa Poland dan Inggeris, dengan suara yang dipadankan dengan setiap bahasa. Uji setiap bahasa yang diperlukan semasa raptai.

Adakah tetamu perlu dimaklumkan bahawa mereka bercakap dengan AI?

Di Kesatuan Eropah, peraturan ketelusan AI Act yang terpakai mulai 2 Ogos 2026 mewajibkan orang yang berinteraksi secara langsung dengan sistem AI dimaklumkan, kecuali jika perkara itu sudah jelas. Dengan robot humanoid, satu ayat dalam ucapan alu-aluan atau papan tanda di reruai biasanya memadai.

Sumber

  1. Unitree G1: manufacturer specifications
  2. Stivers et al. (2009), Universals and cultural variation in turn-taking in conversation, PNAS
  3. EU AI Act, Article 50: transparency obligations
  4. EU AI Act, Article 113: entry into force and application
Panduan praktikal

Bagaimana memilih perisian perbualan untuk robot humanoid?

  1. Keserasian dengan model robot anda dan versi perisiannya.
  2. Bahasa dan suara: dalam berapa bahasa sistem itu berbual, dan adakah suaranya sepadan dengan setiap bahasa?
  3. Pengetahuan dan persona: bagaimana pengetahuan tentang acara atau jenama dimasukkan, dan bagaimana watak robot ditetapkan.
  4. Kawalan: bolehkah operator mengambil alih perbualan, pergerakan dan gerak isyarat, contohnya daripada aplikasi di telefon?
  5. Kawalan kandungan: bagaimana topik dihadkan, dan bagaimana jawapan di luar pengetahuan yang disediakan dielakkan.
  6. Lesen dan sokongan: apa yang dirangkumi oleh lesen dan siapa yang bertanggungjawab ke atas kemas kini.

Halaman ini diterbitkan oleh MERA Robotics, syarikat yang melesenkan MERA OS, perisian perbualan untuk robot humanoid.

Tawaran kami

Robot untuk disewa dan dijual

Katalog penuh robot (dalam bahasa Inggeris) →

Hubungi kami

Mari berbincang tentang acara anda

Terangkan keperluan anda secara ringkas. Kami akan membalas dengan cadangan robot, senario dan sebut harga.

Kami menggunakan data daripada borang ini hanya untuk membalas pertanyaan anda.

Pangkalan pengetahuan

Baca juga

Semak ketersediaan