A humanoid robot and artificial intelligence
Pusat pengetahuan

Cara robot humanoid berbicara dengan manusia: pengenalan ucapan, AI dan suara robot

Bagaimana robot humanoid mendengar, memahami dan menjawab: mikrofon, pengenalan ucapan, model bahasa, suara, kecepatan jawaban, kebisingan dan AI Act UE.

Redaksi MERA RoboticsDiperbarui: 21 November 20266 menit bacaעבריתहिन्दीTiếng Việtالعربية日本語DanskTürkçe中文SuomiEestiMagyarSlovenčinaΕλληνικάLatviešuHrvatskiSlovenščinaČeštinaNorsk한국어LietuviųБългарскиPortuguêsRomânăSvenskaItalianoNederlandsFrançaisEspañolPolskiEnglishDeutsch

Ringkasan

Robot humanoid berbicara melalui rangkaian perangkat lunak: mikrofon menangkap suara, pengenalan ucapan mengubahnya menjadi teks, model bahasa menyusun jawaban yang sesuai dengan persona dan pengetahuan tentang acara, lalu sintesis ucapan mengucapkannya. Kualitas percakapan bergantung pada perangkat lunak, pengetahuan yang disiapkan dan akustik ruangan, bukan pada robotnya saja.

Daftar isiBagaimana percakapan dengan robot humanoid berjalan, langkah demi langkah?Apa yang didengar robot humanoid, dan bagaimana ia mengatasi kebisingan?Bagaimana robot humanoid tahu apa yang harus dikatakan?Mengapa kecepatan jawaban robot begitu penting?Berapa banyak bahasa dan suara apa yang bisa digunakan robot humanoid?Apakah orang harus diberi tahu bahwa mereka berbicara dengan AI?Apa yang perlu diperiksa sebelum acara dengan robot yang berbicara?Bagaimana memilih mitra untuk percakapan robot humanoid?

Robot humanoid berbicara dengan manusia melalui rangkaian perangkat lunak: mikrofon menangkap suara, pengenalan ucapan mengubahnya menjadi teks, model bahasa menyusun jawaban yang sesuai dengan persona robot dan pengetahuannya tentang acara, lalu sintesis ucapan mengubah jawaban itu menjadi suara yang Anda dengar dari pengeras suara. Robotnya sendiri (misalnya Unitree G1) menyediakan "telinga", "mulut" dan gerakan; kualitas percakapan bergantung pada perangkat lunak dan seberapa baik perangkat lunak itu disiapkan untuk tempat tertentu.

Bagaimana percakapan dengan robot humanoid berjalan, langkah demi langkah?

Percakapan dengan robot humanoid melewati lima tahap yang berulang pada setiap pertukaran kalimat:

Tahap Apa yang terjadi Kualitas bergantung pada
Mendengarkan mikrofon robot (atau mikrofon eksternal) menangkap suara kebisingan, jarak ke pembicara, gema ruangan
Deteksi giliran bicara sistem menentukan kapan seseorang mulai dan selesai berbicara pengaturan sensitivitas, obrolan di latar belakang
Pengenalan ucapan ucapan diubah menjadi teks bahasa, aksen, nama diri, suara anak-anak
Jawaban model bahasa menyusun jawaban berdasarkan persona dan pengetahuan kualitas deskripsi persona dan basis pengetahuan, aturan topik
Suara dan gerakan sintesis ucapan, pengeras suara, gestur suara yang sesuai dengan bahasa, volume, sistem tata suara ruangan

Mata rantai yang lemah di mana pun akan merusak seluruh rangkaian. Kegagalan yang paling sering terjadi di acara bukanlah "AI yang bodoh", melainkan robot yang salah mendengar pertanyaan di tengah kebisingan, lalu menjawab dengan benar sesuatu yang tidak pernah ditanyakan siapa pun.

Unitree G1 and Go2 robots on a trade show stand (Japan Mobility Show 2025)
Unitree G1 and Go2 robots on a trade show stand (Japan Mobility Show 2025), Foto: RuinDig/Yuki Uchida, CC BY 4.0

Apa yang didengar robot humanoid, dan bagaimana ia mengatasi kebisingan?

Robot humanoid mendengar melalui susunan mikrofon bawaannya, dan di tempat yang bising mikrofon tambahan yang dekat dengan mulut pembicara sering kali bekerja lebih baik. Menurut pabrikan, Unitree G1 memiliki susunan beberapa mikrofon dan pengeras suara bawaan (spesifikasi Unitree G1). Itu cukup untuk percakapan di kantor, showroom atau stan yang tenang.

Di pameran dagang, gala atau festival keadaannya berubah: musik, sistem tata suara panggung dan puluhan percakapan sekaligus sampai ke mikrofon yang sama. Yang membantu dalam praktik:

  • tamu mendekat ke robot dan berbicara langsung kepadanya, bukan dari samping,
  • mikrofon genggam atau mikrofon terarah untuk tamu di panggung dan dalam panel,
  • menempatkan stan jauh dari pengeras suara panggung,
  • memberikan nama diri kepada sistem sebelumnya (merek, produk, nama pembicara) agar pengenalan ucapan tidak salah menangkapnya,
  • menguji di tempat acara yang sebenarnya, bukan hanya di kantor.

Hal yang sama berlaku untuk output suara: pengeras suara bawaan robot cukup untuk percakapan empat mata, tetapi untuk penampilan di panggung audio robot harus disalurkan ke sistem tata suara tempat acara.

Bagaimana robot humanoid tahu apa yang harus dikatakan?

Jawaban robot humanoid disusun oleh model bahasa yang menerima deskripsi persona, pengetahuan tentang acara dan aturan tentang apa yang tidak boleh dikatakan robot. Model tersebut memahami bahasa dan dunia secara umum, tetapi tidak tahu apa pun tentang susunan acara konferensi, produk klien atau letak tempat penitipan mantel. Pengetahuan itu harus disiapkan.

Paket persiapan yang baik mencakup:

  • persona: nama, karakter, gaya bicara, panjang jawaban,
  • pengetahuan: susunan acara, pembicara, penawaran, jawaban atas pertanyaan umum tamu,
  • batasan: topik terlarang, cara menolak dengan sopan, apa yang dilakukan terhadap pertanyaan tentang politik atau pesaing,
  • skenario: sapaan, ajakan berfoto, menyerahkan tamu kepada orang di stan.

Begitulah cara kerja MERA Robotics: kalimat robot disiapkan untuk setiap acara tertentu dalam profil acara yang berisi pengetahuan tentang klien dan susunan acara, dan robot dapat memiliki identitas merek sendiri dengan nama, karakter dan pengetahuan tentang penawaran.

Sebagian sistem menggabungkan percakapan dengan gambar dari kamera. Robot kemudian mengenali objek di depannya, misalnya model produk yang dipajang, dan menyebutnya dalam percakapan. Hal ini berguna di showroom dan di stan, tempat tamu bertanya "lalu ini apa?".

Mengapa kecepatan jawaban robot begitu penting?

Kecepatan jawaban robot humanoid menentukan apakah percakapan terasa alami, karena manusia terbiasa dengan jeda yang sangat singkat antargiliran bicara. Sebuah studi lintas bahasa yang diterbitkan di PNAS menemukan bahwa di setiap bahasa yang diteliti, jeda yang paling umum antara akhir satu giliran bicara dan awal jawaban hanya sepersekian detik (Stivers dkk., PNAS).

Tidak ada rangkaian pengenalan ucapan, model bahasa dan sintesis ucapan yang menjawab secepat manusia, sehingga sistem robot mengimbanginya melalui cara menjalankan percakapan:

  • jawaban mulai diputar sebelum selesai disusun seluruhnya,
  • jawaban singkat, bukan monolog panjang,
  • gestur atau gerakan kepala segera setelah pertanyaan, agar tamu tahu robot sedang mendengarkan,
  • kemungkinan memotong robot di tengah kalimat.

Masalah kedua adalah saat robot memutuskan bahwa lawan bicaranya sudah selesai berbicara. Terlalu cepat, robot akan menyela setiap kali orang berhenti sejenak untuk berpikir. Terlalu lambat, tamu menunggu dalam keheningan. Pengaturan ini harus disesuaikan dengan audiens: anak-anak dan orang yang berbicara dalam bahasa asing berhenti lebih lama.

Berapa banyak bahasa dan suara apa yang bisa digunakan robot humanoid?

Jumlah bahasa dan pilihan suara bergantung pada perangkat lunak percakapan robot humanoid, bukan pada perangkat keras robotnya. MERA OS, sistem percakapan yang dikembangkan oleh MERA Robotics, melakukan percakapan dalam lebih dari 70 bahasa, termasuk bahasa Polandia dan Inggris, dengan suara yang disesuaikan dengan setiap bahasa dan aksen asli. Di acara internasional, robot dapat menyapa satu tamu dalam bahasa Inggris dan berbincang dengan tamu berikutnya dalam bahasa Polandia.

Saat memilih suara, periksa:

  • apakah suara itu sesuai dengan persona (usia, temperamen, merek),
  • apakah terdengar alami dalam bahasa tersebut, bukan seperti terjemahan dari bahasa Inggris,
  • bagaimana suara itu melafalkan nama diri milik klien,
  • apakah tempo bicaranya tetap bisa dipahami di tengah kebisingan.

Apakah orang harus diberi tahu bahwa mereka berbicara dengan AI?

Ya: di Uni Eropa, kewajiban memberi tahu orang bahwa mereka berbicara dengan AI berasal dari ketentuan transparansi AI Act, yang berlaku mulai 2 Agustus 2026. Ketentuan ini mewajibkan sistem AI yang dirancang untuk berinteraksi langsung dengan manusia dibuat sedemikian rupa sehingga orang tersebut diberi tahu bahwa mereka berinteraksi dengan sistem AI, kecuali jika hal itu sudah jelas (AI Act, kewajiban transparansi, AI Act, mulai berlaku dan penerapan). Informasinya harus jelas dan diberikan paling lambat pada interaksi pertama.

Pada robot humanoid biasanya sudah jelas bahwa yang berbicara adalah mesin. Meski begitu, satu kalimat dalam sapaan robot atau papan di stan itu sederhana dan menghilangkan keraguan. Data adalah persoalan tersendiri: jika percakapan direkam atau dicatat, tamu harus mengetahuinya.

Apa yang perlu diperiksa sebelum acara dengan robot yang berbicara?

Sebelum acara dengan robot humanoid yang berbicara, periksa tujuh hal:

  1. Uji percakapan di tempat acara yang sebenarnya atau dalam kebisingan yang serupa.
  2. Daftar nama diri yang harus dikenali dan dilafalkan dengan benar oleh robot.
  3. Persona dan panjang jawaban yang disetujui klien.
  4. Daftar topik terlarang dan cara robot menolaknya.
  5. Rencana panggung: mikrofon untuk tamu, sambungan ke sistem tata suara.
  6. Pemberitahuan kepada tamu bahwa mereka berbicara dengan AI.
  7. Operator di lokasi yang dapat mengambil alih, mengganti bahasa atau menghentikan robot.

Untuk model yang tersedia untuk acara, lihat katalog robot untuk disewa dan dibeli.

Bagaimana memilih mitra untuk percakapan robot humanoid?

Nilailah mitra untuk percakapan robot humanoid berdasarkan kriteria yang bisa Anda verifikasi sebelum menandatangani kontrak:

  • perangkat lunak percakapan sendiri, bukan satu aplikasi pabrikan yang kaku,
  • jumlah bahasa dan seberapa alami suaranya dalam bahasa Anda,
  • persona dan pengetahuan yang disiapkan untuk acara Anda, bukan chatbot generik,
  • operator di lokasi yang bereaksi ketika ada yang tidak beres,
  • model robot yang tersedia untuk disewa atau dibeli,
  • pengalaman di acara, di dalam maupun di luar negeri.

Mintalah percakapan uji coba dalam bahasa tamu Anda sebelum memutuskan.

Pertanyaan yang sering diajukan

Apakah robot humanoid memahami apa yang dikatakan orang kepadanya?

Robot humanoid mengubah ucapan menjadi teks, lalu model bahasa menafsirkan maknanya dan menyusun jawaban. Robot memahami pertanyaan yang diajukan dalam bahasa sehari-hari, tetapi pengetahuan tentang acara, penawaran atau susunan acara tertentu harus disiapkan sebelumnya.

Mengapa robot kadang menjawab di luar topik?

Biasanya karena robot salah mendengar pertanyaan di tengah kebisingan: pengenalan ucapan mencatat kata-kata yang berbeda, dan model dengan benar menjawab pertanyaan yang salah ditranskripsikan. Berbicara dari dekat, mikrofon untuk tamu dan memberikan nama diri kepada sistem sebelumnya sangat membantu.

Bisakah robot humanoid berbicara dalam beberapa bahasa di satu acara?

Ya, jika perangkat lunak percakapannya mendukung hal itu. MERA OS, sistem dari MERA Robotics, melakukan percakapan dalam lebih dari 70 bahasa, termasuk bahasa Polandia dan Inggris, dengan suara yang disesuaikan dengan setiap bahasa.

Apakah tamu harus diberi tahu bahwa mereka berbicara dengan AI?

Di Uni Eropa, ketentuan transparansi AI Act yang berlaku mulai 2 Agustus 2026 mewajibkan agar orang yang berinteraksi langsung dengan sistem AI diberi tahu, kecuali jika hal itu sudah jelas. Pada robot humanoid, satu kalimat dalam sapaan atau papan di stan biasanya sudah cukup.

Sumber

  1. Unitree G1: manufacturer specifications
  2. Stivers et al. (2009), Universals and cultural variation in turn-taking in conversation, PNAS
  3. EU AI Act, Article 50: transparency obligations
  4. EU AI Act, Article 113: entry into force and application
Panduan praktis

Bagaimana memilih perangkat lunak percakapan untuk robot humanoid?

  1. Kompatibilitas dengan model robot dan versi perangkat lunak yang Anda miliki.
  2. Bahasa dan suara: dalam berapa bahasa robot bercakap dan apakah suaranya disesuaikan untuk tiap bahasa.
  3. Pengetahuan dan persona: bagaimana pengetahuan tentang acara atau merek dimasukkan dan bagaimana karakter robot ditentukan.
  4. Kendali: apakah operator dapat mengambil alih percakapan, gerakan, dan gestur, misalnya dari aplikasi di ponsel.
  5. Kendali atas isi: bagaimana topik dan jawaban di luar pengetahuan yang disiapkan dibatasi.
  6. Lisensi dan dukungan: apa saja yang termasuk dalam lisensi dan siapa yang bertanggung jawab atas pembaruan.

Halaman ini disusun oleh MERA Robotics, perusahaan yang melisensikan MERA OS, perangkat lunak percakapan untuk robot humanoid.

Pilihan robot

Robot untuk disewa dan dibeli

Seluruh katalog robot (dalam bahasa Inggris) →

Kontak

Ceritakan acara Anda

Jelaskan secara singkat kebutuhan Anda. Kami akan membalas dengan usulan robot, skenario, dan penawaran.

Data dari formulir hanya kami gunakan untuk menjawab permintaan Anda.

Pusat pengetahuan

Artikel terkait

Cek ketersediaan