Ngedaliin robot berkaki empat pakai joystick atau laptop itu sudah biasa. Tapi gimana kalau kamu cuma perlu melihat robotnya lewat kacamata AR, memindahkan marker di udara, dan robotnya langsung jalan sendiri ke titik tersebut? Integrasi antara Spectacles Dimensional OS mencoba mewujudkan konsep kontrol robotik ini menjadi kenyataan, mengubah fiksi ilmiah menjadi setup nyata yang bisa kamu jalankan langsung di atas meja kerja.
Proyek ini memanfaatkan kacamata AR Snap Spectacles (2024 developer kit) sebagai antarmuka visual untuk mengendalikan robot fisik seperti Unitree Go2 atau Unitree G1. Tidak cuma menampilkan posisi robot di ruang nyata, sistem ini menyalurkan stream data LiDAR secara real-time dan mengintegrasikan model AI untuk menerima perintah suara secara langsung.
Arsitektur Sistem: Jembatan Antara Dunia Digital dan Fisik
Di balik tampilan antarmuka AR yang terkesan futuristik, ada stack perangkat lunak yang dirancang cukup rapi. Seluruh ekosistem ini bertumpu pada tiga komponen utama: robot fisik (Unitree Go2 atau G1), komputer Mac yang menjalankan Dimensional OS (DimOS), dan kacamata Snap Spectacles yang menjalankan aplikasi Lens Studio.
Mac bertindak sebagai otak berat yang menangani komunikasi jaringan robot via WebRTC atau DDS, melakukan pemetaan lingkungan melalui LiDAR, serta menjalankan jalur perencanaan navigasi. Di atas DimOS, berjalan sebuah modul bernama dimos-ar bridge. Modul ini bertugas mentransmisikan data koordinat robot, rute jalan, dan point cloud LiDAR ke kacamata AR melalui protokol WebSocket.
kacamata Spectacles bertindak sebagai klien visual. Kacamata ini menangkap gesture tangan pengguna, merender rute navigasi berwarna kuning di lantai ruang nyata, dan mengirimkan tangkapan kamera kembali ke bridge untuk kalkulasi posisi.
| Fitur / Komponen | Unitree Go2 (Quadruped) | Unitree G1 (Humanoid) |
|---|---|---|
| Bentuk Fisik | Quadruped (Robot Kaki Empat) | Humanoid (Robot Berjalan) |
| Status Dukungan | Fully supported & tested | Supported, not tested (mencari kolaborator) |
| Konfigurasi AprilTag | 1 Tag (ID 0, ukuran 70 mm) | 2 Tag (ID 0 & ID 1, ukuran 70 mm) |
| Penempatan Tag | Flat di atas bodi (18 cm depan, 6 cm atas) | ID 0 di panel dada, ID 1 di panel punggung |
| Navigasi Stack | Bawaan DimOS | Membutuhkan DimOS dari source + paket DDS Unitree |
Solusi Pengunci Koordinat dan Dilema Pose Drift
Salah satu tantangan terbesar menggabungkan kacamata AR dengan robot fisik adalah menyamakan matriks koordinat dunia nyata. Kacamata harus tahu persis di mana robot berada relatif terhadap posisi mata pengguna. Proyek ini menyelesaikan masalah tersebut menggunakan sistem penanda visual bernama AprilTag.
Kamu wajib mencetak AprilTag pada skala 100 persen tanpa manipulasi rasio kertas, lalu menempelkannya di bodi robot. Saat melakukan setup awal lewat Registration Wizard di kacamata Spectacles, pengguna cukup berjalan melingkari robot dari jarak 0,5 hingga 1,5 meter. Kamera kacamata akan mengenali AprilTag tersebut dan menyelaraskan frame AR dengan robot.
Ada juga pilihan Manual Placement dengan menggeser marker secara manual ke tubuh robot tanpa mencetak kertas tag. Namun, metode manual ini jauh kurang akurat dan tidak mendukung runtime drift correction.
Masalah fisik yang tidak bisa dihindari dalam sistem seperti ini adalah pose drift. Saat robot bergerak cepat atau menempuh jarak jauh, data odometri internal bawaan hardware Unitree kerap mengalami ketidakakuratan kecil yang terakumulasi. Akibatnya, indikator robot di kacamata AR bisa tertinggal sekitar 25 cm setelah robot berjalan sejauh 5 meter.
Bridge mengatasi masalah ini secara otomatis. Setiap kali kamera kacamata melihat AprilTag yang terpasang di bodi robot saat berhenti, sistem akan membandingkan posisi aktual tag dengan posisi yang dilaporkan odometri, lalu mengoreksi pendaratan koordinat visual secara instan.
bash# Contoh jalankan bridge secara manual dari terminal Mac cd /path/to/spectacles-dimensional-os/dimos-ar /path/to/dimos/.venv/bin/python3 -m pip install -e ".[dev]" sudo ../launcher/scripts/configure-system.sh --apply export ROBOT_IP=192.168.123.161 # Ganti dengan IP LAN robot /path/to/dimos/.venv/bin/python3 -c "import sys; sys.path.insert(0, '.'); from dimos.core.coordination.module_coordinator import ModuleCoordinator; from dimos.ar.blueprints import ar_go2; ModuleCoordinator.build(ar_go2).loop()"
Mengendalikan Robot: Gesture Tangan Hingga Perintah Suara GPT-4o
Interaksi pengguna dirancang sangat praktis. Kamu cukup mengangkat telapak tangan kiri ke atas untuk membuka wrist menu. Dari menu melayang ini, kamu bisa berpindah antara Manual Mode dan Agent Mode, melakukan kalibrasi ulang, melihat konsol debug, atau memicu tombol emergency stop untuk menghentikan pergerakan robot seketika.
Menu ini juga memungkinkan kamu mengatur visualisasi data titik sensor LiDAR dalam tiga mode:
- Off: Mematikan render titik sensor demi menghemat performa.
- Obstacles Only: Menyaring point cloud di server bridge untuk hanya menampilkan rintangan terdekat. Mode ini paling seimbang dan ramah performa.
- Full Point Cloud: Merender seluruh titik sensor di sekitar robot. Mode ini sangat mengagumkan secara visual tetapi terhitung performance heavy dan bisa membuat kacamata AR mengalami overheat jika dinyalakan terlalu lama.
Pada Manual Mode, kamu cukup menarik NavigationMarker di layar AR ke titik tujuan di dalam ruangan dan mengatur arah hadap robot melalui panah indikator. Robot akan merencanakan rute dan langsung berjalan ke sana.
Jika berganti ke Agent Mode, kamu bisa memanggil robot dengan kata kunci "Robot". Ucapan kamu akan ditranskrip oleh Spectacles dan dikirim ke model GPT-4o yang berjalan di Mac. Agen AI ini dibekali serangkaian perkakas fungsi eksekusi seperti:
relative_move: Meminta robot maju atau berbelok dengan jarak tertentu.navigate_to_user: Memanfaatkan posisi headset kacamata kamu agar robot berjalan menghampirimu.get_user_pose: Membaca posisi dan arah pandang pengguna.cancel_navigation: Membatalkan rute jalan dan menghentikan robot.place_marker&draw_line: Membuat garis atau penanda visual di ruang 3D.
Hebatnya, jika agen AI sedang mengeksekusi perintah navigasi suara, kamu tetap bisa merebut kendali kapan saja secara manual cukup dengan menarik marker navigasi di udara.
Ekspektasi vs Realita Praktis di Lapangan
Proyek Spectacles Dimensional OS menyajikan arsitektur visualisasi robotik yang sangat intuitif, tetapi ada beberapa syarat teknis kaku yang harus dipenuhi agar sistem ini berjalan lancar.
Komputer Mac yang menjalankan DimOS, kacamata Spectacles, dan robot Unitree harus berada dalam satu jaringan WiFi yang sama dengan koneksi internet yang stabil. macOS juga akan meminta akses admin pada awal boot karena DimOS butuh mengonfigurasi rute jaringan lokal serta memperbesar ukuran socket buffer internal.
Jika tidak ada robot fisik yang terhubung di jaringan LAN, sistem launcher web app bawaan akan otomatis mengaktifkan modul robot simulasi. Fitur simulasi ini sangat berguna bagi para pengembang software yang ingin menguji kode antarmuka Lens Studio tanpa perlu khawatir robot fisiknya menabrak dinding kamar.
Meskipun masih menghadapi keterbatasan hardware seperti akumulasi pose drift dan batas termal kacamata saat merender full point cloud, proyek ini membuktikan bahwa kombinasi AR glasses, physical AI, dan large language model mampu menciptakan bentuk interaksi manusia dan mesin yang jauh lebih alami dibanding metode konvensional.
Referensi
https://github.com/V4C38/spectacles-dimensional-os