Mengarahkan robot empat kaki atau humanoid cuma lewat pergerakan tangan dan perintah suara dulunya cuma sebatas konsep fiksi ilmiah di layar lebar. Namun, proyek Spectacles Dimensional OS: Meninjau OS Dimensi Visual untuk Smart Glasses membuktikan bahwa kombinasi ini bukan lagi sekadar demo konsep mahal. Dengan mengawinkan kacamata Snap Spectacles 2024 developer kit, sistem operasi Dimensional OS, dan robot Unitree Go2 atau G1, era kontrol robotik berbasis Physical AI yang immersif resmi di depan mata.
Pertanyaannya sederhana: Apakah integrasi ini benar-benar praktis untuk ekosistem pengembangan software dan hardware, atau sekadar jualan gimik visual yang penuh lag dan bug?
Arsitektur Sistem: Mac Sebagai Otak, Spectacles Sebagai Mata
Sistem ini tidak bekerja secara magis di dalam kacamata pintar itu sendiri. Ada pembagian beban komputasi yang sangat pragmatis di sini. Kacamata Snap Spectacles bertindak sebagai antarmuka visual dan pengumpul input pengguna. Sementara itu, sebuah komputer Mac bertindak sebagai pangkalan utama yang menjalankan Dimensional OS (DimOS) untuk mengurus navigasi berat, pemprosesan peta LiDAR, hingga komunikasi real-time.
+-------------------+ WebRTC / DDS +-----------------------+
| Robot Unitree | <-----------------------> | Dimensional OS (Mac) |
| (Go2 / G1) | | - Mapping & Planning |
+-------------------+ | - Agent (GPT-4o) |
+-----------------------+
^
| WebSocket Protocol
v
+-----------------------+
| Spectacles Lens |
| - Hand Gesture UI |
| - Camera (AprilTag) |
+-----------------------+
Komunikasi antara Mac dan robot Unitree ditangani melalui protokol WebRTC atau DDS. Di saat bersamaan, komponen DimOS AR-Bridge yang berbasis Python membuka koneksi WebSocket ke kacamata Snap Spectacles. Aplikasi kacamata yang dibangun menggunakan Lens Studio mengonsumsi data telemetry, jalur navigasi, dan point cloud untuk dirender secara visual langsung di depan mata pengguna.
Kalibrasi Ruang Lewat AprilTag: Kunci Sinkronisasi Koordinat
Salah satu tantangan terbesar dalam dunia Augmented Reality dan robotik adalah menyatukan dua sistem koordinat yang berbeda: di mana kacamata berpikir robot berada, dan di mana robot sebenarnya berada. Tanpa kalibrasi yang presisi, petunjuk navigasi visual akan melayang acak di udara.
Proyek ini menyelesaikan masalah tersebut dengan pendekatan yang cukup cerdik namun sederhana: kertas AprilTag. Kacamata akan memindai penanda visual berpola khusus ini untuk mengunci titik nol koordinat (world frame alignment).
| Spesifikasi Robot | Dukungan Hardware | Konfigurasi AprilTag | Penempatan Tag |
|---|---|---|---|
| Unitree Go2 (Pro/Air) | Teruji Sepenuhnya | 1x Tag (ID 0, ukuran 70 mm) | Ditempel rata di atas badan robot, 18 cm di depan pusat robot dan 6 cm ke atas. |
| Unitree G1 (Humanoid) | Didukung (Belum Teruji) | 2x Tag (ID 0 & ID 1, ukuran 70 mm) | Tag ID 0 di panel dada, Tag ID 1 di panel punggung untuk visibilitas dari dua sisi. |
Pengguna cukup berdiri pada jarak 0,5 hingga 1,5 meter di sekitar robot saat proses registrasi awal. Sistem secara otomatis mengumpulkan sampel visual AprilTag hingga koordinat terkunci. Memang ada opsi Manual Placement dengan menggeser penanda secara manual tanpa mencetak tag, tetapi akurasinya sangat rendah dan tidak mendukung koreksi drift secara real-time.
Antarmuka AR: Dari Gesture Tangan Hingga Kontrol Suara GPT-4o
Pengalaman kontrol di dalam kacamata dirancang sangat intuitif. Hanya dengan membuka telapak tangan kiri ke atas, wrist menu akan muncul di udara. Lewat menu melayang ini, pengguna bisa mengakses beberapa fitur krusial:
- Mode Navigasi: Beralih antara Manual Mode dan Agent Mode.
- LiDAR Visualization Toggle: Pengaturan pemetaan titik jarak dari sensor robot. Bisa dimatikan (off), menampilkan halangan saja (obstacles only yang hemat daya), atau menampilkan full point cloud (visualisasi penuh yang sangat berat dan berisiko membuat kacamata mengalami overheating jika dipakai lama).
- Emergency Stop: Tombol darurat untuk membatalkan seluruh perintah gerak robot secara instan.
Pada Manual Mode, sebuah NavigationMarker akan muncul di atas robot. Pengguna tinggal menarik marker tersebut ke titik tujuan di dalam ruangan. Garis jalur berwarna kuning yang dirender di lantai merupakan kalkulasi rute real-time langsung dari planner milik Dimensional OS.
bash# Menjalankan pangkalan data DimOS AR-Bridge secara manual lewat terminal export ROBOT_IP=<robot-lan-ip> /path/to/dimos/.venv/bin/python3 -c " import sys sys.path.insert(0, '.') from dimos.core.coordination.module_coordinator import ModuleCoordinator from dimos.ar.blueprints import ar_go2 ModuleCoordinator.build(ar_go2).loop() "
Sementara pada Agent Mode, pengguna cukup mengucapkan kata kunci pemanggil "Robot". Suara pengguna akan ditranskripsikan oleh kacamata dan dikirimkan ke model GPT-4o yang berjalan di Mac. Agen AI ini memiliki akses ke berbagai perkakas sistem (tools) seperti:
navigate_to_user: Meminta robot berjalan mendekati posisi kacamata pengguna.relative_move: Memerintahkan robot maju atau berputar sesuai jarak tertentu.place_marker&draw_line: Meminta AI menggambar garis atau menaruh penanda visual di dalam ruang fisik.cancel_navigation: Menghentikan pergerakan robot seketika.
Realita Hardware: Problem Odometry Lag dan Pose Drift
Meskipun terlihat canggih, proyek ini tidak lepas dari batasan fisik hardware. Masalah utama yang sering muncul di lapangan adalah Pose Drift. Saat robot bergerak cepat, posisi visual RobotMarker di kacamata sering kali tertinggal di belakang posisi fisik robot yang sebenarnya.
Penyebab utamanya adalah kalkulasi odometri bawaan dari hardware Unitree yang kurang konsisten. Robot mengestimasi posisinya dengan menumpuk data pergerakan secara terus-menerus. Akibatnya, akumulasi eror kecil akan membesar seiring berjalannya waktu dan jarak. Dalam pengujian, eror posisi ini bisa mencapai 25 cm untuk setiap jarak tempuh 5 meter.
Untungnya, DimOS AR-Bridge mengompensasi kelemahan hardware ini dengan memanfaatkan kamera kacamata. Setiap kali kacamata menangkap penampakan AprilTag di badan robot, sistem akan langsung menghitung ulang pergeseran koordinat dan melakukan koreksi posisi secara otomatis saat robot berhenti.
Langkah Setup dan Konfigurasi Ekosistem
Untuk mencoba ekosistem ini, perangkat Mac, kacamata Spectacles, dan robot harus terhubung dalam satu jaringan WiFi yang sama dengan koneksi internet stabil. Cara paling praktis adalah menggunakan launcher berbasis web yang sudah disediakan.
bash# Jalankan launcher otomatis via terminal Mac cd /path/to/spectacles-dimensional-os ./launcher/scripts/start-launcher.sh
Setelah script berjalan, buka peramban di http://127.0.0.1:8790. Di dalam dashboard ini, kamu bisa menginstal dependencies, memilih stack robot (Unitree Go2 atau Unitree G1), hingga mencetak dokumen PDF AprilTag dengan skala 100%. Jika tidak ada robot fisik yang terdeteksi di jaringan, launcher akan otomatis menjalankan mode simulasi (simulated robot) untuk kebutuhan debugging.
Dari sisi software, proyek ini menggunakan Lens Studio untuk mengunggah berkas proyek lens-studio/spectacles-dimensional-os.esproj langsung ke perangkat kacamata. Karena menggunakan API eksperimental, proyek kacamata ini tidak bisa dipublikasikan ke publik dan harus diunggah langsung via mode pengembang.
Penggabungan AR dan robotik berbasis fisik ini membuktikan bahwa kontrol antarmuka masa depan tidak lagi bergantung pada joystick atau layar sentuh yang kaku. Walaupun masalah akumulasi drift odometri masih menjadi bottleneck teknis di lapangan, fondasi integrasi data sensor visual dan perintah berbasis bahasa alami AI yang ditawarkan proyek ini sudah berada di jalur yang sangat tepat.
Referensi
https://github.com/V4C38/spectacles-dimensional-os