Ngedaliin robot berkaki empat pakai joystick atau laptop itu sudah biasa. Tapi gimana kalau kamu cuma perlu melihat robotnya lewat kacamata AR, memindahkan marker di udara, dan robotnya langsung jalan sendiri ke titik tersebut? Integrasi antara **Spectacles Dimensional OS** mencoba mewujudkan konsep kontrol robotik ini menjadi kenyataan, mengubah fiksi ilmiah menjadi setup nyata yang bisa kamu jalankan langsung di atas meja kerja.

Proyek ini memanfaatkan kacamata AR Snap Spectacles (2024 developer kit) sebagai antarmuka visual untuk mengendalikan robot fisik seperti Unitree Go2 atau Unitree G1. Tidak cuma menampilkan posisi robot di ruang nyata, sistem ini menyalurkan stream data LiDAR secara real-time dan mengintegrasikan model AI untuk menerima perintah suara secara langsung.

## Arsitektur Sistem: Jembatan Antara Dunia Digital dan Fisik

Di balik tampilan antarmuka AR yang terkesan futuristik, ada stack perangkat lunak yang dirancang cukup rapi. Seluruh ekosistem ini bertumpu pada tiga komponen utama: robot fisik (Unitree Go2 atau G1), komputer Mac yang menjalankan Dimensional OS (DimOS), dan kacamata Snap Spectacles yang menjalankan aplikasi Lens Studio.

Mac bertindak sebagai otak berat yang menangani komunikasi jaringan robot via WebRTC atau DDS, melakukan pemetaan lingkungan melalui LiDAR, serta menjalankan jalur perencanaan navigasi. Di atas DimOS, berjalan sebuah modul bernama `dimos-ar` bridge. Modul ini bertugas mentransmisikan data koordinat robot, rute jalan, dan point cloud LiDAR ke kacamata AR melalui protokol WebSocket.

 kacamata Spectacles bertindak sebagai klien visual. Kacamata ini menangkap gesture tangan pengguna, merender rute navigasi berwarna kuning di lantai ruang nyata, dan mengirimkan tangkapan kamera kembali ke bridge untuk kalkulasi posisi.

| Fitur / Komponen | Unitree Go2 (Quadruped) | Unitree G1 (Humanoid) |
| :--- | :--- | :--- |
| **Bentuk Fisik** | Quadruped (Robot Kaki Empat) | Humanoid (Robot Berjalan) |
| **Status Dukungan** | Fully supported & tested | Supported, not tested (mencari kolaborator) |
| **Konfigurasi AprilTag** | 1 Tag (ID 0, ukuran 70 mm) | 2 Tag (ID 0 & ID 1, ukuran 70 mm) |
| **Penempatan Tag** | Flat di atas bodi (18 cm depan, 6 cm atas) | ID 0 di panel dada, ID 1 di panel punggung |
| **Navigasi Stack** | Bawaan DimOS | Membutuhkan DimOS dari source + paket DDS Unitree |

## Solusi Pengunci Koordinat dan Dilema Pose Drift

Salah satu tantangan terbesar menggabungkan kacamata AR dengan robot fisik adalah menyamakan matriks koordinat dunia nyata. Kacamata harus tahu persis di mana robot berada relatif terhadap posisi mata pengguna. Proyek ini menyelesaikan masalah tersebut menggunakan sistem penanda visual bernama AprilTag.

Kamu wajib mencetak AprilTag pada skala 100 persen tanpa manipulasi rasio kertas, lalu menempelkannya di bodi robot. Saat melakukan setup awal lewat *Registration Wizard* di kacamata Spectacles, pengguna cukup berjalan melingkari robot dari jarak 0,5 hingga 1,5 meter. Kamera kacamata akan mengenali AprilTag tersebut dan menyelaraskan frame AR dengan robot.

Ada juga pilihan *Manual Placement* dengan menggeser marker secara manual ke tubuh robot tanpa mencetak kertas tag. Namun, metode manual ini jauh kurang akurat dan tidak mendukung *runtime drift correction*.

Masalah fisik yang tidak bisa dihindari dalam sistem seperti ini adalah *pose drift*. Saat robot bergerak cepat atau menempuh jarak jauh, data odometri internal bawaan hardware Unitree kerap mengalami ketidakakuratan kecil yang terakumulasi. Akibatnya, indikator robot di kacamata AR bisa tertinggal sekitar 25 cm setelah robot berjalan sejauh 5 meter. 

Bridge mengatasi masalah ini secara otomatis. Setiap kali kamera kacamata melihat AprilTag yang terpasang di bodi robot saat berhenti, sistem akan membandingkan posisi aktual tag dengan posisi yang dilaporkan odometri, lalu mengoreksi pendaratan koordinat visual secara instan.

```bash
# Contoh jalankan bridge secara manual dari terminal Mac
cd /path/to/spectacles-dimensional-os/dimos-ar
/path/to/dimos/.venv/bin/python3 -m pip install -e ".[dev]"
sudo ../launcher/scripts/configure-system.sh --apply
export ROBOT_IP=192.168.123.161 # Ganti dengan IP LAN robot
/path/to/dimos/.venv/bin/python3 -c "import sys; sys.path.insert(0, '.'); from dimos.core.coordination.module_coordinator import ModuleCoordinator; from dimos.ar.blueprints import ar_go2; ModuleCoordinator.build(ar_go2).loop()"
```

## Mengendalikan Robot: Gesture Tangan Hingga Perintah Suara GPT-4o

Interaksi pengguna dirancang sangat praktis. Kamu cukup mengangkat telapak tangan kiri ke atas untuk membuka *wrist menu*. Dari menu melayang ini, kamu bisa berpindah antara *Manual Mode* dan *Agent Mode*, melakukan kalibrasi ulang, melihat konsol *debug*, atau memicu tombol *emergency stop* untuk menghentikan pergerakan robot seketika.

Menu ini juga memungkinkan kamu mengatur visualisasi data titik sensor LiDAR dalam tiga mode:
1. **Off**: Mematikan render titik sensor demi menghemat performa.
2. **Obstacles Only**: Menyaring *point cloud* di server bridge untuk hanya menampilkan rintangan terdekat. Mode ini paling seimbang dan ramah performa.
3. **Full Point Cloud**: Merender seluruh titik sensor di sekitar robot. Mode ini sangat mengagumkan secara visual tetapi terhitung *performance heavy* dan bisa membuat kacamata AR mengalami *overheat* jika dinyalakan terlalu lama.

Pada *Manual Mode*, kamu cukup menarik `NavigationMarker` di layar AR ke titik tujuan di dalam ruangan dan mengatur arah hadap robot melalui panah indikator. Robot akan merencanakan rute dan langsung berjalan ke sana.

Jika berganti ke *Agent Mode*, kamu bisa memanggil robot dengan kata kunci "Robot". Ucapan kamu akan ditranskrip oleh Spectacles dan dikirim ke model GPT-4o yang berjalan di Mac. Agen AI ini dibekali serangkaian perkakas fungsi eksekusi seperti:
* `relative_move`: Meminta robot maju atau berbelok dengan jarak tertentu.
* `navigate_to_user`: Memanfaatkan posisi *headset* kacamata kamu agar robot berjalan menghampirimu.
* `get_user_pose`: Membaca posisi dan arah pandang pengguna.
* `cancel_navigation`: Membatalkan rute jalan dan menghentikan robot.
* `place_marker` & `draw_line`: Membuat garis atau penanda visual di ruang 3D.

Hebatnya, jika agen AI sedang mengeksekusi perintah navigasi suara, kamu tetap bisa merebut kendali kapan saja secara manual cukup dengan menarik marker navigasi di udara.

## Ekspektasi vs Realita Praktis di Lapangan

Proyek Spectacles Dimensional OS menyajikan arsitektur visualisasi robotik yang sangat intuitif, tetapi ada beberapa syarat teknis kaku yang harus dipenuhi agar sistem ini berjalan lancar. 

Komputer Mac yang menjalankan DimOS, kacamata Spectacles, dan robot Unitree harus berada dalam satu jaringan WiFi yang sama dengan koneksi internet yang stabil. macOS juga akan meminta akses admin pada awal boot karena DimOS butuh mengonfigurasi rute jaringan lokal serta memperbesar ukuran *socket buffer* internal.

Jika tidak ada robot fisik yang terhubung di jaringan LAN, sistem launcher web app bawaan akan otomatis mengaktifkan modul robot simulasi. Fitur simulasi ini sangat berguna bagi para pengembang software yang ingin menguji kode antarmuka Lens Studio tanpa perlu khawatir robot fisiknya menabrak dinding kamar.

Meskipun masih menghadapi keterbatasan hardware seperti akumulasi *pose drift* dan batas termal kacamata saat merender *full point cloud*, proyek ini membuktikan bahwa kombinasi AR glasses, *physical AI*, dan *large language model* mampu menciptakan bentuk interaksi manusia dan mesin yang jauh lebih alami dibanding metode konvensional.

## Referensi
https://github.com/V4C38/spectacles-dimensional-os

Proyek Spectacles Dimensional OS menggabungkan Snap Spectacles 2024 dan Unitree Go2 untuk kontrol robot real-time via visualisasi LiDAR dan GPT-4o.

Mengontrol Robot Pakai Kacamata AR: Proyek Spectacles Dimensional OS Ini Bikin Kontrol Fisik Serasa Main Game Strategy

Reggi

Solusi praktis integrasi webmail custom ke dalam dashboard Gmail. Kelola, baca, dan kirim email domain pribadi langsung dari satu tempat tanpa ribet gonta-ganti tab.

Mengapa Kamu Masih Buka Dua Tab Terpisah? Panduan Setup Custom Webmail Langsung di Dashboard Gmail

Pelajari efisiensi merakit mesin tetas telur listrik AC otomatis dengan modal murah untuk mendongkrak hasil ternak unggas tanpa repot bolak-balik telur manual.

Otomasi Ternak Unggas: Kenapa Rakit Sendiri Mesin Penetas Telur AC Jauh Lebih Worth It Dibanding Cara Konvensional?

Pelajari bagaimana mesin tetas telur berbasis arus listrik DC bekerja menjaga suhu dan kelembapan ideal untuk mendongkrak keberhasilan penetasan telur unggas.

Mesin Tetas Telur Arus DC: Solusi Hardware Murah Buat Tingkatin Angka Penetasan Unggas

Kupas tuntas seluk-beluk mobil aki anak dengan kontrol ganda dan fitur multimedia. Pahami batas spesifikasi hardware sebelum eksekusi build sendiri.

EV Versi Mini: Membedah Mobil Listrik Aki Lengkap dengan Remote Control dan Fitur Multimedia

Pelajari cara merakit smart power strip berbasis NodeMCU dan Blynk untuk kontrol daya nirkabel serta integrasi IoT yang aman dan efisien.

Mengapa Beli Mahal Kalau Bisa Bikin Sendiri? Rancang Smart Power Strip Berbasis NodeMCU dan Blynk

Solusi tuntas mengatasi bug sistem dan software bermasalah di MacBook dengan panduan install ulang macOS lewat Internet Recovery secara aman.

#augmented-reality

Getting Lastest Post..

Populer Bulan Ini