Mengarahkan robot empat kaki atau humanoid cuma lewat pergerakan tangan dan perintah suara dulunya cuma sebatas konsep fiksi ilmiah di layar lebar. Namun, proyek **Spectacles Dimensional OS: Meninjau OS Dimensi Visual untuk Smart Glasses** membuktikan bahwa kombinasi ini bukan lagi sekadar demo konsep mahal. Dengan mengawinkan kacamata **Snap Spectacles 2024 developer kit**, sistem operasi **Dimensional OS**, dan robot **Unitree Go2** atau **G1**, era kontrol robotik berbasis *Physical AI* yang immersif resmi di depan mata.

Pertanyaannya sederhana: Apakah integrasi ini benar-benar praktis untuk ekosistem pengembangan software dan *hardware*, atau sekadar jualan gimik visual yang penuh *lag* dan bug?

## Arsitektur Sistem: Mac Sebagai Otak, Spectacles Sebagai Mata

Sistem ini tidak bekerja secara magis di dalam kacamata pintar itu sendiri. Ada pembagian beban komputasi yang sangat pragmatis di sini. Kacamata **Snap Spectacles** bertindak sebagai antarmuka visual dan pengumpul input pengguna. Sementara itu, sebuah komputer **Mac** bertindak sebagai pangkalan utama yang menjalankan **Dimensional OS** (DimOS) untuk mengurus navigasi berat, pemprosesan peta **LiDAR**, hingga komunikasi *real-time*.

```
+-------------------+        WebRTC / DDS       +-----------------------+
|  Robot Unitree    | <-----------------------> | Dimensional OS (Mac)  |
|   (Go2 / G1)      |                           | - Mapping & Planning  |
+-------------------+                           | - Agent (GPT-4o)      |
                                                +-----------------------+
                                                            ^
                                                            | WebSocket Protocol
                                                            v
                                                +-----------------------+
                                                |    Spectacles Lens    |
                                                | - Hand Gesture UI     |
                                                | - Camera (AprilTag)   |
                                                +-----------------------+
```

Komunikasi antara Mac dan robot **Unitree** ditangani melalui protokol **WebRTC** atau **DDS**. Di saat bersamaan, komponen **DimOS AR-Bridge** yang berbasis **Python** membuka koneksi **WebSocket** ke kacamata **Snap Spectacles**. Aplikasi kacamata yang dibangun menggunakan **Lens Studio** mengonsumsi data *telemetry*, jalur navigasi, dan *point cloud* untuk dirender secara visual langsung di depan mata pengguna.

## Kalibrasi Ruang Lewat AprilTag: Kunci Sinkronisasi Koordinat

Salah satu tantangan terbesar dalam dunia *Augmented Reality* dan robotik adalah menyatukan dua sistem koordinat yang berbeda: di mana kacamata berpikir robot berada, dan di mana robot sebenarnya berada. Tanpa kalibrasi yang presisi, petunjuk navigasi visual akan melayang acak di udara.

Proyek ini menyelesaikan masalah tersebut dengan pendekatan yang cukup cerdik namun sederhana: kertas **AprilTag**. Kacamata akan memindai penanda visual berpola khusus ini untuk mengunci titik nol koordinat (*world frame alignment*).

| Spesifikasi Robot | Dukungan Hardware | Konfigurasi AprilTag | Penempatan Tag |
| :--- | :--- | :--- | :--- |
| **Unitree Go2 (Pro/Air)** | Teruji Sepenuhnya | 1x Tag (ID 0, ukuran 70 mm) | Ditempel rata di atas badan robot, 18 cm di depan pusat robot dan 6 cm ke atas. |
| **Unitree G1 (Humanoid)** | Didukung (Belum Teruji) | 2x Tag (ID 0 & ID 1, ukuran 70 mm) | Tag ID 0 di panel dada, Tag ID 1 di panel punggung untuk visibilitas dari dua sisi. |

Pengguna cukup berdiri pada jarak **0,5 hingga 1,5 meter** di sekitar robot saat proses registrasi awal. Sistem secara otomatis mengumpulkan sampel visual *AprilTag* hingga koordinat terkunci. Memang ada opsi *Manual Placement* dengan menggeser penanda secara manual tanpa mencetak tag, tetapi akurasinya sangat rendah dan tidak mendukung koreksi *drift* secara *real-time*.

## Antarmuka AR: Dari Gesture Tangan Hingga Kontrol Suara GPT-4o

Pengalaman kontrol di dalam kacamata dirancang sangat intuitif. Hanya dengan membuka telapak tangan kiri ke atas, *wrist menu* akan muncul di udara. Lewat menu melayang ini, pengguna bisa mengakses beberapa fitur krusial:

*   **Mode Navigasi**: Beralih antara **Manual Mode** dan **Agent Mode**.
*   **LiDAR Visualization Toggle**: Pengaturan pemetaan titik jarak dari sensor robot. Bisa dimatikan (*off*), menampilkan halangan saja (*obstacles only* yang hemat daya), atau menampilkan *full point cloud* (visualisasi penuh yang sangat berat dan berisiko membuat kacamata mengalami *overheating* jika dipakai lama).
*   **Emergency Stop**: Tombol darurat untuk membatalkan seluruh perintah gerak robot secara instan.

Pada **Manual Mode**, sebuah **NavigationMarker** akan muncul di atas robot. Pengguna tinggal menarik marker tersebut ke titik tujuan di dalam ruangan. Garis jalur berwarna kuning yang dirender di lantai merupakan kalkulasi rute *real-time* langsung dari *planner* milik **Dimensional OS**.

```bash
# Menjalankan pangkalan data DimOS AR-Bridge secara manual lewat terminal
export ROBOT_IP=<robot-lan-ip>
/path/to/dimos/.venv/bin/python3 -c "
import sys
sys.path.insert(0, '.')
from dimos.core.coordination.module_coordinator import ModuleCoordinator
from dimos.ar.blueprints import ar_go2
ModuleCoordinator.build(ar_go2).loop()
"
```

Sementara pada **Agent Mode**, pengguna cukup mengucapkan kata kunci pemanggil **"Robot"**. Suara pengguna akan ditranskripsikan oleh kacamata dan dikirimkan ke model **GPT-4o** yang berjalan di Mac. Agen AI ini memiliki akses ke berbagai perkakas sistem (*tools*) seperti:

*   `navigate_to_user`: Meminta robot berjalan mendekati posisi kacamata pengguna.
*   `relative_move`: Memerintahkan robot maju atau berputar sesuai jarak tertentu.
*   `place_marker` & `draw_line`: Meminta AI menggambar garis atau menaruh penanda visual di dalam ruang fisik.
*   `cancel_navigation`: Menghentikan pergerakan robot seketika.

## Realita Hardware: Problem Odometry Lag dan Pose Drift

Meskipun terlihat canggih, proyek ini tidak lepas dari batasan fisik *hardware*. Masalah utama yang sering muncul di lapangan adalah **Pose Drift**. Saat robot bergerak cepat, posisi visual **RobotMarker** di kacamata sering kali tertinggal di belakang posisi fisik robot yang sebenarnya.

Penyebab utamanya adalah kalkulasi **odometri** bawaan dari *hardware* **Unitree** yang kurang konsisten. Robot mengestimasi posisinya dengan menumpuk data pergerakan secara terus-menerus. Akibatnya, akumulasi eror kecil akan membesar seiring berjalannya waktu dan jarak. Dalam pengujian, eror posisi ini bisa mencapai **25 cm untuk setiap jarak tempuh 5 meter**.

Untungnya, **DimOS AR-Bridge** mengompensasi kelemahan *hardware* ini dengan memanfaatkan kamera kacamata. Setiap kali kacamata menangkap penampakan **AprilTag** di badan robot, sistem akan langsung menghitung ulang pergeseran koordinat dan melakukan koreksi posisi secara otomatis saat robot berhenti.

## Langkah Setup dan Konfigurasi Ekosistem

Untuk mencoba ekosistem ini, perangkat **Mac**, kacamata **Spectacles**, dan robot harus terhubung dalam **satu jaringan WiFi yang sama** dengan koneksi internet stabil. Cara paling praktis adalah menggunakan launcher berbasis web yang sudah disediakan.

```bash
# Jalankan launcher otomatis via terminal Mac
cd /path/to/spectacles-dimensional-os
./launcher/scripts/start-launcher.sh
```

Setelah script berjalan, buka peramban di `http://127.0.0.1:8790`. Di dalam dashboard ini, kamu bisa menginstal *dependencies*, memilih *stack* robot (**Unitree Go2** atau **Unitree G1**), hingga mencetak dokumen PDF **AprilTag** dengan skala 100%. Jika tidak ada robot fisik yang terdeteksi di jaringan, launcher akan otomatis menjalankan mode simulasi (*simulated robot*) untuk kebutuhan *debugging*.

Dari sisi software, proyek ini menggunakan **Lens Studio** untuk mengunggah berkas proyek `lens-studio/spectacles-dimensional-os.esproj` langsung ke perangkat kacamata. Karena menggunakan API eksperimental, proyek kacamata ini tidak bisa dipublikasikan ke publik dan harus diunggah langsung via mode pengembang.

Penggabungan AR dan robotik berbasis fisik ini membuktikan bahwa kontrol antarmuka masa depan tidak lagi bergantung pada *joystick* atau layar sentuh yang kaku. Walaupun masalah akumulasi *drift* odometri masih menjadi *bottleneck* teknis di lapangan, fondasi integrasi data sensor visual dan perintah berbasis bahasa alami AI yang ditawarkan proyek ini sudah berada di jalur yang sangat tepat.

## Referensi
https://github.com/V4C38/spectacles-dimensional-os

Bedah tuntas proyek integrasi Snap Spectacles 2024 dan Dimensional OS untuk mengontrol robot quadruped Unitree Go2 dan humanoid G1 secara visual.

Nyetir Robot Pakai Smart Glasses: Eksperimentasi Kritis Spectacles Dimensional OS

Reggi

Solusi praktis integrasi webmail custom ke dalam dashboard Gmail. Kelola, baca, dan kirim email domain pribadi langsung dari satu tempat tanpa ribet gonta-ganti tab.

Mengapa Kamu Masih Buka Dua Tab Terpisah? Panduan Setup Custom Webmail Langsung di Dashboard Gmail

Pelajari efisiensi merakit mesin tetas telur listrik AC otomatis dengan modal murah untuk mendongkrak hasil ternak unggas tanpa repot bolak-balik telur manual.

Otomasi Ternak Unggas: Kenapa Rakit Sendiri Mesin Penetas Telur AC Jauh Lebih Worth It Dibanding Cara Konvensional?

Pelajari bagaimana mesin tetas telur berbasis arus listrik DC bekerja menjaga suhu dan kelembapan ideal untuk mendongkrak keberhasilan penetasan telur unggas.

Mesin Tetas Telur Arus DC: Solusi Hardware Murah Buat Tingkatin Angka Penetasan Unggas

Kupas tuntas seluk-beluk mobil aki anak dengan kontrol ganda dan fitur multimedia. Pahami batas spesifikasi hardware sebelum eksekusi build sendiri.

EV Versi Mini: Membedah Mobil Listrik Aki Lengkap dengan Remote Control dan Fitur Multimedia

Pelajari cara merakit smart power strip berbasis NodeMCU dan Blynk untuk kontrol daya nirkabel serta integrasi IoT yang aman dan efisien.

Mengapa Beli Mahal Kalau Bisa Bikin Sendiri? Rancang Smart Power Strip Berbasis NodeMCU dan Blynk

Solusi tuntas mengatasi bug sistem dan software bermasalah di MacBook dengan panduan install ulang macOS lewat Internet Recovery secara aman.

#snap-spectacles

Getting Lastest Post..

Populer Bulan Ini