Bayangkan bisa menjalankan model bahasa besar (LLM) yang kuat pada perangkat sekecil mikrokontroler. Ini bukan lagi fiksi ilmiah. Seorang pengembang bernama Slava S. telah membuat terobosan signifikan dengan **running LLM on ESP32 Microcontroller**, menghadirkan model 28.9 juta parameter ke sebuah chip seharga sekitar $8. Ini benar-benar lompatan jauh dibandingkan model LLM sebelumnya yang pernah dijalankan di perangkat serupa.

### LLM di Perangkat Sekecil Mikrokontroler

Model ini berjalan sepenuhnya secara *on-device* di **ESP32-S3**, tanpa perlu terhubung ke server eksternal. Hasilnya, teks yang dihasilkan akan ditampilkan langsung ke layar kecil yang terhubung ke chip, dengan kecepatan sekitar 9 hingga 9.5 token per detik. Angka ini luar biasa, mengingat model LLM sebelumnya yang berjalan di chip serupa hanya memiliki 260 ribu parameter. Slava S. berhasil menempatkan model seratus kali lebih besar dari itu.

### Bagaimana Model Sebesar Ini Bisa Muat?

Kunci di balik pencapaian ini adalah ide **Per-Layer Embeddings** dari model Google Gemma, tepatnya Gemma 3n dan Gemma 4. Mikrokontroler seperti ESP32-S3 memiliki memori cepat yang sangat terbatas, misalnya 512KB SRAM. Biasanya, seluruh model harus bisa diakses dari memori cepat ini, yang secara otomatis membatasi ukuran model secara drastis.

Namun, sebagian besar parameter LLM berada dalam tabel *embedding*, yang sifatnya lebih banyak dibaca daripada dihitung. Slava S. memanfaatkan ini dengan menyimpan 25 juta baris tabel *embedding* di **flash** yang lebih lambat namun lebih besar. Saat model membutuhkan *token* baru, hanya beberapa baris data, sekitar 450 byte atau sekitar 6 baris, yang ditarik dari *flash* ke memori cepat. Bagian kecil yang melakukan 'pemikiran' atau komputasi inti tetap berada di memori cepat.

Dengan cara ini, sebagian besar model tidak pernah dimuat penuh ke memori cepat. Ia hanya 'dicicipi' sedikit demi sedikit sesuai kebutuhan. Ini adalah inovasi yang belum pernah dicoba pada chip sekecil ini sebelumnya, mengadaptasi strategi yang biasanya digunakan untuk ponsel atau GPU ke lingkungan mikrokontroler.

### Detail Teknis Proyek

Berikut adalah rincian teknis dari proyek mengagumkan ini:

| Fitur                | Detail                                                     |
| :------------------- | :--------------------------------------------------------- |
| **Parameter Model**  | 28.9 juta (25 juta di tabel *flash lookup*)                 |
| **Chip**             | ESP32-S3                                                   |
| **Harga Chip**       | Sekitar $8                                                 |
| **Memori Chip**      | 512KB SRAM, 8MB PSRAM, 16MB *flash*                        |
| **Kecepatan**        | Sekitar 9.5 tok/s (*end-to-end*), 9.7 tok/s (*pure compute*) |
| **Konektivitas**     | Tidak ada, semua berjalan di perangkat                     |
| **Ukuran Model**     | 14.9MB pada 4-bit                                          |
| **Metode Kunci**     | Per-Layer Embeddings (Google Gemma)                        |

Distribusi memori pada ESP32-S3 bekerja sebagai berikut:
*   **SRAM (cepat, kecil):** Inti 'pemikiran' model, digunakan pada setiap *token*.
*   **PSRAM (menengah):** *Output head* dan memori kerja.
*   **FLASH (besar, lambat):** Tabel parameter 25 juta, membaca sekitar 6 baris per *token* (~450 B).

### Kemampuan dan Keterbatasan

Model ini dilatih menggunakan dataset **TinyStories**, sehingga ia mahir menulis cerita pendek dan sederhana yang koheren. Namun, penting untuk memahami keterbatasannya. Model ini tidak dirancang untuk menjawab pertanyaan, mengikuti instruksi, menulis kode, atau mengetahui fakta. Keterbatasan ini berasal dari bagian kecil model yang melakukan penalaran, dan trik memori yang digunakan tidak mengubah kemampuan tersebut. Fokus utama proyek ini adalah arsitekturnya, yaitu bagaimana model sebesar ini bisa masuk ke chip sekecil itu, bukan kemampuan percakapannya.

### Pelajari dan Jalankan Sendiri

Bagi Anda yang tertarik untuk mencoba atau mempelajarinya lebih lanjut, proyek ini bersifat *open source* di bawah lisensi MIT. Anda bisa menemukan semua yang dibutuhkan:
*   *Firmware*, panduan kabel, dan langkah *flashing* ada di ```firmware/esp32_llm/README.md```.
*   Kode pelatihan, *ablation*, dan kuantisasi ada di ```src/``` dan ```experiments/```.
*   Metode lengkap, *ablation*, dan pengukuran *on-chip* dijelaskan di ```RESULTS.md```.

Pengembang juga secara transparan menyimpan riwayat proyek, termasuk perbaikan *bug* dalam perhitungan parameter yang sempat memengaruhi angka awal. Semua detail perubahan tercatat di *commit history* dan ```RESULTS.md```.

### Kredit

Proyek ini tidak terlepas dari beberapa kontribusi penting:
*   **TinyStories:** Dataset cerita sintetis pendek dan sederhana yang memungkinkan model kecil belajar menulis dengan koheren, dari Ronen Eldan dan Yuanzhi Li (Microsoft Research, arXiv:2305.07759).
*   **Per-Layer Embeddings:** Desain dari model Google Gemma yang memungkinkan model besar muat di chip kecil.
*   **llama2.c Andrej Karpathy:** Inspirasi utama bagi banyak orang, termasuk Slava S., untuk melatih dan menjalankan model bahasa kecil dalam C murni.

## Referensi
*   https://blog.adafruit.com/2026/07/29/running-a-28-9m-parameter-llm-on-an-8-microcontroller/
*   https://github.com/slvDev/esp32-ai

Seorang pengembang berhasil menjalankan model bahasa besar (LLM) dengan 28.9 juta parameter pada mikrokontroler ESP32-S3 seharga $8, menggunakan teknik Per-Layer Embeddings dari Google Gemma. Ini adalah lompatan besar dalam komputasi LLM on-device.

Menjalankan LLM 28.9 Juta Parameter di Mikrokontroler $8: Sebuah Terobosan

Reggi

Solusi praktis integrasi webmail custom ke dalam dashboard Gmail. Kelola, baca, dan kirim email domain pribadi langsung dari satu tempat tanpa ribet gonta-ganti tab.

Mengapa Kamu Masih Buka Dua Tab Terpisah? Panduan Setup Custom Webmail Langsung di Dashboard Gmail

Pelajari efisiensi merakit mesin tetas telur listrik AC otomatis dengan modal murah untuk mendongkrak hasil ternak unggas tanpa repot bolak-balik telur manual.

Otomasi Ternak Unggas: Kenapa Rakit Sendiri Mesin Penetas Telur AC Jauh Lebih Worth It Dibanding Cara Konvensional?

Pelajari bagaimana mesin tetas telur berbasis arus listrik DC bekerja menjaga suhu dan kelembapan ideal untuk mendongkrak keberhasilan penetasan telur unggas.

Mesin Tetas Telur Arus DC: Solusi Hardware Murah Buat Tingkatin Angka Penetasan Unggas

Kupas tuntas seluk-beluk mobil aki anak dengan kontrol ganda dan fitur multimedia. Pahami batas spesifikasi hardware sebelum eksekusi build sendiri.

EV Versi Mini: Membedah Mobil Listrik Aki Lengkap dengan Remote Control dan Fitur Multimedia

Pelajari cara merakit smart power strip berbasis NodeMCU dan Blynk untuk kontrol daya nirkabel serta integrasi IoT yang aman dan efisien.

Mengapa Beli Mahal Kalau Bisa Bikin Sendiri? Rancang Smart Power Strip Berbasis NodeMCU dan Blynk

Solusi tuntas mengatasi bug sistem dan software bermasalah di MacBook dengan panduan install ulang macOS lewat Internet Recovery secara aman.

#per-layer-embeddings

Getting Lastest Post..

Populer Bulan Ini