Model bahasa besar (LLM) yang kita kenal saat ini memiliki satu keterbatasan signifikan. Setelah proses pra-pelatihan selesai, pengetahuan mereka menjadi statis, beku pada titik waktu tersebut. Ini berarti LLM tidak dapat memperbarui informasinya seiring perubahan dunia. Bayangkan sebuah ensiklopedia yang tidak pernah diupdate, itulah tantangannya.

Meskipun ada beberapa metode untuk mengatasi hal ini, masing-masing memiliki kekurangan. Pelatihan ulang LLM secara penuh terlalu mahal untuk skala modern. Sementara itu, _fine-tuning_ berisiko menghilangkan pengetahuan yang sudah ada, atau yang sering disebut sebagai _catastrophic forgetting_. Di sisi lain, _Retrieval-Augmented Generation_ (RAG), yang populer karena mengambil dokumen saat inferensi, sering kesulitan jika jawabannya membutuhkan penalaran lintas dokumen atau peka terhadap kebisingan (noise) pada data yang diambil.

Sebuah tim peneliti dari National University of Singapore (NUS), MIT CSAIL, A*STAR, dan Singapore-MIT Alliance for Research and Technology (SMART) menghadirkan pendekatan baru bernama **MEMO: Modular Framework for Dedicated Memory Model**. Framework ini dirancang untuk memungkinkan LLM menginternalisasi pengetahuan baru tanpa mengubah parameter model utamanya.

### Memisahkan Memori dari Penalaran

Inti dari MEMO adalah pemisahan peran antara memori dan penalaran. Framework ini memperkenalkan dua model yang bekerja sama:

*   **MEMORY model:** Ini adalah model bahasa kecil dan khusus. Tugas utamanya adalah menginternalisasi pengetahuan dari korpus target. Model ini dilatih agar menyimpan informasi secara parametrik.
*   **EXECUTIVE model:** Ini adalah LLM utama yang lebih besar. Bagian ini dibekukan, tidak ada perubahan pada parameternya. EXECUTIVE model hanya berinteraksi melalui antarmuka input-output standar, memperlakukannya sebagai kotak hitam. Ini berarti MEMO tidak memerlukan akses ke bobot atau _output logits_ dari EXECUTIVE model.

Dalam uji coba, **MEMORY model** yang digunakan adalah Qwen2.5-14B-Instruct. Untuk **EXECUTIVE model**, peneliti menggunakan Qwen2.5-32B-Instruct atau Gemini-3-Flash, yang merupakan model _closed-source_ dan _proprietary_.

### Membangun Bank Pengetahuan: Pipeline Sintesis Data

Proses pelatihan dimulai dengan **GENERATOR model**, dalam eksperimen digunakan Qwen2.5-32B-Instruct. Pipeline ini mengubah korpus dokumen mentah menjadi **Reflection QA Dataset**. Dataset ini berisi pasangan pertanyaan-jawaban yang merepresentasikan pengetahuan korpus dalam berbagai variasi _query_.

Ada lima langkah penting dalam sintesis data ini:

1.  **Single-Document QA Generation:** Mengekstraksi fakta secara langsung (yang secara eksplisit disebutkan) dan secara tidak langsung (informasi yang disimpulkan) per bagian dokumen.
2.  **QA Consolidation:** Menggabungkan pasangan QA yang berbagi konteks umum (entitas, periode waktu, hubungan) menjadi pasangan _multi-fact_.
3.  **QA Rewriting:** Memeriksa kemandirian setiap pasangan QA. Pasangan dengan kata ganti yang tidak jelas atau referensi implisit akan ditulis ulang menggunakan potongan sumber atau dibuang.
4.  **Inverse QA Generation:** Menghasilkan pasangan QA di mana pertanyaan mengkodekan atribut dan hubungan entitas, sementara jawabannya mengungkapkan identitas entitas. Langkah ini menargetkan **_reverse query problem_**, di mana model yang dilatih pada "A adalah B" sering gagal menyimpulkan "B adalah A".
5.  **Multi-Document QA Generation:** Ini adalah komponen paling krusial. **GENERATOR model** membangun pasangan QA yang mencakup beberapa dokumen. Ia mengidentifikasi dua jenis koneksi lintas dokumen: _converging clues_ (beberapa dokumen tentang entitas yang sama) dan _parallel properties_ (entitas berbeda yang berbagi atribut atau peran umum). Pengujian menunjukkan bahwa menghapus langkah ini menurunkan akurasi dari 24.00% menjadi 6.37% pada NarrativeQA. Langkah ini juga menjadi sumber dominan pasangan pelatihan dalam dataset akhir.

Setelah dataset siap, **MEMORY model** kemudian dilatih melalui _supervised fine-tuning_. _Loss_ dihitung hanya pada _token_ jawaban. Dokumen sumber tidak pernah disediakan saat inferensi, yang berarti model harus menjawab dari pengetahuan parametrik yang sudah diinternalisasi.

### Cara MEMO Menjawab Pertanyaan: Protokol Inferensi Multi-Tahap

Pada saat inferensi, **EXECUTIVE model** meminta informasi dari **MEMORY model** melalui **Structured Multi-Turn Interface** dengan tiga tahap berurutan:

1.  **Entity Identification (Tahap 1):** EXECUTIVE model menguraikan _query_ menjadi sub-pertanyaan atomik. Setiap sub-pertanyaan menargetkan satu batasan identifikasi. MEMORY model menjawab setiap pertanyaan secara independen.
2.  **Entity Confirmation (Tahap 2):** Menggunakan respons _grounding_ dari tahap sebelumnya, EXECUTIVE model mengeluarkan sub-pertanyaan lanjutan yang ditargetkan. Ia secara berulang mempersempit entitas kandidat hingga salah satu dikonfirmasi atau anggaran tahap habis.
3.  **Fact Synthesis (Tahap 3):** Berdasarkan entitas yang teridentifikasi, EXECUTIVE model meminta fakta pendukung dari MEMORY model. Kemudian, semua respons yang diambil disintesis menjadi jawaban akhir.

Respons dari **MEMORY model** berupa potongan bahasa alami yang ringkas. Panjang respons ini tidak bergantung pada ukuran korpus. Ini berarti biaya inferensi tidak akan meningkat seiring bertambahnya jumlah dokumen, berbeda dengan RAG di mana biaya inferensi bertambah seiring korpus.

### Performa di Lapangan: Hasil Uji Coba MEMO

MEMO dievaluasi pada tiga _benchmark_:
*   **BrowseComp-Plus** (penelitian mendalam multi-hop).
*   **NarrativeQA** (pemahaman wacana atas buku dan naskah film).
*   **MuSiQue** (penalaran 2-4 hop atas paragraf Wikipedia).

Baselines yang digunakan antara lain BM25, NV-Embed-V2, HippoRAG2, dan Cartridges. Cartridges sendiri memerlukan akses _white-box_ ke EXECUTIVE model dan hanya mencetak 0.00% pada BrowseComp-Plus serta 3.75% pada NarrativeQA.

Berikut adalah perbandingan performa MEMO dengan baseline utama:

| Benchmark          | Model      | Executive Model   | Akurasi (%) |
| :----------------- | :--------- | :---------------- | :---------- |
| NarrativeQA        | MEMO       | Gemini-3-Flash    | **53.58**   |
| NarrativeQA        | HippoRAG2  | Gemini-3-Flash    | 23.21       |
| MuSiQue            | MEMO       | Gemini-3-Flash    | **84.80**   |
| MuSiQue            | HippoRAG2  | Gemini-3-Flash    | 57.00       |
| BrowseComp-Plus    | MEMO       | Gemini-3-Flash    | **78.78**   |
| BrowseComp-Plus    | HippoRAG2  | Gemini-3-Flash    | 66.33       |
| BrowseComp-Plus    | MEMO       | Qwen2.5-32B-Instruct | 54.22       |
| MuSiQue            | MEMO       | Qwen2.5-32B-Instruct | 48.30       |

Perlu diperhatikan bahwa saat EXECUTIVE model dialihkan dari Qwen2.5-32B-Instruct ke Gemini-3-Flash, MEMO menunjukkan peningkatan performa signifikan, yaitu 12.45% pada NarrativeQA, 26.73% pada MuSiQue, dan 11.90% pada BrowseComp-Plus. Peningkatan ini terjadi tanpa melatih ulang **MEMORY model**, menunjukkan fleksibilitas MEMO.

### Ketahanan dan Fleksibilitas MEMO

Tim peneliti juga menguji ketahanan MEMO terhadap berbagai kondisi:

*   **Terhadap Dokumen Pengganggu (Distractor Documents):** Saat dokumen pengganggu ditambahkan ke korpus, NV-Embed-V2 dan HippoRAG2 mengalami penurunan akurasi hingga 6.22% pada BrowseComp-Plus. Namun, akurasi MEMO pada _benchmark_ yang sama hanya berubah sebesar +0.55%, ini berada dalam satu standar deviasi.
*   **Konsistensi Lintas Keluarga MEMORY Model:** Peneliti menguji tiga keluarga **MEMORY model** pada skala parameter serupa (Qwen2.5-1.5B-Instruct, Gemma3-1B-IT, dan LFM2.5-1.2B-Instruct). Performa secara keseluruhan konsisten di antara ketiganya, yang menunjukkan bahwa _framework_ ini tidak sensitif terhadap _lineage pretraining_ spesifik dari **MEMORY model**.

### Update Pengetahuan Bertahap: Hemat Biaya dengan Merging Model

MEMO juga mendukung pembaruan pengetahuan secara inkremental melalui **TIES merging** (dengan ρ=0.3). Ketika korpus baru tiba, **MEMORY model** terpisah dilatih pada korpus tersebut secara independen. _Task vector_, atau perbedaan parameter dari model dasar, kemudian digabungkan dengan **MEMORY model** yang sudah ada di ruang parameter.

Pendekatan ini menghasilkan penghematan komputasi yang substansial:

| Jumlah Korpus (K) | Mode Training      | GPU-hours | Penghematan     |
| :---------------- | :----------------- | :-------- | :-------------- |
| 2                 | Merging TIES       | 48        | 33%             |
| 2                 | Retraining Penuh   | 72        | N/A             |
| 10                | Merging TIES       | 240       | 5.5x            |
| 10                | Retraining Penuh   | 1,320     | N/A             |

Meskipun model MEMORY yang digabungkan memiliki akurasi yang sedikit lebih rendah dibandingkan pelatihan ulang penuh (misalnya, terpaut 11.04% dengan EXECUTIVE Qwen2.5-32B-Instruct dan 19.11% dengan Gemini-3-Flash pada NarrativeQA), performanya tetap lebih baik dari semua _baseline_ RAG pada NarrativeQA.

### Kesimpulan

MEMO menawarkan pendekatan yang kuat untuk mengatasi keterbatasan LLM yang statis. Dengan memisahkan memori dari penalaran, memungkinkan pembaruan pengetahuan yang efisien melalui _fine-tuning_ pada **MEMORY model** khusus, dan memanfaatkan **EXECUTIVE model** sebagai kotak hitam, framework ini menghadirkan fleksibilitas dan ketahanan yang baru. Selain itu, biaya inferensi yang tetap dan kemampuan pembaruan inkremental menjadikan MEMO solusi yang menarik untuk aplikasi yang membutuhkan pengetahuan yang dinamis dan terkini.

## Referensi
https://www.marktechpost.com/2026/05/26/memo-a-modular-framework-for-training-a-dedicated-memory-model-on-new-knowledge-without-modifying-llm-parameters/

Para peneliti dari NUS, MIT CSAIL, dan ASTAR memperkenalkan MEMO, sebuah framework modular yang memungkinkan model bahasa besar (LLM) mempelajari pengetahuan baru tanpa mengubah parameter intinya, mengatasi masalah biaya dan catastrophic forgetting.

MEMO: Framework Modular Baru untuk Pengetahuan LLM yang Dinamis

Reggi

Solusi praktis integrasi webmail custom ke dalam dashboard Gmail. Kelola, baca, dan kirim email domain pribadi langsung dari satu tempat tanpa ribet gonta-ganti tab.

Mengapa Kamu Masih Buka Dua Tab Terpisah? Panduan Setup Custom Webmail Langsung di Dashboard Gmail

Pelajari efisiensi merakit mesin tetas telur listrik AC otomatis dengan modal murah untuk mendongkrak hasil ternak unggas tanpa repot bolak-balik telur manual.

Otomasi Ternak Unggas: Kenapa Rakit Sendiri Mesin Penetas Telur AC Jauh Lebih Worth It Dibanding Cara Konvensional?

Pelajari bagaimana mesin tetas telur berbasis arus listrik DC bekerja menjaga suhu dan kelembapan ideal untuk mendongkrak keberhasilan penetasan telur unggas.

Mesin Tetas Telur Arus DC: Solusi Hardware Murah Buat Tingkatin Angka Penetasan Unggas

Kupas tuntas seluk-beluk mobil aki anak dengan kontrol ganda dan fitur multimedia. Pahami batas spesifikasi hardware sebelum eksekusi build sendiri.

EV Versi Mini: Membedah Mobil Listrik Aki Lengkap dengan Remote Control dan Fitur Multimedia

Pelajari cara merakit smart power strip berbasis NodeMCU dan Blynk untuk kontrol daya nirkabel serta integrasi IoT yang aman dan efisien.

Mengapa Beli Mahal Kalau Bisa Bikin Sendiri? Rancang Smart Power Strip Berbasis NodeMCU dan Blynk

Solusi tuntas mengatasi bug sistem dan software bermasalah di MacBook dengan panduan install ulang macOS lewat Internet Recovery secara aman.

#incremental-learning

Getting Lastest Post..

Populer Bulan Ini