Industri model bahasa terus berkembang, dan inovasi baru selalu muncul untuk mendorong batasan yang ada. Salah satu yang patut kita perhatikan adalah **ELF (Efficient Language Framework)**, sebuah kelas model bahasa difusi kontinu yang membawa pendekatan segar. ELF menonjol karena cara kerjanya yang unik, beroperasi sebagian besar dalam ruang embedding kontinu sebelum memetakan ke token diskrit pada langkah waktu terakhir.

## Apa Itu ELF dan Mengapa Penting?

ELF adalah implementasi resmi JAX untuk sebuah makalah penelitian, yang dibangun di atas dasar **Continuous-time Flow Matching**. Berbeda dari Model Bahasa Difusi (DLM) yang ada, ELF dirancang untuk sebagian besar tetap berada dalam ruang embedding kontinu. Ini terjadi sampai langkah waktu akhir, di mana model akan memetakan ke token diskrit menggunakan jaringan dengan bobot bersama. Formulasi ini membuat ELF sangat adaptif. Kita bisa dengan mudah mengadopsi berbagai teknik yang sudah mapan dari model difusi domain gambar, seperti **classifier-free guidance (CFG)**.

Implementasi ini dibuat dan diuji pada perangkat TPU. Versi PyTorch akan segera dirilis, jadi para pengembang dengan preferensi PyTorch juga bisa menantikan pembaruan ini.

## Memulai dengan ELF: Instalasi dan Verifikasi

Untuk mencoba ELF, ada beberapa dependensi yang perlu kamu siapkan, yaitu JAX dan TPU. Jika kamu ingin melacak eksperimenmu, kamu bisa login ke WandB.

Kamu bisa memverifikasi pengaturanmu dengan cepat menggunakan _checkpoint_ yang sudah disediakan. Penting untuk diingat bahwa hasil metrik mungkin sedikit berbeda karena perbedaan _setup_ komputasi. Hasil yang dilaporkan dalam penelitian ini dihitung menggunakan TPU v5p-64.

```bash
# Contoh perintah untuk verifikasi setup
# Pastikan JAX dan TPU sudah terinstal
```

Semua _checkpoint_ yang sudah dilatih tersedia di HuggingFace di bawah `lillian039/ELF`. _Checkpoint_ ini akan diunduh secara otomatis melalui `.from_pretrained`, jadi kamu tidak perlu mengunduhnya secara manual. Jika kamu ingin menggunakan _checkpoint_ yang dilatih secara lokal, kamu cukup memasukkan jalur ke file _checkpoint_ spesifik tersebut.

## Konfigurasi dan Kustomisasi Eksperimen

ELF menggunakan sistem konfigurasi berlapis untuk memudahkan kustomisasi. Ada dua lapisan konfigurasi utama:
1.  **`dataclass`**: Berisi semua _hyperparameter_ default.
2.  **`YAML`**: Berisi _override_ khusus tugas yang dimuat oleh `main.py`.

Sistem akan menggabungkan keduanya, memungkinkan kamu menyesuaikan hanya parameter yang kamu butuhkan. Beberapa file konfigurasi sudah tersedia dan menunjuk ke data HuggingFace serta _encoder_ T5, jadi kamu bisa menjalankannya langsung. Kamu mungkin ingin mengedit `save_dir` untuk menentukan lokasi penyimpanan sampel dan log, serta `wandb_entity` jika kamu menggunakan WandB.

Untuk membuat eksperimen kustom, kamu bisa membuat file konfigurasi baru di bawah `configs/experiments/`.

## Melatih Model Bahasa ELF Kamu

ELF mendukung tiga pengaturan tugas utama:
*   **Generasi tanpa syarat (unconditional generation)** pada OpenWebText.
*   **Terjemahan mesin (machine translation)** pada WMT14 De-En.
*   **Ringkasan abstrak (abstractive summarization)** pada XSum.

Semua tugas ini menggunakan _encoder_ T5 yang dibekukan untuk pemetaan teks ke _embedding_.

### Data dan Dataset Kustom

Kami menyediakan _split_ data yang sudah di-tokenisasi (dengan _tokenizer_ T5) dan _encoder_ JAX T5-small di HuggingFace di bawah `lillian039/ELF-data`. Ini akan dimuat langsung melalui `.from_pretrained`. Kamu juga bisa menggunakan salinan lokal dengan menunjuk `dataset.path` ke direktori yang disimpan dengan `dataset.save_to_disk()`.

Untuk melatih model dengan dataset kustom, kamu perlu melakukan pra-tokenisasi menggunakan _tokenizer_ T5 dan menyimpannya sebagai HuggingFace `Dataset`.
*   **Generasi tanpa syarat**: Setiap contoh hanya membutuhkan `text_ids`, yaitu ID token dari teks yang akan dihasilkan.
*   **Generasi bersyarat**: Setiap contoh membutuhkan `target_ids` (teks target/output) dan `source_ids` (teks sumber/input, misalnya kalimat bahasa Jerman atau artikel).

_Collator_ akan secara otomatis menambahkan token `eos` dan membangun _attention mask_ yang sesuai.

### Perintah Pelatihan dan Konfigurasi yang Tersedia

Jalankan perintah berikut untuk memulai pelatihan:

```bash
python -m elf.train --config <path_to_config_file>
```

Berikut adalah beberapa konfigurasi pelatihan yang tersedia:

| Konfigurasi                                 | Tugas                                  |
| :------------------------------------------ | :------------------------------------- |
| `unconditional_generation/elf_b` (default) | Generasi tanpa syarat pada OpenWebText (ELF-B) |
| `unconditional_generation/elf_m`           | Generasi tanpa syarat pada OpenWebText (ELF-M) |
| `unconditional_generation/elf_l`           | Generasi tanpa syarat pada OpenWebText (ELF-L) |
| `machine_translation/wmt14_de_en`          | Terjemahan mesin WMT14 De-En           |
| `abstractive_summarization/xsum`           | Ringkasan abstrak XSum                 |

Pelatihan default ELF-B menggunakan _optimizer_ Muon dengan _base learning rate_ (blr) 0.001. _Learning rate_ efektif akan menjadi 0.002 pada _batch size_ default 512. Model dilatih selama 5 _epoch_ pada OpenWebText (~95K langkah) dengan TPU v5p-64, yang membutuhkan sekitar 1.5 jam per _epoch_.

## Sampling dan Evaluasi

Proses _sampling_ di ELF dipisahkan dari pelatihan. Ini dikendalikan oleh file YAML terpisah di `configs/samplers/`, yang direferensikan dari setiap konfigurasi pelatihan melalui `sampler_config`.

Ada beberapa jadwal _sampling_ yang bisa kamu gunakan:
*   **Generasi tanpa syarat**: Dua jadwal SDE, yaitu 32-langkah (γ=1.5) dan 64-langkah (γ=1.0), keduanya dengan SC-CFG=3.
*   **Generasi bersyarat (terjemahan / ringkasan)**: Satu jadwal ODE 64-langkah dengan CFG=2 dan SC-CFG=1.

_Evaluator_ akan menghasilkan 1.000 sampel dan melaporkan metrik seperti _Generative Perplexity_ (PPL) dan _unigram entropy_ untuk generasi tanpa syarat. Untuk tugas bersyarat, akan dilaporkan metrik BLEU atau ROUGE.

Berikut adalah beberapa metrik yang diharapkan:

| Tugas                       | Metrik                | Nilai yang Diharapkan | Catatan                                                  |
| :-------------------------- | :-------------------- | :-------------------- | :------------------------------------------------------- |
| Generasi tanpa syarat (ELF-B, 32 SDE steps) | Gen. PPL (GPT-2 Large) | ≈ 24                  |                                                          |
|                             | Unigram Entropy       | ≈ 5.15                |                                                          |
| Terjemahan WMT14 De-En      | BLEU                  | ≈ 26.7                | Pada set validasi. Angka di makalah menggunakan set tes. |
| Ringkasan XSum              | ROUGE-1               | ≈ 36.3                | Pada set validasi. Angka di makalah menggunakan set tes. |
|                             | ROUGE-2               | ≈ 12.5                | Pada set validasi. Angka di makalah menggunakan set tes. |
|                             | ROUGE-L               | ≈ 28.1                | Pada set validasi. Angka di makalah menggunakan set tes. |

Untuk _input_ JSONL khusus evaluasi (teks mentah, di-tokenisasi saat dimuat), kamu bisa melihat `datasets.load_dataset('json', data_files=...)`.

## Manajemen Checkpoint

_Checkpoint_ disimpan pada akhir setiap _epoch_, atau pada interval fraksional jika `save_interval_steps` diatur. Sistem akan menyimpan hingga 10 _checkpoint_ terbaru. Hanya proses 0 yang menulis ke _disk_. Jika `hf_repo_id` diatur dalam konfigurasi, seluruh direktori `save_dir` akan diunggah ke HuggingFace setelah setiap penyimpanan.

Jika `checkpoint_path` tidak ditentukan, pelatihan akan secara otomatis mendeteksi dan melanjutkan dari _checkpoint_ terbaru di `save_dir`. `checkpoint_path` juga bisa menerima jalur lokal atau ID _repo_ HuggingFace (misalnya, `lillian039/ELF-B-OpenWebText`). Untuk sebuah direktori, sistem akan menggunakan _checkpoint_ terbaru di dalamnya.

Bobot _encoder_ T5 (`flax_params.msgpack`) disimpan secara terpisah sebagai file `.msgpack` dan dimuat sekali saat _startup_. Bobot ini juga bisa ditentukan sebagai jalur HuggingFace (default: `lillian039/t5-small-encoder`).

## Lisensi dan Penghargaan

_Repo_ ini berada di bawah lisensi MIT. Kamu bisa melihat file `LICENSE` untuk detail lebih lanjut. Jika kamu merasa karya ini berguna dalam penelitianmu, pertimbangkan untuk mengutip makalahnya. Kami juga berterima kasih kepada Google TPU Research Cloud (TRC) atas pemberian akses TPU. Kami berharap karya ini akan menjadi sumber daya yang berguna bagi komunitas _open-source_.

## Referensi
https://github.com/lillian039/ELF

ELF (Efficient Language Framework) adalah kelas model bahasa difusi kontinu yang inovatif, memanfaatkan ruang embedding kontinu untuk memetakan token diskrit dan mengadaptasi teknik dari model difusi gambar.

Memahami ELF (Efficient Language Framework): Cara Kerja Model Bahasa Difusi Kontinu

Reggi

Solusi praktis integrasi webmail custom ke dalam dashboard Gmail. Kelola, baca, dan kirim email domain pribadi langsung dari satu tempat tanpa ribet gonta-ganti tab.

Mengapa Kamu Masih Buka Dua Tab Terpisah? Panduan Setup Custom Webmail Langsung di Dashboard Gmail

Pelajari efisiensi merakit mesin tetas telur listrik AC otomatis dengan modal murah untuk mendongkrak hasil ternak unggas tanpa repot bolak-balik telur manual.

Otomasi Ternak Unggas: Kenapa Rakit Sendiri Mesin Penetas Telur AC Jauh Lebih Worth It Dibanding Cara Konvensional?

Pelajari bagaimana mesin tetas telur berbasis arus listrik DC bekerja menjaga suhu dan kelembapan ideal untuk mendongkrak keberhasilan penetasan telur unggas.

Mesin Tetas Telur Arus DC: Solusi Hardware Murah Buat Tingkatin Angka Penetasan Unggas

Kupas tuntas seluk-beluk mobil aki anak dengan kontrol ganda dan fitur multimedia. Pahami batas spesifikasi hardware sebelum eksekusi build sendiri.

EV Versi Mini: Membedah Mobil Listrik Aki Lengkap dengan Remote Control dan Fitur Multimedia

Pelajari cara merakit smart power strip berbasis NodeMCU dan Blynk untuk kontrol daya nirkabel serta integrasi IoT yang aman dan efisien.

Mengapa Beli Mahal Kalau Bisa Bikin Sendiri? Rancang Smart Power Strip Berbasis NodeMCU dan Blynk

Solusi tuntas mengatasi bug sistem dan software bermasalah di MacBook dengan panduan install ulang macOS lewat Internet Recovery secara aman.

#diffusion-model

Getting Lastest Post..

Populer Bulan Ini