Di dunia teknologi suara yang terus berkembang, muncullah pemain baru yang mengubah cara kita berinteraksi dengan AI suara. Perkenalkan **Voicebox: A Multi-lingual Text-to-Speech Model**, sebuah studio suara AI sumber terbuka yang beroperasi secara lokal di mesin Anda. Aplikasi ini menawarkan alternatif gratis untuk layanan seperti ElevenLabs dan WisprFlow, menggabungkan kemampuan input dan output suara dalam satu paket.

## Apa itu Voicebox?

Voicebox adalah studio suara AI **lokal-first** yang berarti semua model, data suara, dan rekaman tetap berada di mesin Anda. Ini memastikan privasi lengkap. Anda dapat mengkloning suara hanya dari beberapa detik audio, lalu menghasilkan ucapan dalam 23 bahasa menggunakan tujuh mesin Text-to-Speech (TTS) berbeda. Aplikasi ini juga memungkinkan Anda mendikte ke bidang teks mana pun dengan hotkey global, serta memberikan suara pilihan Anda kepada agen AI yang kompatibel.

Voicebox mengambil peran yang biasanya dipegang oleh dua layanan cloud terpisah. ElevenLabs fokus pada output suara, sementara WisprFlow mengelola input. Voicebox menggabungkan keduanya, menjembataninya dengan LLM lokal untuk penyempurnaan dan persona per-profil, semuanya berjalan di komputer Anda.

## Fitur Unggulan Voicebox

Voicebox menghadirkan berbagai fitur canggih yang meningkatkan kemampuan Anda dalam mengelola suara digital:

### Kloning Suara Multi-Mesin dan Banyak Bahasa

Voicebox menyediakan tujuh mesin TTS, masing-masing dengan keunggulan tersendiri, yang dapat Anda gunakan sesuai kebutuhan. Aplikasi ini mendukung kloning suara zero-shot dari sampel referensi, dan menawarkan lebih dari 50 suara preset yang dikurasi melalui Kokoro serta Qwen CustomVoice. Anda juga dapat menghasilkan ucapan dalam 23 bahasa, mulai dari Inggris hingga Arab, Jepang, Hindi, dan Swahili.

Berikut adalah detail dari beberapa mesin TTS yang tersedia:

| Mesin                  | Bahasa      | Keunggulan                                                                                                                                              |
| :--------------------- | :---------- | :------------------------------------------------------------------------------------------------------------------------------------------------------ |
| Qwen3-TTS              | 10          | Kloning multibahasa berkualitas tinggi, instruksi pengiriman ("speak slowly", "whisper")                                                                |
| Qwen CustomVoice       | 10          | 9 suara preset yang dikurasi dengan kontrol pengiriman bahasa alami, tidak memerlukan audio referensi                                                   |
| LuxTTS                 | Inggris     | Ringan (~1GB VRAM), output 48kHz, 150x realtime di CPU                                                                                                  |
| Chatterbox Multilingual| 23          | Cakupan bahasa terluas, termasuk Arab, Denmark, Finlandia, Yunani, Ibrani, Hindi, Melayu, Norwegia, Polandia, Swahili, Swedia, Turki, dan lainnya          |
| Chatterbox Turbo       | Inggris     | Model 350M cepat dengan tag emosi/suara paralinguistik                                                                                                  |
| TADA                   | 10          | Model bahasa ucapan HumeAI, audio koheren lebih dari 700 detik, penjajaran ganda teks-akustik                                                           |
| Kokoro                 | 8           | 50 suara preset yang dikurasi, model 82M kecil, inferensi CPU cepat                                                                                   |

Perlu diingat, hanya **Chatterbox Turbo** yang menginterpretasikan tag paralinguistik seperti `[laugh]` atau `[sigh]`. Mesin lain akan membacanya secara harfiah sebagai teks. Anda dapat menggunakan tanda `/` di input teks untuk menyisipkan tag ekspresif seperti `[chuckle]`, `[gasp]`, atau `[clear throat]`.

### Efek Suara Post-Processing

Voicebox dilengkapi dengan delapan efek audio yang ditenagai oleh pustaka `pedalboard` dari Spotify. Anda dapat menerapkan efek ini setelah generasi suara, mempratinjaunya secara real-time, dan membuat preset yang dapat digunakan kembali. Efek-efek ini juga dapat ditetapkan sebagai default per-profil.

Berikut adalah daftar efek yang tersedia:

| Efek                 | Deskripsi                                                        |
| :------------------- | :--------------------------------------------------------------- |
| Pitch Shift          | Mengubah nada naik atau turun hingga 12 semitone                 |
| Reverb               | Ukuran ruangan, redaman, campuran basah/kering yang dapat dikonfigurasi |
| Delay                | Gema dengan waktu, umpan balik, dan campuran yang dapat disesuaikan |
| Chorus / Flanger     | Penundaan yang dimodulasi untuk tekstur metalik atau mewah       |
| Compressor           | Kompresi rentang dinamis                                         |
| Gain                 | Penyesuaian volume (-40 hingga +40 dB)                           |
| High-Pass Filter     | Menghilangkan frekuensi rendah                                   |
| Low-Pass Filter      | Menghilangkan frekuensi tinggi                                   |

Aplikasi ini hadir dengan empat preset bawaan seperti Robotic, Radio, Echo Chamber, dan Deep Voice.

### Input & Output Suara Agen AI

Voicebox mengelola kedua sisi loop I/O suara. Anda dapat menggunakan **hotkey diktasi global** untuk berbicara, dan transkrip akan langsung ditempelkan ke bidang teks yang aktif (didukung di macOS). Fitur ini juga menyertakan LLM opsional untuk membersihkan "ums", gagap, dan permulaan yang salah sebelum ditempel.

Untuk **output suara agen AI**, agen yang mendukung Model Context Protocol (MCP) seperti Claude Code atau Cursor dapat berbicara kepada Anda menggunakan suara yang telah Anda kloning, cukup dengan satu panggilan `voicebox.speak`. Voicebox menampilkan "pill" di layar untuk menunjukkan status perekaman, transkripsi, penyempurnaan, atau berbicara, baik untuk diktasi maupun saat agen berbicara.

```jsx
// Dalam agen yang kompatibel dengan MCP:
await voicebox.speak({
  text: "Penyebaran telah selesai.",
  profile: "Morgan",
});
```

### Manajemen Suara dan Cerita

Voicebox memungkinkan Anda membuat profil suara dari file audio atau merekam langsung di aplikasi. Anda dapat mengelola profil dengan deskripsi dan tag bahasa, serta mengimpor atau mengekspornya. Fitur **Stories editor** menyediakan lini masa multi-track untuk menyusun percakapan, podcast, atau narasi, dengan kemampuan drag-and-drop, pemotongan, dan pembagian audio.

Setiap generasi suara mendukung beberapa versi: `Original` (output TTS bersih), `Effects versions` (rantai efek berbeda), `Takes` (regenerasi dengan seed baru untuk variasi), `Source tracking`, dan `Favorites`.

### Dukungan LLM Lokal & Privasi Penuh

Voicebox menawarkan **privasi lengkap**. Semua model, data suara, dan rekaman tetap berada di mesin Anda. Ini sangat penting untuk menjaga kerahasiaan. Voicebox menyertakan LLM Qwen3 lokal (0.6B / 1.7B / 4B) yang berbagi runtime dengan TTS dan STT. LLM ini mendukung fitur **Persona Suara**, di mana Anda dapat melampirkan kepribadian bebas ke profil suara mana pun. Ini memungkinkan Anda untuk `Compose` (menghasilkan baris dalam karakter) atau `Speak in character` (menulis ulang teks masukan melalui LLM persona sebelum TTS).

### Performa dan Kompatibilitas Lintas Platform

Voicebox dibangun dengan Tauri (Rust) untuk **performa asli**, bukan Electron. Ini memastikan pengalaman pengguna yang lebih cepat dan responsif. Aplikasi ini berjalan di berbagai platform dengan dukungan GPU yang luas:

| Platform               | Backend                | Catatan                                                              |
| :--------------------- | :--------------------- | :------------------------------------------------------------------- |
| macOS (Apple Silicon)  | MLX (Metal)            | 4-5x lebih cepat melalui Neural Engine                               |
| Windows / Linux (NVIDIA) | PyTorch (CUDA)         | Mengunduh biner CUDA secara otomatis dari dalam aplikasi               |
| Linux (AMD)            | PyTorch (ROCm)         | Mengonfigurasi HSA_OVERRIDE_GFX_VERSION secara otomatis               |
| Windows (GPU apa pun)  | DirectML               | Dukungan GPU Windows universal                                       |
| Intel Arc              | IPEX/XPU               | Akselerasi GPU diskrit Intel                                         |
| Apa pun                | CPU                    | Berfungsi di mana saja, tetapi lebih lambat                         |

Untuk fitur Speech-to-Text (STT), Voicebox menggunakan **OpenAI Whisper** (Base / Small / Medium / Large, serta Turbo yang sekitar 8x lebih cepat dari Whisper Large). STT ini berjalan di MLX (Apple Silicon) atau PyTorch (CUDA / ROCm / DirectML / CPU) tergantung platform Anda.

## Integrasi API dan MCP

Voicebox menyediakan **REST API** untuk mengintegrasikan I/O suara ke dalam aplikasi dan agen Anda sendiri. Ini memungkinkan pengembang untuk memanfaatkan fungsionalitas Voicebox secara terprogram.

```bash
# Menghasilkan ucapan
curl -X POST http://127.0.0.1:17493/generate \
  -H "Content-Type: application/json" \
  -d '{"text": "Halo dunia", "profile_id": "abc123", "language": "en"}'

# Output suara agen ,  aplikasi atau skrip apa pun dapat berbicara dengan suara yang dikloning
curl -X POST http://127.0.0.1:17493/speak \
  -H "Content-Type: application/json" \
  -H "X-Voicebox-Client-Id: skrip-saya" \
  -d '{"text": "Penyebaran telah selesai.", "profile": "Morgan"}'

# Mentranskripsikan file audio
curl -X POST http://127.0.0.1:17493/transcribe \
  -F "audio=@rekaman.wav" \
  -F "model=whisper-turbo"
```

Voicebox juga dilengkapi server **Model Context Protocol (MCP)** bawaan. Ini memungkinkan agen yang kompatibel dengan MCP (seperti Claude Code, Cursor, Windsurf, Cline, atau ekstensi VS Code MCP) untuk berbicara, mentranskripsi, dan menjelajahi rekaman serta profil suara. Pengikatan suara per-klien dapat dikelola di pengaturan Voicebox.

## Melihat ke Masa Depan: Roadmap Voicebox

Pengembang Voicebox memiliki rencana ambisius untuk masa depan. Beberapa fitur yang ada di **roadmap** meliputi:

*   **Windows / Linux auto-paste**: Untuk paritas penempelan diktasi.
*   **Perluasan mesin STT**: Menambahkan Parakeet v3 dan Qwen3-ASR untuk cakupan bahasa yang lebih luas dan kualitas non-Inggris yang lebih baik.
*   **Routing pipeline**: Rantai sumber → transformasi → sink yang dapat dikonfigurasi.
*   **Transkripsi streaming**: `WebSocket /transcribe/stream` untuk transkripsi parsial saat Anda berbicara.
*   **LLM pidato ujung-ke-ujung**: Model seperti Moshi, GLM-4-Voice, Qwen2.5 Omni untuk suara-ke-suara tanpa teks perantara.
*   **Desain suara**: Membuat suara baru dari deskripsi teks.
*   **Perekaman jangka panjang**: Perekam dual-stream (mikrofon + audio sistem) dengan transformasi LLM ringkasan.
*   **Sinks platform**: Integrasi opt-in dengan Apple Notes, Obsidian, dan lainnya.
*   **Arsitektur plugin**: Memperluas dengan model, transformasi, dan sink kustom.
*   **Pendamping seluler**: Mengontrol Voicebox dari ponsel Anda.

## Memulai dengan Voicebox

Anda bisa mengunduh Voicebox untuk macOS, Windows, atau Docker langsung dari situs web mereka. Pengguna Linux saat ini perlu membangun dari sumber. Jika Anda seorang pengembang, Voicebox menawarkan alur kerja yang mudah untuk memulai:

```bash
git clone https://github.com/jamiepine/voicebox.git
cd voicebox
just setup # membuat Python venv, menginstal semua dependensi
just dev   # memulai backend + aplikasi desktop
```

Pastikan Anda memiliki Bun, Rust, Python 3.11+, dan Xcode (di macOS) sebagai prasyarat.

Voicebox bukan hanya alat. Ini adalah ekosistem suara yang berjalan di mesin Anda, memberikan kekuatan kloning suara, sintesis multibahasa, diktasi, dan integrasi agen AI, semua dengan privasi penuh.

## Referensi
https://github.com/jamiepine/voicebox

Voicebox adalah studio suara AI lokal dan open-source yang memungkinkan Anda mengkloning suara, menghasilkan ucapan dalam 23 bahasa, mendikte teks, dan memberikan suara pada agen AI, semuanya berjalan di mesin Anda.

Voicebox: Studio Suara AI Lokal yang Multifungsi dan Multi-bahasa

Reggi

Di dunia teknologi suara, ada sebuah proyek yang menarik perhatian, yaitu **OmniVoice: High-fidelity Voice Cloning and Generation**. Model Text-to-Speech (TTS) ini bukan sekadar alat konversi teks biasa. OmniVoice dirancang untuk mendukung lebih dari 600 bahasa, menjadikannya salah satu model TTS *zero-shot* multibahasa yang paling luas cakupannya. Dengan arsitektur berbasis *diffusion language model* yang baru, OmniVoice menjanjikan suara berkualitas tinggi dan kecepatan inferensi yang superior, bahkan mendukung fitur kloning suara dan desain suara yang kuat.

## Fitur Unggulan OmniVoice

OmniVoice membawa beberapa kemampuan kunci yang membedakannya dari model TTS lain. Ini mencakup cakupan bahasa yang sangat luas dan kualitas kloning suara yang tinggi. Selain itu, OmniVoice juga menawarkan kecepatan dan kontrol yang baik atas suara yang dihasilkan.

Berikut adalah gambaran fitur utama OmniVoice:

| Fitur Utama            | Deskripsi                                                                                                          |
| :--------------------- | :----------------------------------------------------------------------------------------------------------------- |
| **Dukungan Bahasa**    | Lebih dari 600 bahasa, menjadikannya model TTS *zero-shot* dengan cakupan terluas.                                |
| **Kloning Suara**      | Kualitas kloning suara terbaik dengan akurasi tinggi dari audio referensi singkat (3-10 detik).                    |
| **Desain Suara**       | Kontrol atribut suara seperti gender, usia, nada, kecepatan, volume, dialek, aksen, atau bahkan bisikan.           |
| **Kontrol Non-Verbal** | Mengintegrasikan simbol non-verbal (misalnya `[LAUGH]`) dan koreksi pengucapan via pinyin atau fonem.             |
| **Kecepatan Inferensi**| Real-Time Factor (RTF) serendah 0.025, artinya 40 kali lebih cepat dari waktu nyata.                               |
| **Arsitektur**         | Dibangun di atas arsitektur *diffusion language model-style* yang bersih, ramping, dan skalabel.                   |

## Cara Menginstal OmniVoice

Jika kamu tertarik untuk mencoba OmniVoice, instalasinya cukup sederhana. Disarankan untuk menggunakan *virtual environment* baru, seperti `conda` atau `venv`, untuk menghindari konflik dependensi.

Untuk instalasi dasar, kamu bisa menjalankan perintah ini:

```bash
pip install omnivoice
```

OmniVoice juga mendukung GPU Intel Arc (arsitektur Alchemist dan Battlemage) melalui *backend* XPU PyTorch. Jika kamu menggunakan kartu ini, ikuti petunjuk instalasi PyTorch dengan dukungan XPU dari indeks *wheel* Intel. Setelah itu, kamu bisa memverifikasi apakah *backend* XPU berfungsi dengan `torch.xpu.is_available()`.

Untuk instalasi yang lebih lengkap, kamu bisa mengkloning repositori dan menginstal dependensi:

```bash
git clone https://github.com/k2-fsa/OmniVoice.git
cd OmniVoice
pip install -e .[full]
```

Jika kamu mengalami masalah saat mengunduh model *pre-trained* dari HuggingFace, coba atur variabel lingkungan `HF_ENDPOINT` ke *mirror* seperti ini:

```bash
export HF_ENDPOINT=https://hf-mirror.com
```

## Memulai Generasi Suara

OmniVoice menyediakan beberapa cara untuk memulai tanpa perlu banyak *coding*. Kamu bisa meluncurkan *web UI* lokal dengan perintah:

```bash
python -m omnivoice.webui
```

Atau, kamu bisa mencobanya langsung di HuggingFace Spaces atau melalui Google Colab yang seringkali lebih praktis.

OmniVoice mendukung tiga mode generasi utama:

### 1. Kloning Suara (Voice Cloning)

Mode ini memungkinkan kamu menduplikasi suara dari audio referensi singkat. Kamu hanya perlu memberikan jalur audio referensi (`ref_audio_path`) dan teks yang ingin diucapkan. Gunakan klip audio referensi sekitar 3 hingga 10 detik. Audio yang terlalu panjang dapat memperlambat inferensi dan menurunkan kualitas kloning.

Penting untuk dicatat, jika kamu melakukan kloning suara *cross-lingual* (audio referensi dan teks target berbeda bahasa), suara yang dihasilkan akan membawa aksen dari bahasa audio referensi. Untuk hasil terbaik dengan angka Arab, normalkan terlebih dahulu ke dalam kata-kata, misalnya "123" menjadi "seratus dua puluh tiga".

### 2. Desain Suara (Voice Design)

Jika kamu ingin mendesain suara tanpa audio referensi, mode ini cocok. Kamu bisa mendeskripsikan suara yang diinginkan dengan atribut speaker seperti `gender` (pria, wanita), `age` (anak-anak, muda, paruh baya, tua), `pitch` (sangat rendah hingga sangat tinggi), `speed` (lambat hingga cepat), `volume` (lembut hingga keras), `dialect/accent` (Amerika, British, Sichuan, Shaanxi, dll.), dan bahkan `whisper`. Atribut ini bisa digabungkan dengan dipisahkan koma.

Sebagai catatan, mode kloning suara lebih stabil karena model dilatih secara primer untuk tugas tersebut. Desain suara, meskipun dapat digeneralisasikan ke bahasa lain, terutama dilatih dengan data bahasa Mandarin dan Inggris. Ini bisa menghasilkan hasil yang kurang stabil untuk bahasa dengan sumber daya rendah atau kasus-kasus khusus.

### 3. Suara Otomatis (Auto Voice)

Mode paling sederhana. Kamu cukup memberikan teks, dan model akan secara otomatis memilih suara untuk mengucapkan teks tersebut.

### Kontrol Generasi Lanjut dan Pengucapan

Ketiga mode di atas menggunakan API `synthesize` yang sama. Kamu bisa mengontrol perilaku generasi lebih lanjut melalui argumen *keyword*, misalnya `output_sample_rate`.

OmniVoice juga mendukung kontrol non-verbal dan koreksi pengucapan. Kamu bisa menyertakan simbol non-verbal `[LAUGH]` langsung dalam teks untuk menambahkan suara ekspresif. Untuk koreksi pengucapan karakter spesifik, gunakan pinyin dengan angka nada. Kamu juga bisa menggunakan fonem (huruf kapital, dalam kurung siku) untuk menimpa pengucapan bahasa Inggris bawaan.

## OmniVoice untuk Skala Besar

OmniVoice juga menyediakan *command-line interface* (CLI) untuk berbagai fiturnya, termasuk kloning, desain, suara otomatis, dan parameter generasi. Ada tiga *entry point* CLI:

*   `omnivoice.webui`: Meluncurkan antarmuka web.
*   `omnivoice.cli`: Alat CLI serbaguna.
*   `omnivoice.batch`: Dirancang untuk tugas TTS skala besar, mampu mendistribusikan inferensi *batch* di beberapa GPU.

Untuk inferensi *batch*, kamu perlu menyiapkan file JSONL di mana setiap baris adalah objek JSON. Bidang `text` dan `output_path` adalah wajib. Kamu bisa menyertakan `ref_audio_path` untuk kloning suara atau `instruct` untuk desain suara. Jika keduanya tidak disediakan, model akan menghasilkan teks dengan suara acak. Parameter seperti `output_length` (dalam detik) dapat memperbaiki panjang output, dan `speed_factor` mengontrol kecepatan bicara.

## Catatan Etis Penggunaan

Para pengembang OmniVoice sangat menganjurkan penggunaan AI yang bertanggung jawab. Pengguna dilarang keras menggunakan model ini untuk kloning suara yang tidak sah, peniruan suara, penipuan, skema, atau aktivitas ilegal atau tidak etis lainnya. Setiap pengguna wajib memastikan kepatuhan penuh terhadap hukum, peraturan, dan standar etika lokal yang berlaku. Pengembang tidak bertanggung jawab atas penyalahgunaan model ini dan mendorong komunitas untuk menjunjung tinggi prinsip keamanan dan etika dalam penelitian serta aplikasi AI.

## Referensi
https://github.com/k2-fsa/OmniVoice

OmniVoice adalah model text-to-speech yang mendukung lebih dari 600 bahasa untuk kloning dan desain suara, dibangun dengan arsitektur diffusion language model. Ia menghasilkan suara berkualitas tinggi dengan kecepatan inferensi yang superior.

Mengenal OmniVoice: Model Text-to-Speech Cepat untuk Kloning dan Desain Suara

Solusi praktis integrasi webmail custom ke dalam dashboard Gmail. Kelola, baca, dan kirim email domain pribadi langsung dari satu tempat tanpa ribet gonta-ganti tab.

Mengapa Kamu Masih Buka Dua Tab Terpisah? Panduan Setup Custom Webmail Langsung di Dashboard Gmail

Pelajari efisiensi merakit mesin tetas telur listrik AC otomatis dengan modal murah untuk mendongkrak hasil ternak unggas tanpa repot bolak-balik telur manual.

Otomasi Ternak Unggas: Kenapa Rakit Sendiri Mesin Penetas Telur AC Jauh Lebih Worth It Dibanding Cara Konvensional?

Pelajari bagaimana mesin tetas telur berbasis arus listrik DC bekerja menjaga suhu dan kelembapan ideal untuk mendongkrak keberhasilan penetasan telur unggas.

Mesin Tetas Telur Arus DC: Solusi Hardware Murah Buat Tingkatin Angka Penetasan Unggas

Kupas tuntas seluk-beluk mobil aki anak dengan kontrol ganda dan fitur multimedia. Pahami batas spesifikasi hardware sebelum eksekusi build sendiri.

EV Versi Mini: Membedah Mobil Listrik Aki Lengkap dengan Remote Control dan Fitur Multimedia

Pelajari cara merakit smart power strip berbasis NodeMCU dan Blynk untuk kontrol daya nirkabel serta integrasi IoT yang aman dan efisien.

Mengapa Beli Mahal Kalau Bisa Bikin Sendiri? Rancang Smart Power Strip Berbasis NodeMCU dan Blynk

Solusi tuntas mengatasi bug sistem dan software bermasalah di MacBook dengan panduan install ulang macOS lewat Internet Recovery secara aman.

#text-to-speech

Getting Lastest Post..

Populer Bulan Ini