Mengintip Otak di Balik Feed 'For You' X: x-algorithm by xAI

Pernahkah Anda bertanya-tanya bagaimana feed "For You" di X bisa tahu persis apa yang ingin Anda lihat? Di balik setiap scroll dan post yang muncul, ada sistem rekomendasi yang rumit bekerja. Jantung dari sistem ini adalah x-algorithm by xAI, sebuah upaya ambisius dari xAI untuk membuat pengalaman pengguna X menjadi lebih relevan dan dinamis. Algoritma ini dirancang untuk memadukan konten dari akun yang Anda ikuti dengan penemuan konten baru dari seluruh dunia, semuanya diorkestrasi oleh model transformer berbasis Grok.

Otak di Balik Layar: Model Transformer Grok-based Phoenix

Inti dari x-algorithm by xAI adalah model transformer yang diberi nama Phoenix. Model ini merupakan adaptasi dari teknologi transformer Grok milik xAI, yang dikustomisasi khusus untuk kasus penggunaan sistem rekomendasi. Phoenix bertugas memprediksi probabilitas keterlibatan Anda dengan setiap post. Bayangkan seperti ini, Anda menyukai, membalas, atau membagikan suatu post, dan Phoenix belajar dari itu. Ia menggunakan sejarah interaksi Anda untuk menentukan post mana yang paling relevan.

Tim di balik algoritma ini telah menghilangkan semua fitur yang dibuat secara manual dan sebagian besar heuristik dari sistem. Ini berarti model Grok-based transformer melakukan semua pekerjaan berat, belajar dari urutan keterlibatan pengguna untuk memahami relevansi tanpa campur tangan manual yang rumit. Pendekatan ini secara signifikan mengurangi kompleksitas dalam pipeline data dan infrastruktur serving.

Membedah Arsitektur: Pipeline End-to-End

Untuk menjalankan semua itu, x-algorithm menggunakan arsitektur pipeline yang terdiri dari beberapa komponen dan tahapan. Ini seperti sebuah pabrik perakitan post, di mana setiap post melewati serangkaian proses sebelum akhirnya disajikan kepada Anda. Sistem ini memanfaatkan kerangka kerja recommendation_pipeline yang fleksibel.

Thunder: Penjaga Konten In-Network

Pertama, ada layanan bernama Thunder. Ini adalah post store dalam memori dengan pipeline ingestion realtime yang melacak post terbaru dari semua pengguna. Thunder melakukan beberapa tugas penting, termasuk:

Mengonsumsi event pembuatan atau penghapusan post dari Kafka.
Mempertahankan penyimpanan post per pengguna untuk post asli, balasan/repost, dan post video.
Menyajikan kandidat post "in-network" dari akun yang diikuti pengguna.
Secara otomatis memangkas post yang lebih tua dari periode retensi.

Thunder memungkinkan pencarian konten in-network dalam waktu kurang dari milidetik, tanpa perlu mengakses basis data eksternal.

Phoenix: Penjelajah Konten Out-of-Network dan Prediktor Engagement

Komponen ML Phoenix memiliki dua fungsi utama:

Menemukan Post Out-of-Network yang Relevan:
- UserEmbedding: Mengkodekan fitur pengguna dan riwayat keterlibatan ke dalam embedding.
- PostEmbedding: Mengkodekan semua post ke dalam embedding.
- Mengambil post top-K melalui kesamaan dot product.
Memprediksi Probabilitas Keterlibatan untuk Setiap Kandidat:
- Mengambil konteks pengguna (riwayat keterlibatan) dan kandidat post sebagai masukan.
- Menggunakan attention masking khusus sehingga kandidat tidak dapat memperhatikan satu sama lain.
- Mengeluarkan probabilitas untuk setiap jenis tindakan (suka, balas, repost, klik).

Home Mixer: Komposer Feed Anda

Home mixer adalah lapisan orkestrasi yang merakit feed "For You". Ia memanfaatkan kerangka kerja recommendation_pipeline dengan serangkaian tahapan yang terdefinisi dengan baik. Server mengekspos endpoint gRPC (/x/v1/feed) yang mengembalikan post yang telah diranking untuk pengguna tertentu.

Tahapan Pipeline "For You" yang Lebih Dalam

Kerangka kerja recommendation_pipeline ini mendefinisikan trait untuk Source, Hydrator, Filter, dan Scorer. Kerangka kerja ini menjalankan source dan hydrator secara paralel bila memungkinkan, dengan penanganan kesalahan dan pencatatan yang dapat dikonfigurasi. Berikut adalah tahapan-tahapan yang dilalui sebuah post:

Context Fetchers: Mengambil riwayat keterlibatan pengguna dan metadata (misalnya daftar following).
Candidate Sources: Mengambil kandidat dari Thunder (konten in-network) dan Phoenix (konten out-of-network).
Hydrators: Memperkaya kandidat dengan data post inti (teks, media), informasi penulis, dan durasi video (untuk post video).
Filters: Menghapus post yang tidak diinginkan, seperti dari diri sendiri, dari akun yang diblokir/dibisukan, yang mengandung kata kunci dibisukan, yang sudah pernah dilihat, atau konten langganan yang tidak memenuhi syarat.
Scorers: Menerapkan beberapa scorer secara berurutan:
- PhoenixScorer: Mendapatkan prediksi ML dari model transformer Phoenix.
- EngagementScorer: Menggabungkan prediksi menjadi skor relevansi akhir.
- DiversityScorer: Mengurangi skor penulis yang berulang untuk keberagaman.
- OonRelevanceScorer: Menyesuaikan skor untuk konten out-of-network.
Ranker: Menyortir berdasarkan skor dan memilih kandidat top K.
Validator: Validasi akhir kandidat post yang akan disajikan.

Bagaimana Konten Diberi Skor: Multi-Aksi dan Bobot

Model transformer Phoenix tidak hanya memprediksi satu skor "relevansi", tetapi probabilitas untuk berbagai jenis keterlibatan: suka, repost, bagikan, balas, klik, blokir, bisukan, dan laporkan.

EngagementScorer menggabungkan probabilitas ini menjadi skor akhir dengan rumus: score = w_like * p_like + w_repost * p_repost + ...

Di sini, w adalah bobot dan p adalah probabilitas. Tindakan positif (suka, repost, bagikan) memiliki bobot positif. Tindakan negatif (blokir, bisukan, laporkan) memiliki bobot negatif, mendorong turun konten yang kemungkinan tidak disukai pengguna.

Prinsip Desain Utama yang Perlu Kamu Tahu

Ada lima prinsip desain penting yang menonjol dalam x-algorithm by xAI:

Tidak Ada Fitur Rekayasa Manual: Sistem sepenuhnya bergantung pada transformer Grok-based untuk mempelajari relevansi dari urutan keterlibatan pengguna. Tidak ada rekayasa fitur manual untuk relevansi konten, yang mengurangi kompleksitas pipeline data dan infrastruktur serving.
Isolasi Kandidat dalam Ranking: Selama inferensi transformer, kandidat tidak dapat memperhatikan satu sama lain, hanya konteks pengguna. Ini memastikan skor untuk sebuah post tidak bergantung pada post lain dalam batch, membuat skor konsisten dan dapat di-cache.
Embeddings Berbasis Hash: Baik retrieval maupun ranking menggunakan beberapa fungsi hash untuk pencarian embedding.
Prediksi Multi-Aksi: Model memprediksi probabilitas untuk banyak tindakan, bukan hanya satu skor "relevansi".
Arsitektur Pipeline yang Dapat Dikomposisikan: Crate recommendation_pipeline menyediakan kerangka kerja fleksibel untuk membangun pipeline rekomendasi dengan pemisahan eksekusi pipeline dan pemantauan dari logika bisnis, eksekusi paralel tahapan independen, penanganan kesalahan yang anggun, serta penambahan source, hydration, filter, dan scorer yang mudah.

Update Terkini (Mei 2026): Apa Saja yang Baru?

Pada tanggal 15 Mei 2026, x-algorithm by xAI menerima pembaruan signifikan yang memperkuat kemampuannya. Berikut adalah beberapa komponen dan fitur baru yang diperkenalkan:

Komponen/Fitur Baru	Deskripsi Detail
Kode Algoritma Diperbarui	Termasuk pipeline inferensi end-to-end yang dapat dijalankan.
`run_full_pipeline.py`	Menggantikan skrip `retrieval.py` dan `ranking.py` terpisah dengan satu titik masuk.
Model Mini Phoenix (Pre-trained)	Model mini Phoenix yang telah dilatih (embedding 256-dim, 4 attention heads, 2 lapisan transformer) berukuran sekitar 3 GB. Didistribusikan melalui Git LFS, memungkinkan inferensi out-of-the-box.
`content_understanding_service`	Menyediakan classifier, embedder, dan task-execution engine untuk beban kerja pemahaman konten seperti deteksi spam, klasifikasi kategori post, dan penegakan kebijakan PTOS.
`ads_module`	Modul untuk injeksi dan penempatan iklan di dalam feed, termasuk pelacakan keamanan merek yang menghormati batasan konten sensitif.
Hidrator Home Mixer	Kini menghidrasi konteks pengguna termasuk topik yang diikuti, starter packs, impression bloom filters, IP, grafik mutual follow, dan riwayat yang disajikan.
Hidrator Tambahan	Untuk jumlah engagement, sinyal keamanan merek, kode bahasa, deteksi media, ekspansi quote post, skor mutual follow, dan banyak lagi.
Sumber Konten Baru	Menambah sumber untuk iklan, siapa yang harus diikuti, Phoenix MoE, topik Phoenix, prompt. Juga memperbarui sumber Thunder/Phoenix.

x-algorithm by xAI yang menggerakkan feed "For You" di X adalah contoh nyata dari bagaimana teknologi pembelajaran mesin mutakhir dapat menciptakan pengalaman pengguna yang sangat dipersonalisasi. Dengan arsitektur yang canggih, model transformer Grok-based, dan pipeline yang dapat dikomposisikan, X terus berinovasi untuk menyajikan konten yang relevan dan menarik bagi penggunanya.