Skyvern AI: Mengotomatiskan Alur Kerja Browser dengan Kekuatan LLM dan Visi Komputer

Dulu, mengotomatiskan tugas di browser adalah pekerjaan yang rumit. Para developer harus menulis skrip khusus, sering kali bergantung pada parsing DOM dan interaksi berbasis XPath. Masalahnya, metode ini gampang rusak kalau ada sedikit saja perubahan pada tata letak situs. Bayangkan saja, website diperbarui sedikit, skripmu langsung tidak berfungsi. Nah, sekarang ada Skyvern AI, sebuah platform yang mengubah cara kita memandang otomatisasi browser.

Skyvern AI hadir untuk membuat otomatisasi ini lebih pintar dan tangguh. Mereka menggunakan kombinasi Large Language Models (LLM) dan komputer vision untuk memahami dan berinteraksi dengan situs web. Jadi, daripada hanya mengandalkan kode dan XPath, Skyvern AI bisa "melihat" dan "belajar" bagaimana berinteraksi dengan sebuah halaman, mirip seperti manusia. Skyvern AI juga menyediakan SDK yang kompatibel dengan Playwright, menambahkan kemampuan AI di atasnya. Selain itu, ada juga no-code workflow builder untuk membantu pengguna teknis maupun non-teknis membangun alur kerja otomatis di situs web mana pun.

Bagaimana Skyvern AI Bekerja?

Inspirasi di balik Skyvern AI datang dari desain agen otonom Task-Driven yang dipopulerkan oleh BabyAGI dan AutoGPT. Namun, Skyvern AI memiliki keunggulan besar, yaitu kemampuan untuk berinteraksi langsung dengan situs web melalui pustaka otomatisasi browser seperti Playwright.

Skyvern AI menggunakan sekumpulan agen untuk memahami sebuah situs web, merencanakan, lalu mengeksekusi tindakannya. Pendekatan ini menawarkan beberapa keuntungan penting:

Beroperasi di situs baru: Skyvern AI dapat berfungsi di situs web yang belum pernah dilihat sebelumnya. Ia mampu memetakan elemen visual ke tindakan yang diperlukan untuk menyelesaikan alur kerja, tanpa perlu kode khusus.
Tahan perubahan tata letak: Sistem ini kebal terhadap perubahan tata letak situs web. Tidak ada XPath atau selektor pra-ditentukan yang dicari oleh sistem saat menavigasi.
Satu alur kerja, banyak situs: Skyvern AI dapat mengambil satu alur kerja dan menerapkannya ke banyak situs web. Ini karena kemampuannya untuk menalar interaksi yang diperlukan guna menyelesaikan alur kerja.

Kamu bisa menemukan laporan teknis yang lebih detail tentang kinerja dan cara kerjanya.

Mulai dengan Skyvern AI

Ada beberapa cara untuk mulai menggunakan Skyvern AI, baik melalui versi cloud terkelola mereka atau menjalankannya secara lokal.

Skyvern Cloud

Skyvern Cloud adalah versi terkelola yang memungkinkanmu menjalankan Skyvern tanpa perlu repot memikirkan infrastruktur. Kamu bisa menjalankan beberapa instance Skyvern secara paralel. Versi ini juga dilengkapi mekanisme anti-bot, jaringan proxy, dan pemecah CAPTCHA. Jika tertarik mencobanya, kamu bisa mendaftar di app.skyvern.com.

Jalankan Secara Lokal (UI + Server)

Untuk instalasi lokal, kamu bisa memilih antara pengaturan berbasis pip (Python) atau Docker Compose. Secara default, Skyvern menggunakan database SQLite. Jika ingin memakai Postgres, kamu bisa menambah flag --postgres atau menggunakan Docker Compose.

Opsi A: pip install (Direkomendasikan untuk pengaturan lokal yang dikelola Python)

Dependensi	Keterangan
Python	Versi 3.11, 3.12, atau 3.13
Rust (untuk Windows)	Diperlukan untuk instalasi di Windows
VS Code dengan C++ dev tools & Windows SDK	Diperlukan untuk instalasi di Windows

Langkah-langkahnya:

Instal Skyvern:
```
bash
pip install "skyvern[all]"
```
Jalankan Skyvern:
```
bash
skyvern quickstart
```
Untuk database Postgres lokal, tambahkan --postgres:
```
bash
skyvern quickstart --postgres
```

Opsi B: Docker Compose

Pilih opsi ini jika kamu ingin semuanya dalam container (Postgres, API, UI) dan tidak ingin menginstal Python/Node secara lokal.

Instal Docker Desktop.

Clone repositori:

bash
git clone https://github.com/skyvern-ai/skyvern.git
cd skyvern

Konfigurasi penyedia LLM di .env:

bash
cp .env.example .env
# edit .env untuk menambahkan kunci API LLM Anda

Mulai semuanya:
```
bash
docker compose up -d
```
Setelah itu, buka http://localhost:8080.

Jika kamu mengalami masalah seperti (sqlite3.OperationalError) table organizations already exists, itu adalah bug di skyvern==1.0.31. Solusinya adalah menghapus file SQLite yang tersisa (rm ~/.skyvern/data.db) lalu upgrade Skyvern (pip install --upgrade skyvern).

SDK Skyvern AI: Otomatisasi Playwright yang Diperkuat AI

Skyvern hadir sebagai ekstensi Playwright yang menambahkan otomatisasi browser bertenaga AI. Ini memberimu kekuatan penuh Playwright dengan kemampuan AI tambahan. Kamu bisa menggunakan natural language prompts untuk berinteraksi dengan elemen, mengekstrak data, dan mengotomatiskan alur kerja multi-langkah yang kompleks.

Instalasi SDK

Python SDK / Cloud API:
```
bash
pip install skyvern
```

Local server + UI terpaket:

bash
pip install "skyvern[all]"
skyvern quickstart

TypeScript:
```
bash
npm install @skyvern/client
```

Perintah Halaman Berbasis AI

Skyvern menambahkan empat perintah AI inti langsung ke objek page Playwright:

Perintah	Deskripsi
`page.act(prompt)`	Melakukan tindakan menggunakan bahasa alami (misalnya, "Klik tombol login")
`page.extract(prompt, schema)`	Mengekstrak data terstruktur dari halaman dengan skema JSON opsional
`page.validate(prompt)`	Memvalidasi status halaman, mengembalikan `bool` (misalnya, "Periksa apakah pengguna sudah login")
`page.prompt(prompt, schema)`	Mengirimkan prompt arbitrer ke LLM dengan skema respons opsional

Selain itu, page.agent menyediakan perintah alur kerja tingkat tinggi:

Perintah	Deskripsi
`page.agent.run_task(prompt)`	Mengeksekusi tugas multi-langkah yang kompleks
`page.agent.login(credential_type, credential_id)`	Mengautentikasi dengan kredensial yang tersimpan (Skyvern, Bitwarden, 1Password)
`page.agent.download_files(prompt)`	Menavigasi dan mengunduh file
`page.agent.run_workflow(workflow_id)`	Mengeksekusi alur kerja yang sudah dibuat sebelumnya

Aksi Playwright yang Ditingkatkan AI

Semua tindakan Playwright standar mendukung parameter prompt opsional untuk lokasi elemen bertenaga AI. Ada tiga mode interaksi:

Playwright Tradisional: Menggunakan selektor CSS/XPath.
```
python
await page.click("#submit-button")
```

Bertenaga AI: Menggunakan bahasa alami.

python
await page.click(prompt="Click the green Submit button")

AI Fallback: Mencoba selektor dulu, jatuh ke AI jika gagal.

python
await page.click("#submit-btn", prompt="Click the Submit button")

Contoh SDK Python:

python
from skyvern import Skyvern

# Mode Lokal
skyvern = Skyvern.local()

# Atau terhubung ke Skyvern Cloud
# skyvern = Skyvern(api_key="your-api-key")

# Luncurkan browser dan dapatkan halaman
browser = await skyvern.launch_cloud_browser()
page = await browser.get_working_page()

# Gabungkan Playwright dengan aksi bertenaga AI
await page.goto("https://example.com")
await page.click("#login-button") # Playwright tradisional

await page.agent.login(credential_type="skyvern", credential_id="cred_123") # Login AI

await page.click(prompt="Add first item to cart") # Klik yang ditingkatkan AI

await page.agent.run_task("Complete checkout with: John Snow, 12345") # Tugas AI

Fitur Unggulan Skyvern AI

Skyvern AI bukan cuma tentang otomatisasi dasar, ia menawarkan berbagai fitur canggih yang membuatnya sangat powerful:

Skyvern Tasks: Ini adalah blok bangunan dasar di Skyvern, sebuah permintaan tunggal yang menginstruksikan Skyvern untuk menavigasi situs web dan mencapai tujuan tertentu. Kamu bisa menyertakan URL, prompt, skema data opsional, dan kode error.
Skyvern Workflows: Cara untuk merangkai beberapa task menjadi satu unit kerja yang kohesif. Misalnya, kamu bisa membuat alur kerja untuk mengunduh semua faktur yang lebih baru dari tanggal tertentu, atau mengotomatiskan proses pembelian produk di toko e-commerce. Fitur workflow mencakup Browser Task, Browser Action, Data Extraction, Validation, For Loops, File parsing, Sending emails, Text Prompts, HTTP Request Block, Custom Code Block, dan Uploading files to block storage. Kondisional akan segera hadir.
Livestreaming: Skyvern memungkinkanmu melihat viewport browser secara real-time ke mesin lokalmu. Ini berguna untuk debugging dan memahami bagaimana Skyvern berinteraksi dengan situs web, serta melakukan intervensi jika diperlukan.
Form Filling: Skyvern secara native mampu mengisi input formulir di situs web. Cukup berikan informasi melalui navigation_goal dan Skyvern akan mengisi formulir yang sesuai.
Data Extraction: Kemampuan untuk mengekstrak data dari situs web. Kamu bisa menentukan data_extraction_schema langsung di prompt utama untuk mendapatkan output terstruktur dalam format JSON.
File Downloading: Skyvern juga dapat mengunduh file dari situs web. Semua file yang diunduh secara otomatis diunggah ke block storage (jika dikonfigurasi) dan dapat diakses melalui UI.
Authentication: Mendukung berbagai metode autentikasi untuk mempermudah otomatisasi tugas di balik login, termasuk dukungan 2FA (TOTP, berbasis QR, email, SMS).
Password Manager Integrations: Skyvern terintegrasi dengan pengelola kata sandi populer seperti Bitwarden, 1Password, LastPass, dan juga Custom Credential Service (HTTP API).
Model Context Protocol (MCP): Skyvern mendukung MCP, yang memungkinkanmu menggunakan LLM apa pun yang mendukung protokol ini.
Integrasi Zapier / Make.com / N8N: Hubungkan alur kerja Skyvernmu ke aplikasi lain melalui integrasi ini.

LLM yang Didukung

Skyvern AI dirancang untuk bekerja dengan berbagai LLM populer:

Penyedia	Model yang Didukung
OpenAI	GPT-5.5, GPT-5.4, GPT-5, GPT-4.1, o3, o4-mini
Anthropic	Claude 4.7 Opus, Claude 4.6 (Sonnet, Opus), Claude 4.5 (Haiku, Sonnet, Opus)
Azure OpenAI	Semua model GPT yang di-deploy ke langganan Azuremu
AWS Bedrock	Claude 4.7, Claude 4.6 (Sonnet, Opus), Claude 4.5 (Sonnet, Opus)
Gemini	Gemini 3.1 Pro, Gemini 3 Flash, Gemini 2.5 Pro/Flash
Ollama	Jalankan model yang di-host secara lokal melalui Ollama
OpenRouter	Akses model melalui OpenRouter
OpenAI-compatible	Setiap endpoint API kustom yang mengikuti format API OpenAI (via `liteLLM`)

Contoh Nyata Penggunaan Skyvern AI

Orang-orang sudah mulai menggunakan Skyvern AI untuk berbagai otomatisasi di dunia nyata:

Mengunduh faktur dari berbagai situs web.
Mengotomatiskan proses lamaran pekerjaan.
Otomatisasi pengadaan material untuk perusahaan manufaktur.
Menavigasi situs web pemerintah untuk mendaftar akun atau mengisi formulir.
Mengisi formulir "hubungi kami" secara otomatis.
Mengambil penawaran asuransi dari berbagai penyedia dalam bahasa apa pun.

Skyvern AI juga melakukan benchmark dengan sangat baik. Mereka mencatat kinerja State-of-the-Art di benchmark WebBench dengan akurasi 64.4%, dan merupakan agen dengan kinerja terbaik untuk tugas WRITE (seperti mengisi formulir, login, mengunduh file) yang sangat relevan untuk Robotic Process Automation (RPA).

Skyvern AI adalah alat yang kuat untuk siapa pun yang ingin mengotomatiskan interaksi browser. Dengan pendekatan inovatif menggunakan LLM dan visi komputer, ia mengatasi kelemahan solusi otomatisasi tradisional, membuatnya lebih tangguh dan serbaguna. Baik kamu seorang developer yang mencari SDK canggih atau pengguna non-teknis yang butuh workflow builder no-code, Skyvern AI menawarkan solusi yang menarik.