Kimi K3 Rilis: Model Open-Source 2,8T Parameter Pertama

Moonshot AI merilis Kimi K3 hari ini, model dengan 2,8 triliun parameter yang mereka sebut sebagai model open-source pertama di kelas 3T. Model ini dibangun di atas arsitektur baru bernama Kimi Delta Attention dan Attention Residuals, dilengkapi kemampuan vision native serta context window hingga 1 juta token.

Moonshot AI sendiri mengakui K3 belum menyamai performa puncak model proprietary seperti Claude Fable 5 dan GPT 5.6 Sol. Tapi di seluruh suite evaluasi mereka, K3 konsisten mengungguli model open-source lain yang diuji bareng. Kimi K3 sudah bisa diakses lewat Kimi.com, Kimi Work, Kimi Code, dan Kimi API. Bobot model penuhnya baru akan dirilis pada 27 Juli 2026.

Ini yang perlu kamu tahu soal rilis terbarunya.

Baca Juga: GPT-5.6 Resmi Rilis: Ini yang Perlu Kamu Tahu

Apa itu Kimi K3?

Kimi K3 dibangun di atas 2,8 triliun parameter, menjadikannya model open pertama yang menembus skala itu.

 Moonshot AI menyebutnya sebagai kelanjutan dari dorongan mereka di batas scaling: dalam sembilan dari dua belas bulan terakhir, model Kimi memegang rekor sebagai model open terbesar di kelasnya.

Dua fondasi arsitekturnya adalah Kimi Delta Attention (KDA) dan Attention Residuals (AttnRes). Keduanya dirancang mengatur bagaimana informasi mengalir sepanjang sequence dan kedalaman model. 

Moonshot AI juga memperbesar sparsity Mixture of Experts, sehingga hanya 16 dari 896 expert yang aktif dalam satu waktu lewat framework Stable LatentMoE. 

Kombinasi ini, ditambah perbaikan pada resep training dan data, menghasilkan efisiensi scaling sekitar 2,5 kali lipat dibanding Kimi K2 model bisa mengubah compute jadi kemampuan dengan lebih hemat.

Dari sisi kapabilitas, K3 punya vision native dan context window 1 juta token. Saat rilis, model ini otomatis berjalan pada mode reasoning tertinggi (max thinking effort); mode dengan effort rendah dan tinggi akan menyusul di update berikutnya. 

Bobot model penuhnya dijadwalkan rilis 27 Juli 2026, bersamaan dengan technical report yang membahas arsitektur, training, dan evaluasi secara lebih rinci.

Soal posisinya di antara model lain, Moonshot AI cukup terbuka: performa keseluruhan K3 masih di bawah Claude Fable 5 dan GPT 5.6 Sol. 

Tapi di seluruh suite evaluasi internal mereka, K3 tetap menunjukkan performa level frontier dan konsisten mengungguli model-model lain yang diuji.

Arsitektur di Balik Kimi K3

Kimi K3 berdiri di atas dua komponen utama: Kimi Delta Attention (KDA) dan Attention Residuals (AttnRes). KDA jadi fondasi buat scaling attention secara efisien. AttnRes bekerja beda dari pendekatan biasa: alih-alih menumpuk representasi secara merata di tiap lapisan, ia mengambil representasi secara selektif lintas kedalaman model. Gabungan keduanya jadi tulang punggung yang memungkinkan K3 di-scale jauh melampaui skala triliun parameter.

Untuk urusan expert routing, K3 pakai Stable LatentMoE dengan hanya 16 dari 896 expert aktif dalam satu waktu. Di tingkat sparsity setinggi ini, routing dan optimisasi jadi tantangan utama. Moonshot AI mengatasinya lewat beberapa teknik:

Quantile Balancing menentukan alokasi expert langsung dari kuantil skor router, jadi tidak perlu lagi update berbasis heuristik atau hyperparameter balancing yang rawan meleset. Per-Head Muon memperluas optimizer Muon dengan mengoptimalkan tiap attention head secara terpisah, sehingga pembelajaran lebih adaptif di skala besar. Dua teknik lain, Sigmoid Tanh Unit (SiTU) dan Gated MLA, masing-masing memperbaiki kontrol aktivasi dan selektivitas attention.

Soal training, K3 pakai quantization-aware training sejak tahap SFT, dengan bobot MXFP4 dan aktivasi MXFP8 supaya kompatibel di berbagai hardware. Moonshot AI juga membangun metode expert-parallel training yang seimbang penuh, pakai static shapes dan tanpa sinkronisasi host di jalur kritis, buat mencegah ketimpangan expert mengganggu throughput di skala besar.

Satu tantangan baru muncul dari KDA sendiri: metode prefix caching konvensional tidak langsung cocok dengannya. Moonshot AI menyelesaikannya dengan berkontribusi implementasi khusus ke komunitas vLLM, yang akan dirilis bersamaan dengan modelnya. Kombinasi KDA dan prefill cache ini yang bikin Moonshot AI bisa menjual token K3 dengan harga kompetitif meski skalanya besar dan context window-nya panjang.

Untuk deployment, Moonshot AI menyarankan supernode dengan 64 accelerator atau lebih, karena efisiensi inference K3 makin baik saat domain komunikasi high-bandwidth-nya lebih besar.

Baca Juga: DSpark DeepSeek-V4: Bukan Model Baru, Ini Bedanya

Kemampuan Coding Kimi K3

K3 dirancang untuk sesi engineering panjang dengan pengawasan manusia minimal. Ia bisa navigasi repository besar, orkestrasi tools terminal, dan bertahan di task jangka panjang tanpa kehilangan arah. K3 juga kuat di task yang menggabungkan software engineering dengan visual reasoning, memakai screenshot dan visual buat optimasi game dev, frontend, dan CAD.

Beberapa studi kasus berikut menunjukkan kemampuan itu di skenario nyata.

Optimasi kernel GPU

Moonshot AI menguji kemampuan model-model dalam optimasi kernel GPU. Tiap model bekerja sendiri di sandbox identik, dengan waktu hingga 24 jam buat profiling, menulis ulang, dan benchmark, mencakup empat task berbeda di NVIDIA H200 dan GPGPU dari vendor lain:

• Kernel AttnRes. Mulai dari implementasi Triton FLA di shape produksi (96 layer, model dim 8192, 8192 token), K3 diminta mempercepat operasi sisi training tanpa mengubah numerik. Selama 15 jam iterasi nonstop, K3 merancang algoritma kernel dua-fase yang baru, menggabungkan kernel sambil mempertahankan numerik yang sama, dan memangkas waktu forward+backward dari 283,6 ms jadi 114,4 ms. K3 dan Fable 5 (dengan potensi fallback) mencapai performa yang mirip, tapi K3 lebih cepat per iterasi optimasinya.
• Kernel DSA. Dari implementasi TileLang untuk kernel DSA end-to-end, task ini menyasar setting training realistis dengan sequence 1 juta token, hyperparameter model diselaraskan dengan DeepSeek-V3.2. K3 memangkas waktu end-to-end 55,1% dibanding baseline, sedikit di bawah Fable 5 yang mencapai 57,3%.
• Kernel MLA-512. Tanpa baseline kernel yang disediakan, tiap model menulis kernel MLA dengan head dimension 512 dari nol, di shape produksi (batch 1, 64 head, 8192 token). Penilaiannya throughput mentah, bukan rasio. Kernel K3 mencapai 517,8 TFLOPS di forward+backward, lebih dari separuh puncak teoretis BF16 H200, mengungguli model terbaik kedua yang ada di 492,7 TFLOPS.
• Kernel KDA (GPGPU). Aturan sama, tapi diterapkan ke implementasi Triton FLA untuk KDA di GPGPU dari vendor alternatif. Software stack dan perilaku memori-nya cukup berbeda sehingga pengalaman tuning di CUDA tidak bisa langsung dipakai ulang, model performa harus dibangun lagi dari profiling. K3 memangkas waktu forward+backward 73,6% dibanding baseline, dengan kemungkinan masih ada ruang optimasi lebih lanjut.

Moonshot AI mencatat, Claude Fable 5 dievaluasi oleh pihak ketiga sehingga hasilnya berpotensi mengandung perilaku fallback. 

Di sebagian besar model yang diuji, ada trajectory yang mengambil jalan pintas presisi kecil namun masih dalam toleransi numerik yang ditetapkan. Di tahap akhir pengembangan K3, versi awal model ini sudah menangani sebagian besar pekerjaan optimasi kernel tim Moonshot AI sendiri.

Membangun compiler GPU dari nol

Moonshot AI juga menguji apakah K3 bisa membangun sistem programming GPU dari awal. Hasilnya, K3 membuat MiniTriton, compiler mirip Triton dengan tile-level IR layer sendiri di atas MLIR, optimization pass, dan pipeline code-generation ke PTX. Beberapa temuan:

• Di benchmark roofline yang didukung, performa MiniTriton setara atau lebih baik dari Triton dan torch.compile, bahkan mengungguli Triton di sejumlah workload
• MiniTriton berhasil menjalankan training nanoGPT end-to-end dengan konvergensi stabil, kurva loss-nya mendekati referensi dengan deviasi kecil, memvalidasi seluruh pipeline di workload yang realistis
• Hasil ini menunjukkan K3 bisa membangun compiler end-to-end yang koheren, mulai dari DSL frontend, IR pass, sampai codegen PTX dan runtime, bukan sekadar kernel-kernel yang berdiri sendiri. Tensor Core path yang dibangun dari nol ini pun sudah menyaingi stack Triton yang sudah dioptimasi bertahun-tahun

Game development dan digital creation

K3 menggabungkan reasoning 3D, coding, dan vision untuk mengubah konsep, gambar, dan video jadi pengalaman interaktif yang bisa dimainkan. Model ini bisa bolak-balik antara menulis kode dan melihat screenshot langsung, lalu memperbaiki hasilnya secara real-time. Salah satu contohnya: K3 membangun game eksplorasi 3D berbasis browser secara penuh, memakai Three.js WebGPU dan GPU compute, lengkap dengan hutan, desa kabin kayu, gunung bersalju, dan cuaca dinamis yang dihasilkan secara procedural.

Desain chip

Sebagai proof of concept, K3 mendesain chip untuk melayani model nano yang dibangun dari arsitekturnya sendiri. Dalam satu sesi otonom 48 jam, K3 membangun, mengoptimasi, dan memverifikasi chip tersebut memakai tools EDA open-source di library Nangate 45nm. Hasilnya:

• Chip seluas 4 mm² dengan timing closure di 100 MHz
• Throughput decode lebih dari 8.700 token/detik dalam simulasi
• Berisi 1,46 juta standard cell, 0,277 MB SRAM, dan INT4 MAC array dengan fused dequantization

Coding untuk riset ilmiah

K3 menjembatani literatur ilmiah dengan kode yang bisa dieksekusi. Dalam satu kasus, K3 menyelesaikan pekerjaan yang biasanya butuh satu sampai dua minggu kerja peneliti berpengalaman, hanya dalam sekitar dua jam. Untuk mereproduksi relasi universal I-Love-Q di astrofisika komputasi, K3:

• Meninjau dan cross-validate lebih dari 20 paper
• Mengimplementasikan pipeline numerik lengkap
• Mengevaluasi lebih dari 300 equation of state
• Menemukan inkonsistensi di formula yang sudah dipublikasikan
• Menghasilkan lebih dari 3.000 baris kode Python
• Membuat dashboard HTML interaktif untuk eksplorasi hasil

Kemampuan Knowledge Work

K3 membawa kemajuan di knowledge work end-to-end. Di luar benchmark publik, K3 (mode max) menunjukkan peningkatan konsisten di evaluasi internal Moonshot AI, yang disusun dari pola dan tantangan berulang yang muncul di workflow user-agent dunia nyata. Keunggulan yang konsisten di berbagai workflow produksi ini mencerminkan perbaikan luas pada kemampuan agentic K3 untuk pekerjaan pengetahuan.

Riset dengan visualisasi interaktif

Berikut beberapa contoh yang dihasilkan K3 di Kimi Work, mencakup konsultasi finansial dan riset ilmiah:

• Riset industri ASIC 42 tahun. K3 membuat laporan riset interaktif yang bisa ditelusuri detailnya, mencakup 42 tahun sejarah industri ASIC, lewat 120+ putaran self-improvement rekursif. K3 mengubah data mentah jadi chart custom, diagram animasi, dan narasi visual interaktif. Untuk menyusunnya, K3 melakukan lebih dari 2.800 pencarian dan fetch web, 1.100 terminal data pull, menjangkau lebih dari 11.000 halaman dari 87 laporan kuartalan dan 99 PDF asli.
• Riset industri fusion. K3 menyusun laporan gaya konsultasi dengan visualisasi interaktif, termasuk timeline, funnel chart, range bar chart, gantt chart, sampai slide berkualitas publikasi.
• Analisis gelombang gravitasi GWTC-5. K3 menganalisis 391 event gelombang gravitasi memakai lebih dari 20 subagent yang berjalan bersamaan, menghasilkan 7 visualisasi ilmiah, 2 tabel, dan sintesis literatur dari lebih dari 10 paper.

K3 juga cukup kuat dalam membuat presentasi bergaya infografis, termasuk heatmap dan laporan tahunan yang sepenuhnya bisa diedit.

Widgets dan Dashboard

Di Kimi Work, Moonshot AI memperkenalkan dua fitur baru: Widgets dan Dashboard. Widgets memungkinkan kamu membuat komponen interaktif langsung dalam chat, terhubung ke data lokal atau plugin eksternal untuk update berkelanjutan. 

Dashboard mengumpulkan widget-widget yang paling kamu butuhkan ke satu tampilan personal yang persisten, terorganisir berdasarkan topik, proyek, atau tujuan tertentu.

Video editing

K3 unggul di motion design, animasi, dan video editing karena arsitektur multimodal native-nya memahami teks, gambar, dan video dalam satu model yang sama.

Dalam satu contoh, K3 membuat video explainer bergaya 3Blue1Brown yang menjelaskan arsitekturnya sendiri, mengubah konsep teknis jadi diagram animasi dan transisi visual. 

Di contoh lain, K3 mengedit video teaser-nya sendiri dari 56 klip sumber, menangani seleksi klip, cut yang selaras dengan gerakan, sinkronisasi beat frame-accurate, pemrosesan audio, hingga beberapa putaran revisi. 

Video pendek berdensitas tinggi seperti ini biasanya butuh waktu satu sampai dua hari kerja bagi editor berpengalaman, atau tiga sampai lima hari bagi pemula.

Benchmark dan Perbandingan

Moonshot AI menguji K3 di tiga kategori besar: coding, agentic, dan reasoning/knowledge, dibandingkan dengan Claude Fable 5, GPT 5.6 Sol, Claude Opus 4.8, GPT 5.5, dan GLM-5.2. Semua model dievaluasi pada reasoning effort “max” (kecuali GPT 5.5 yang pakai setting “xhigh”), dengan harness berbeda-beda tergantung benchmarknya, ada yang pakai KimiCode, Claude Code, atau Codex.

Coding

Di kategori coding, K3 dan Fable 5 saling silang unggul tergantung benchmarknya:

• K3 unggul di FrontierSWE (81,2 vs 66,7 untuk Opus 4.8), SWE Marathon (42,0), dan MLS Bench (48,3)
• Fable 5 unggul di DeepSWE (70,0 vs 67,5), Program Bench (76,8 vs 77,8, hampir sama), dan Kimi Code Bench 2.0 internal (76,9 vs 72,9)
• Di Terminal Bench 2.1, GPT 5.6 Sol tertinggi (88,8), K3 di posisi kedua (88,3)

Agentic

Di kategori agentic, hasilnya bervariasi antar benchmark:

• BrowseComp: K3 tertinggi (91,2), diikuti GPT 5.6 Sol (90,4) dan Fable 5 (88,0)
• Toolathlon-Verified: Fable 5 tertinggi (77,9), K3 di posisi ketiga (73,2)
• AA-Briefcase (skor Elo): Fable 5 unggul (1583) tipis dari K3 (1548)
• GDPval-AA v2 (skor Elo): Fable 5 tertinggi (1760), K3 terendah dari lima model teratas (1668)
• Office QA Pro dan SpreadsheetBench 2: K3 unggul dari semua model lain kecuali Fable 5

Reasoning dan vision

Untuk reasoning murni, GPQA-Diamond K3 di 93,5, hampir setara GPT 5.6 Sol (94,1) dan GPT 5.5 (93,5). Tapi di HLE-Full, K3 tertinggal cukup jauh dari Fable 5 (43,5 vs 53,3).

Di kategori vision, hasilnya beragam. K3 unggul di WorldVQA ForceAnswer (51,0 vs 56,7 untuk Fable 5, jadi ini Fable 5 lebih baik) dan OmniDocBench (91,1, tertinggi di antara semua model). Tapi di MathVision dan MMMU-Pro, K3 sedikit di bawah GPT 5.6 Sol dan Fable 5.

Moonshot AI juga mencatat beberapa catatan metodologi penting: skor GLM-5.2 diambil dari blog rilis resminya sendiri, bukan dari pengujian langsung Moonshot AI. Skor Claude Fable 5 di beberapa benchmark coding berpotensi mengandung fallback ke Opus 4.8, karena beberapa permintaan ditolak Fable 5 sesuai kebijakan penggunaannya.

Ketersediaan dan Harga

K3 sudah bisa dipakai lewat beberapa jalur:

• Kimi Agents. Unduh atau update aplikasi Kimi terbaru dari app store, tersedia di iOS, Android, dan HarmonyOS, atau langsung lewat kimi.com
• Kimi Work. Unduh Kimi Work desktop app versi 3.1.0 ke atas, tersedia untuk Windows dan Mac Apple silicon
• Kimi Code. Jalankan Kimi Code di terminal, pilih K3 lewat perintah /model
• Kimi API. Akses lewat Kimi API Platform dengan model kimi-k3. Harganya $0,30/MTok untuk cache-hit input, $3,00/MTok untuk cache-miss input, dan $15,00/MTok untuk output. Lewat arsitektur inference disaggregated Mooncake, API resmi Kimi mencapai cache hit rate di atas 90% untuk workload coding
• Kimi Enterprise. Untuk organisasi, tersedia dengan privasi data tingkat enterprise dan manajemen anggota, dengan pemisahan penuh antara akun personal dan organisasi

Bobot model penuh K3 dijadwalkan rilis pada 27 Juli 2026.

Keterbatasan

Moonshot AI transparan soal tiga batasan K3 saat ini:

• Sensitif terhadap riwayat thinking. K3 dilatih dalam mode preserved thinking history. Kalau harness agent gagal meneruskan seluruh konten thinking sebelumnya, atau sesi yang sedang berjalan dengan model lain dialihkan ke K3 di tengah jalan, kualitas generasinya bisa jadi tidak stabil. Moonshot AI merekomendasikan pakai harness yang sudah teruji kompatibel seperti Kimi Code, dan menghindari switch ke K3 di tengah sesi
• Terlalu proaktif. Training K3 menekankan task jangka panjang dan kompleks. Akibatnya, saat menemui masalah kecil atau intent user yang ambigu, K3 bisa mengambil keputusan sendiri yang tidak terduga. Kalau aplikasimu butuh agent yang beroperasi dalam batasan jelas tanpa improvisasi berlebih, Moonshot AI menyarankan tambahkan batasan perilaku eksplisit di system prompt atau AGENTS.md
• Gap pengalaman pengguna. Meski kompetitif secara keseluruhan, K3 masih punya gap yang cukup terasa dalam pengalaman pengguna dibanding Claude Fable 5 dan GPT 5.6 Sol

Kesimpulan

Kimi K3 menandai lompatan skala buat model open-source: 2,8 triliun parameter dengan arsitektur baru yang dirancang khusus buat menangani ukuran sebesar itu. Moonshot AI sendiri tidak menutupi bahwa performa keseluruhannya masih di bawah Claude Fable 5 dan GPT 5.6 Sol. 

Tapi di banyak benchmark spesifik, terutama coding jangka panjang seperti FrontierSWE dan SWE Marathon, serta browsing lewat BrowseComp, K3 justru unggul dari kedua model proprietary itu.

Yang menonjol dari rilis ini bukan cuma angka benchmark, tapi bukti kemampuan agentic jangka panjangnya lewat studi kasus konkret: membangun compiler GPU dari nol, mendesain chip dalam 48 jam otonom, sampai menyelesaikan riset astrofisika yang biasanya makan waktu berminggu-minggu jadi dua jam.

Ini menunjukkan K3 bukan cuma kuat di benchmark terisolasi, tapi bisa menjalankan alur kerja kompleks dari awal sampai akhir tanpa banyak campur tangan manusia.

Buat developer yang butuh model open-source dengan context window besar dan kemampuan coding kuat, K3 jadi pilihan yang layak dipertimbangkan, apalagi dengan harga API yang kompetitif.

Tapi dua keterbatasan yang diakui Moonshot AI sendiri, soal sensitivitas riwayat thinking dan kecenderungan terlalu proaktif, perlu diperhatikan sebelum dipasang di lingkungan produksi. 

Bobot model penuhnya baru rilis 27 Juli 2026, jadi gambaran lengkap soal performa dan cara deploy-nya di luar Kimi API masih akan berkembang dalam beberapa minggu ke depan.

Referensi:

• https://www.kimi.com/id-id/blog/kimi-k3