Apa itu Tokenization pada LLM? Cara Kerja dan Pengaruhnya

Kalau kamu pernah memakai ChatGPT, Gemini, Claude, atau model AI lain, mungkin kamu mengira model tersebut membaca kalimat persis seperti manusia. Kenyataannya tidak begitu. 

Sebelum sebuah Large Language Model (LLM) memahami prompt atau menghasilkan jawaban, teks yang kamu ketik lebih dulu dipecah menjadi unit-unit kecil yang disebut token. Proses inilah yang dikenal sebagai tokenization.

Token tidak selalu sama dengan kata. Satu kata bisa menjadi satu token, dua token, bahkan lebih, tergantung bahasa dan tokenizer yang digunakan. Kalimat “Saya sedang belajar AI”, misalnya, bisa dipecah dengan cara yang berbeda oleh GPT, Llama, atau model lain. Perbedaan itu bukan sekadar urusan teknis. Tokenization memengaruhi cara model memahami bahasa, jumlah konteks yang bisa diproses, kecepatan inferensi, hingga biaya penggunaan API.

Karena itu, tokenization menjadi fondasi hampir semua LLM modern. Sebelum masuk ke tahap embedding, attention, atau transformer, model harus mengubah teks menjadi token yang kemudian dikonversi ke ID numerik. Tanpa langkah ini, model tidak memiliki cara untuk memproses bahasa manusia.

Di artikel ini, kita akan membahas apa itu tokenization pada LLM, bagaimana prosesnya bekerja, jenis-jenis tokenizer yang paling banyak digunakan seperti Byte Pair Encoding (BPE), WordPiece, dan SentencePiece, hingga alasan mengapa jumlah token berpengaruh terhadap context window, performa model, dan biaya penggunaan layanan AI seperti ChatGPT. Dengan memahami tokenization, kamu akan lebih mudah memahami cara kerja LLM secara keseluruhan sekaligus membuat prompt yang lebih efisien.

Baca Juga: Apa itu Transformers Model? Arsitektur, Cara Kerja & Evolusi AI

Apa Itu Tokenization pada LLM?

Tokenization adalah proses memecah teks menjadi unit-unit kecil yang disebut token agar dapat diproses oleh Large Language Model (LLM). Bagi manusia, sebuah kalimat dipahami sebagai rangkaian kata yang memiliki makna. Sebaliknya, model AI hanya menerima data dalam bentuk angka. Karena itu, teks harus diubah terlebih dahulu menjadi token, lalu setiap token dikonversi menjadi ID numerik sebelum masuk ke jaringan saraf.

Urutannya terlihat seperti ini:

Tanpa tokenization, model seperti GPT, Llama, atau Gemini tidak bisa mengenali kata, tanda baca, maupun simbol yang kamu masukkan ke dalam prompt.

Sebagai contoh, kalimat berikut:

Saya suka belajar AI.

Dapat dipecah menjadi token seperti:

[“Saya”, ” suka”, ” belajar”, ” AI”, “.”]

Setelah itu, setiap token diubah menjadi angka yang hanya dipahami oleh model.

[5321, 817, 2964, 1042, 13]

Angka di atas hanya ilustrasi. Setiap tokenizer memiliki kamus (vocabulary) sendiri sehingga ID token pada GPT, Llama, Claude, atau model lain tidak akan sama.

Hal lain yang sering membingungkan adalah token tidak selalu sama dengan kata. Dalam banyak kasus, satu kata memang menjadi satu token. Namun, kata yang panjang atau jarang digunakan dapat dipecah menjadi beberapa token. Misalnya, kata:

ketidakmampuan 

bisa saja dipecah menjadi:

ketidak

mampu

an

Pendekatan ini membuat model tidak perlu menyimpan jutaan kata dalam kamusnya. Selama mengenali potongan-potongan kata yang lebih kecil, LLM tetap bisa memahami kata baru yang belum pernah ditemui sebelumnya.

Inilah alasan hampir semua LLM modern menggunakan subword tokenization, bukan token berbasis kata utuh. Pendekatan tersebut membuat ukuran vocabulary tetap efisien sekaligus meningkatkan kemampuan model dalam memahami berbagai bahasa, termasuk bahasa yang memiliki banyak imbuhan seperti bahasa Indonesia.

Mengapa Tokenization Penting dalam Large Language Models?

Tokenization bukan sekadar langkah awal sebelum model memproses teks. Cara sebuah LLM memecah kalimat menjadi token ikut menentukan seberapa efisien model bekerja, seberapa banyak informasi yang dapat dipahami, hingga berapa biaya yang harus dibayar saat menggunakan API.

1. Mengubah Bahasa Menjadi Format yang Dipahami Model

LLM tidak memahami huruf, kata, atau kalimat secara langsung. Model hanya memproses angka. Karena itu, setiap teks harus diubah menjadi token, lalu setiap token dikonversi menjadi ID numerik sebelum diteruskan ke lapisan embedding dan transformer.

Tanpa proses ini, model tidak memiliki representasi yang bisa dihitung secara matematis.

2. Mengurangi Ukuran Vocabulary

Bayangkan jika sebuah model harus menyimpan setiap kata dalam berbagai bahasa.

Sebagai contoh, bahasa Indonesia memiliki banyak variasi kata seperti:

• makan
• dimakan
• memakan
• termakan
• makanan
• memakannya

Jika semuanya dianggap sebagai kata yang berbeda, ukuran vocabulary akan membengkak.

Dengan teknik subword tokenization, model cukup mengenali potongan kata yang sering muncul. Kata baru pun dapat dibentuk dari kombinasi subword tanpa harus menambah jutaan entri baru ke dalam vocabulary.

Pendekatan ini membuat LLM jauh lebih efisien saat dilatih maupun digunakan.

3. Membantu Model Memahami Kata Baru

Di dunia nyata, selalu muncul istilah baru, nama produk, singkatan, atau kata slang yang belum pernah ada saat model dilatih.

Misalnya:

ChatGPT-5.5

atau

Hyperpersonalization

Tokenizer tidak harus mengenali kata tersebut sebagai satu unit utuh. Kata itu dapat dipecah menjadi beberapa subword yang sudah ada di vocabulary sehingga model tetap mampu memprosesnya.

Kemampuan ini membuat LLM lebih fleksibel ketika menghadapi istilah baru tanpa harus memperbarui seluruh kamus token.

4. Menentukan Context Window

Setiap LLM memiliki batas jumlah token yang dapat diproses dalam satu percakapan atau satu permintaan. Batas ini dikenal sebagai context window.

Sebagai ilustrasi, jika sebuah model memiliki context window sebesar 128.000 token, maka seluruh isi prompt, riwayat percakapan, dokumen yang dilampirkan, dan jawaban model harus tetap berada di dalam batas tersebut.

Semakin banyak token yang digunakan, semakin sedikit ruang yang tersisa untuk informasi berikutnya.

Karena token tidak selalu sama dengan jumlah kata, dua dokumen dengan panjang yang mirip belum tentu menghabiskan jumlah token yang sama.

5. Berpengaruh terhadap Kecepatan dan Biaya

Pada sebagian besar layanan LLM, biaya penggunaan dihitung berdasarkan jumlah token yang diproses, bukan jumlah karakter atau kata.

Misalnya, ketika kamu mengirim prompt sepanjang 2.000 token dan model menghasilkan jawaban sebanyak 1.000 token, total token yang diproses menjadi sekitar 3.000 token.

Semakin panjang prompt, semakin besar sumber daya komputasi yang dibutuhkan. Akibatnya, waktu respons dapat bertambah dan biaya penggunaan API juga meningkat.

Inilah alasan banyak developer berusaha membuat prompt yang ringkas tetapi tetap memberikan konteks yang cukup.

Singkatnya, tokenization bukan hanya proses memecah teks. Cara tokenizer bekerja memengaruhi hampir seluruh aspek LLM, mulai dari efisiensi penyimpanan vocabulary, kemampuan memahami kata baru, kapasitas context window, hingga performa dan biaya penggunaan model. Memahami konsep ini akan memudahkan kamu ketika mempelajari topik lanjutan seperti embedding, attention mechanism, dan prompt engineering. 

Bagaimana Cara Kerja Tokenization?

Dari luar, tokenization terlihat sederhana: teks dipecah menjadi token. Di balik layar, prosesnya melibatkan beberapa tahapan sebelum akhirnya sebuah LLM bisa memahami prompt yang kamu berikan.

Alurnya dapat disederhanakan seperti berikut.

Mari kita lihat setiap tahapnya.

1. Pengguna Memasukkan Teks

Proses dimulai ketika kamu mengetik prompt.

Misalnya:

Saya ingin belajar tokenization pada LLM.

Bagi manusia, ini hanyalah sebuah kalimat biasa. Namun, model belum bisa memprosesnya secara langsung karena masih berupa teks.

2. Tokenizer Memecah Teks Menjadi Token

Tokenizer akan membaca seluruh kalimat, kemudian membaginya menjadi token berdasarkan vocabulary yang dimiliki model.

Sebagai ilustrasi:

Saya

 ingin

 belajar

 token

ization

 pada

 LLM

.

Contoh di atas hanya ilustrasi. Token yang dihasilkan bisa berbeda pada GPT, Llama, Claude, atau Gemini karena setiap model menggunakan tokenizer yang berbeda.

Pada tahap ini, tokenizer juga menangani angka, emoji, simbol, tanda baca, hingga karakter Unicode.

3. Setiap Token Diubah Menjadi Token ID

Model tidak bekerja dengan teks, melainkan dengan angka.

Karena itu, setiap token dipetakan ke sebuah ID unik.

Sebagai contoh:

Angka tersebut hanya ilustrasi. Setiap tokenizer memiliki pemetaan ID yang berbeda. 

4. Token ID Diubah Menjadi Embedding

Token ID masih berupa bilangan bulat yang tidak memiliki makna semantik.

Agar model dapat memahami hubungan antar kata, setiap token ID diubah menjadi embedding, yaitu representasi dalam bentuk vektor berdimensi tinggi.

Secara sederhana:

Embedding memungkinkan model mengenali bahwa kata seperti AI, machine learning, dan deep learning memiliki hubungan yang lebih dekat dibandingkan kata yang sama sekali berbeda.

5. LLM Memproses Hubungan Antar Token

Setelah semua token berubah menjadi embedding, barulah arsitektur Transformer mulai bekerja.

Model akan menghitung hubungan antar token menggunakan mekanisme self-attention untuk memahami konteks kalimat.

Sebagai contoh:

Bank itu berada di tepi sungai.

dan

Saya menyimpan uang di bank.

Kata bank memiliki arti berbeda, tetapi model dapat membedakannya karena melihat token-token lain di sekitarnya.

Kemampuan memahami konteks inilah yang membuat LLM jauh lebih akurat dibandingkan model NLP generasi sebelumnya.

6. Model Menghasilkan Token Baru

Setelah memahami konteks, LLM tidak langsung menghasilkan satu kalimat penuh.

Model memprediksi satu token berikutnya, kemudian mengulang proses yang sama hingga jawaban selesai.

Misalnya:

Proses tersebut berlangsung sangat cepat sehingga pengguna melihat jawaban muncul seolah-olah model sedang mengetik secara real-time. 

Dari penjelasan di atas terlihat bahwa tokenization hanyalah langkah pertama dalam pipeline LLM. Setelah teks dipecah menjadi token dan diubah menjadi token ID, model masih harus membentuk embedding, menghitung hubungan antar token melalui mekanisme attention, lalu memprediksi token berikutnya hingga menghasilkan jawaban yang utuh. Karena itulah kualitas tokenizer ikut memengaruhi kemampuan sebuah LLM dalam memahami bahasa secara keseluruhan. 

Apa Itu Token?

Token adalah unit data terkecil yang diproses oleh Large Language Model (LLM). Banyak orang mengira satu token selalu sama dengan satu kata, padahal kenyataannya tidak sesederhana itu.

Sebuah token bisa berupa kata utuh, potongan kata (subword), satu karakter, angka, tanda baca, atau kombinasi beberapa karakter. Bentuk token yang dihasilkan bergantung pada tokenizer yang digunakan oleh model.

Misalnya, kata berikut:

Artificial Intelligence

Bisa dipecah menjadi:

Artificial

 Intelligence

Namun, pada tokenizer lain hasilnya dapat menjadi:

Art

ificial

 Intelligence

Bahkan kata yang panjang dapat dipecah menjadi beberapa subword.

Sebagai contoh:

internationalization

Dapat berubah menjadi:

international

ization

atau

inter

national

ization

Tidak ada satu aturan yang berlaku untuk semua model. GPT, Llama, Claude, dan Gemini memiliki vocabulary serta algoritma tokenization yang berbeda sehingga hasil pemecahan token juga bisa berbeda.

Token Tidak Sama dengan Kata

Kesalahan yang paling sering muncul adalah menganggap jumlah token sama dengan jumlah kata.

Sebagai contoh, kalimat berikut hanya terdiri dari empat kata.

Saya suka belajar AI.

Namun tokenizer dapat memecahnya menjadi lima atau enam token.

Saya

 suka

 belajar

 AI

 .

Sebaliknya, beberapa kata pendek dapat digabung menjadi satu token jika kombinasi tersebut sering muncul dalam data pelatihan.

Artinya, jumlah kata dan jumlah token hampir tidak pernah identik.

Mengapa LLM Menggunakan Token, Bukan Kata?

Jika model hanya mengenali kata utuh, vocabulary akan berkembang sangat besar. Setiap variasi kata harus disimpan sebagai entri yang berbeda.

Sebagai contoh, kata dasar ajar memiliki banyak turunan dalam bahasa Indonesia.

• ajar
• belajar
• pelajar
• pembelajaran
• mengajarkan
• diajarkan
• pengajaran

Apabila seluruh variasi tersebut dianggap sebagai kata yang berbeda, ukuran vocabulary akan terus bertambah.

Dengan menggunakan token berbasis subword, model cukup mengenali potongan kata yang sering muncul. Saat menemukan kata baru, tokenizer tinggal menggabungkan beberapa subword yang sudah ada.

Pendekatan ini membuat tokenizer jauh lebih efisien tanpa mengurangi kemampuan model dalam memahami bahasa.

Token pada Bahasa Indonesia

Bahasa Indonesia memiliki banyak imbuhan sehingga jumlah token sering kali lebih banyak dibandingkan yang diperkirakan.

Misalnya kata berikut:

ketidakberdayaan

Tokenizer dapat memecahnya menjadi:

ketidak

berdaya

an

Contoh lain:

mempertanggungjawabkan

Bisa dipecah menjadi:

memper

tanggung

jawab

kan

Pemecahan seperti ini memudahkan LLM mengenali pola pembentukan kata, termasuk ketika menemui istilah yang belum pernah muncul saat pelatihan.

Jenis-Jenis Tokenization pada LLM

Tidak semua LLM memecah teks dengan cara yang sama. Ada tokenizer yang menganggap setiap kata sebagai satu token, ada yang memecahnya menjadi karakter, dan ada pula yang menggunakan potongan kata (subword). Masing-masing pendekatan memiliki kelebihan dan kekurangan.

Saat ini, sebagian besar LLM modern memilih pendekatan subword tokenization karena memberikan keseimbangan antara ukuran vocabulary dan kemampuan memahami kata baru.

Berikut beberapa jenis tokenization yang paling umum digunakan.

1. Word Tokenization

Word tokenization memecah kalimat berdasarkan kata. Setiap kata dianggap sebagai satu token.

Contohnya:

Saya suka belajar AI.

Hasil tokenization:

Saya

suka

belajar

AI

.

Pendekatan ini mudah dipahami karena token hampir selalu sama dengan kata yang dibaca manusia.

Kelebihan

• Proses tokenization sederhana.
• Mudah dipahami dan dianalisis.
• Cocok untuk model NLP generasi awal.

Kekurangan

• Vocabulary menjadi sangat besar.
• Sulit menangani kata baru (out-of-vocabulary).
• Tidak efisien untuk bahasa yang memiliki banyak imbuhan seperti bahasa Indonesia.

Sebagai contoh, model harus menganggap kata belajar, pelajar, pengajaran, dan mempelajari sebagai empat entri berbeda.

2. Character Tokenization

Character tokenization memecah teks menjadi karakter per karakter.

Contohnya:

AI

Diubah menjadi:

A

I

Sedangkan kata:

belajar

Menjadi:

b

e

l

a

j

a

r

Pendekatan ini hampir tidak pernah mengalami masalah out-of-vocabulary karena semua kata dapat dibentuk dari kumpulan karakter.

Kelebihan

• Vocabulary sangat kecil.
• Mampu menangani kata baru, typo, dan bahasa apa pun.

Kekurangan

• Jumlah token menjadi jauh lebih banyak.
• Waktu pemrosesan lebih lama.
• Hubungan antar karakter lebih sulit dipelajari dibandingkan hubungan antar kata.

Karena alasan tersebut, character tokenization jarang digunakan pada LLM modern.

3. Subword Tokenization

Subword tokenization memecah kata menjadi potongan-potongan yang sering muncul dalam bahasa.

Misalnya:

unbelievable

Dapat dipecah menjadi:

un

believ

able

Contoh lain dalam bahasa Indonesia:

ketidakadilan

Dapat menjadi:

ketidak

adil

an

Model tidak perlu menyimpan seluruh kata dalam vocabulary. Cukup mengenali subword yang sering muncul, lalu menggabungkannya saat diperlukan.

Kelebihan

• Vocabulary jauh lebih kecil dibandingkan word tokenization.
• Mampu memahami kata baru.
• Efisien untuk berbagai bahasa.
• Menjadi standar pada sebagian besar LLM modern.

Kekurangan

• Hasil tokenization tidak selalu mudah dibaca manusia.
• Satu kata dapat terdiri dari beberapa token.

Pendekatan inilah yang digunakan oleh algoritma seperti Byte Pair Encoding (BPE), WordPiece, dan SentencePiece.

4. Byte-Level Tokenization

Byte-level tokenization bekerja pada tingkat byte, bukan kata maupun karakter.

Artinya, tokenizer dapat memproses hampir semua teks, termasuk:

• emoji 😀
• simbol matematika
• karakter Unicode
• berbagai bahasa dalam satu dokumen

Sebagai contoh:

🚀 GPT

Tokenizer akan mengubah setiap byte menjadi token sesuai aturan yang dimilikinya.

Pendekatan ini membuat model mampu menangani karakter yang sangat beragam tanpa harus menambah vocabulary setiap kali muncul simbol baru.

Kelebihan

• Mendukung hampir semua bahasa dan karakter Unicode.
• Tidak mengalami masalah out-of-vocabulary.
• Sangat fleksibel.

Kekurangan

• Token yang dihasilkan bisa lebih banyak untuk teks tertentu.
• Proses tokenization lebih kompleks dibandingkan pendekatan berbasis kata.

Model GPT menggunakan pendekatan Byte-Level Byte Pair Encoding (Byte-Level BPE), yang menggabungkan efisiensi subword dengan fleksibilitas byte-level.

Dari keempat pendekatan tersebut, subword tokenization menjadi pilihan utama pada hampir semua LLM modern karena mampu menjaga ukuran vocabulary tetap efisien tanpa mengorbankan kemampuan model dalam memahami kata baru. Pendekatan ini kemudian melahirkan berbagai algoritma populer seperti Byte Pair Encoding (BPE), WordPiece, dan SentencePiece, yang akan dibahas pada bagian berikutnya. 

Algoritma Tokenization yang Paling Banyak Digunakan pada LLM

Jenis tokenization menjelaskan cara teks dipecah menjadi token. Di balik proses tersebut, terdapat berbagai algoritma yang menentukan bagaimana token dibentuk dan disimpan di dalam vocabulary. Setiap algoritma memiliki pendekatan yang berbeda dalam menyeimbangkan ukuran vocabulary, efisiensi komputasi, dan kemampuan menangani kata baru.

Saat ini, sebagian besar Large Language Model (LLM) menggunakan salah satu dari empat algoritma berikut.

H3 Byte Pair Encoding (BPE)

Byte Pair Encoding (BPE) adalah algoritma tokenization yang membangun vocabulary secara bertahap dengan menggabungkan pasangan karakter atau subword yang paling sering muncul dalam data pelatihan. Tujuannya adalah mengurangi ukuran vocabulary tanpa mengorbankan kemampuan model memahami kata-kata baru.

BPE menjadi salah satu algoritma paling populer karena mampu menghasilkan tokenizer yang efisien sekaligus fleksibel. Pendekatan ini digunakan oleh berbagai model berbasis GPT dan menjadi dasar bagi banyak tokenizer modern.

WordPiece

WordPiece bekerja dengan memecah kata menjadi subword berdasarkan probabilitas kemunculannya dalam korpus pelatihan. Berbeda dengan BPE yang menggabungkan pasangan token berdasarkan frekuensi, WordPiece memilih kombinasi subword yang memberikan representasi paling efektif terhadap seluruh vocabulary.

Algoritma ini banyak digunakan pada model NLP generasi awal hingga menengah, terutama keluarga BERT. WordPiece membantu model memahami kata yang belum pernah ditemui dengan menyusunnya dari potongan subword yang sudah dikenal.

SentencePiece

SentencePiece adalah algoritma tokenization yang memproses teks tanpa bergantung pada spasi sebagai pemisah kata. Pendekatan ini membuatnya cocok digunakan pada bahasa yang tidak memiliki batas kata yang jelas, seperti bahasa Jepang, Mandarin, atau Thailand.

Selain mendukung banyak bahasa, SentencePiece juga lebih konsisten dalam menangani data multibahasa. Karena alasan tersebut, algoritma ini banyak digunakan pada LLM modern yang dilatih menggunakan berbagai bahasa sekaligus.

Unigram Language Model

Unigram Language Model membangun vocabulary dengan memilih kumpulan subword yang memiliki probabilitas tertinggi untuk merepresentasikan seluruh data pelatihan. Berbeda dengan BPE yang terus menggabungkan token, algoritma ini justru memulai dari vocabulary yang besar lalu menghapus token yang dianggap kurang berguna.

Pendekatan tersebut menghasilkan tokenizer yang lebih fleksibel dan sering digunakan bersama SentencePiece pada beberapa model bahasa modern.

Byte-Level BPE

Byte-Level BPE merupakan pengembangan dari Byte Pair Encoding yang bekerja pada level byte, bukan karakter. Dengan pendekatan ini, tokenizer dapat memproses hampir semua karakter Unicode, termasuk emoji, simbol, dan berbagai bahasa, tanpa mengalami masalah out-of-vocabulary.

Algoritma ini menjadi pilihan utama pada model GPT karena mampu mempertahankan ukuran vocabulary yang relatif kecil sekaligus mendukung berbagai jenis teks dari seluruh dunia.

Setiap algoritma memiliki keunggulan masing-masing. Namun, tujuan utamanya tetap sama, yaitu mengubah teks menjadi token yang efisien untuk diproses oleh LLM. Pada bagian berikutnya, kita akan melihat bagaimana proses tokenization diterapkan pada model seperti ChatGPT melalui contoh tokenisasi sebuah kalimat. 

Tokenization adalah fondasi utama hampir semua Large Language Model (LLM) modern seperti ChatGPT, Gemini, dan Claude. Proses ini memecah teks dari pengguna menjadi unit-unit kecil yang disebut token, yang kemudian dikonversi menjadi angka (ID numerik) agar bisa diproses secara matematis oleh jaringan saraf AI.

Berikut adalah poin-poin penting mengenai tokenization:

• Token tidak sama dengan Kata: Satu token tidak selalu sama dengan satu kata. Kata yang panjang, jarang digunakan, atau memiliki banyak imbuhan (seperti dalam bahasa Indonesia) sering kali dipecah menjadi beberapa subword token.
• Mengapa Sangat Penting?: Tokenization menentukan batas kapasitas teks yang bisa diingat model (context window). Selain itu, cara teks dipecah juga berdampak langsung pada kecepatan respons model dan biaya penggunaan API (karena tarif AI dihitung per jumlah token, bukan per kata).
• Jenis & Algoritma: Mayoritas LLM modern menggunakan pendekatan Subword atau Byte-Level Tokenization lewat algoritma seperti Byte Pair Encoding (BPE), WordPiece, dan SentencePiece. Metode ini dipilih karena sangat efisien dalam menghemat ukuran kamus (vocabulary) model dan mampu memahami kata-kata baru atau istilah slang yang belum pernah dipelajari sebelumnya.

Semoga bermanfaat, terima kasih.