Models don't read words. They read tokensModel không đọc chữ, nó đọc token
Watch a sentence get sliced into tokens live — and see why the same idea costs more in Vietnamese than in English.Thấy tận mắt câu tiếng Việt của bạn bị cắt thế nào — và vì sao nó đắt hơn tiếng Anh.
ReadPhần đọc
Language models don’t read words. They read tokens — chunks of text cut according to a fixed vocabulary learned from the training data. Everything you hear about “context windows”, pricing and length limits is measured in this unit, not in characters or words.
That vocabulary is built mostly from English text. Character sequences that are common in English get merged into a single token. Vietnamese — with its tone marks, diacritics and letter combinations that are rare in the training data — usually gets chopped into far smaller pieces.
Try it in the panel on the right: the same sentence costs more tokens in Vietnamese than in English, even when it has fewer characters. That isn’t your fault. It’s how the vocabulary was built — and it has real financial consequences.
Why it matters
If you build a product for Vietnamese users, every API call costs more than the same product in English — typically around 1.5–2×. The same context window also holds less Vietnamese content. A long-winded system prompt in Vietnamese eats the budget you need for real data. The same applies, to different degrees, to most non-English languages.
The tiles with dashed borders
Some tokens aren’t readable text. When the model meets characters outside its vocabulary, it falls back to bytes — a single accented letter can be split into two or three tokens that mean nothing on their own. In the panel on the right those tiles have a dashed border. Only together do they form a letter.
An honest caveat
The tool on the right uses the o200k_base tokenizer — the one used by the GPT-4o/GPT-5 family. Anthropic doesn’t publish Claude’s tokenizer, so absolute counts differ a little between providers. The Vietnamese/English ratio holds across models — and that’s the point of this lesson.
Model ngôn ngữ không đọc chữ. Nó đọc token — những mảnh văn bản được cắt ra theo một bảng từ vựng cố định, học từ dữ liệu huấn luyện. Mọi thứ bạn nghe về “context window”, về giá tiền, về giới hạn độ dài đều được tính bằng đơn vị này, không phải bằng ký tự hay từ.
Bảng từ vựng đó được xây chủ yếu từ văn bản tiếng Anh. Cụm ký tự hay gặp trong tiếng Anh được gộp thành một token duy nhất. Còn tiếng Việt — với dấu thanh, dấu mũ và những tổ hợp ký tự ít xuất hiện trong dữ liệu huấn luyện — thường bị băm nhỏ hơn nhiều.
Hãy thử ở khung bên phải: cùng một câu, tiếng Việt tốn nhiều token hơn tiếng Anh dù ít ký tự hơn. Đó không phải lỗi của bạn. Đó là cách bảng từ vựng được xây, và nó có hậu quả tiền thật.
Điều này ảnh hưởng gì tới bạn
Nếu bạn làm sản phẩm cho người Việt, mỗi lời gọi API của bạn đắt hơn cùng sản phẩm đó bằng tiếng Anh, thường vào khoảng 1,5 – 2 lần. Cùng một context window cũng chứa được ít nội dung tiếng Việt hơn. Một prompt hệ thống dài dòng bằng tiếng Việt sẽ ăn mất phần ngân sách mà bạn cần dành cho dữ liệu thật.
Những ô có viền gạch
Vài token không phải là chữ đọc được. Khi model gặp ký tự nằm ngoài bảng từ vựng, nó rơi xuống mức byte — một chữ có dấu có thể bị tách thành hai, ba token vô nghĩa nếu đứng riêng. Trong khung bên phải, những ô đó có viền gạch đứt. Ghép lại mới thành chữ.
Một lưu ý trung thực
Công cụ bên phải dùng bộ tách token o200k_base — bộ mà dòng GPT-4o/GPT-5 dùng. Anthropic không công bố bộ tách token của Claude, nên con số tuyệt đối sẽ lệch chút ít giữa các nhà cung cấp. Tỉ lệ Việt/Anh thì vẫn đúng ở mọi model — và đó là điều bài này muốn bạn nhớ.
PlaygroundKhu thực hành
Experiment 01 · TokenizeThí nghiệm 01 · Cắt token
o200k_base
Loading the token table (~2.5 MB, once)…Đang tải bảng token (~2,5 MB, chỉ một lần)…
0tok
TokensSố token
40charský tự
Actual lengthĐộ dài thật
—c/tk/t
Chars per tokenKý tự mỗi token
Experiment 02 · Vietnamese ↔ English, same meaningThí nghiệm 02 · Việt ↔ Anh, cùng nghĩa
Greeting
VietnameseTiếng Việt
0 token · 40 charský tự
EnglishTiếng Anh
0 token · 45 charský tự
Calculating…Đang tính…
In other words: the same product costs about -100% more in API fees per use in Vietnamese.Nghĩa là: cùng một sản phẩm, bản tiếng Việt đắt hơn khoảng -100% tiền API cho mỗi lượt dùng.