Module 1 · Day 2

Tokens & Embeddings Deep Dive

Day 1-এ শিখেছো একটা LLM আসলে দুটো file। আজ ভেতরে নামবে — text কীভাবে token, token কীভাবে integer ID, আর ID কীভাবে meaning-carrying embedding vector-এ পরিণত হয়, সেই পুরো pipeline-টা। BPE algorithm নিজে হাতে চালাবে, cosine similarity নিজে টেনে দেখবে, আর কেন বাংলা prompt-এ বিল বেশি আসে — সেটাও বুঝবে।

~180 min read5 learning objectives

What you'll learn

•Text কীভাবে number হয় — “token → ID → embedding” এই pipeline-টা নিজে বুঝিয়ে বলতে পারা।
•BPE training algorithm-টা ৩টা merge-এর উদাহরণ দিয়ে নিজে কাগজে চালাতে পারা।
•একই sentence English vs Bengali-এ কেন আলাদা token count দেয় — সেটা বুঝে cost-aware decision নিতে পারা।
•Cosine similarity-র geometric মানে নিজের ভাষায় ব্যাখ্যা করতে পারা — কেন magnitude নয়, direction।
•Static আর contextual embedding-এর পার্থক্য — কখন কোনটা use হয়।

Before this

•Day 1 শেষ করেছো। Token, embedding, attention — এই তিনটা শব্দ কান-এ পরিচিত।
•কোনো math background দরকার নেই — শুধু “vector মানে সংখ্যার সারি” এটুকু চিনলেই হবে।
•Day 1-এর tokenizer demo নিজে একবার try করেছো।

The 2-Stage Pipeline

পুরো lesson এই চারটা box-এর মধ্যেই ঘুরবে।

Day 1-এ তুমি দেখেছো একটা LLM আসলে দুটো file — parameters আর run code। আজ ভেতরে নামব একটা step — সেই run code-টা তোমার text-কে কী করে। Spoiler: দুবার convert করে। প্রথমে tokens + IDs-এ (text → integer)। তারপর embeddings-এ (integer → meaning-carrying vector)।

এই pipeline-টা মূল — কারণ RAG, semantic search, agent memory, classification — Module 4 আর Module 5-এর প্রায় সব topic এই দুটো step-এর উপর বসে। আজকের ৬টা demo এই pipeline-টা হাতে কলমে অনুভব করানোর জন্য।

The 2-stage pipeline

Text কীভাবে number হয়

আজকের পুরো lesson এই চারটে box-এর মধ্যেই ঘুরবে। প্রথম দু'টো transition হলো tokenization (text → discrete IDs), শেষেরটা embedding (IDs → meaning-carrying vectors)।

0Raw text

"unbelievable"

তুমি যেটা টাইপ করো — সাধারণ string।

tokenization↓

1Tokens (subwords)

["un", "believ", "able"]

Tokenizer text-কে subword-এ ভাগ করে। প্রতিটা subword vocabulary-র একটা entry।

tokenization↓

2Token IDs

[359, 67978, 481]

প্রতিটা subword-কে integer ID দিয়ে replace। এই মুহূর্তে text শেষ, number শুরু।

embedding lookup↓

3Embedding vectors

[[0.12, -0.04, ...], [0.88, 0.21, ...], ...]

প্রতিটা ID-র জন্য একটা lookup — vocab × dim shape-এর matrix থেকে dense vector আসে। প্রতিটা vector-এ ~768-4096 float। এখান থেকে model শুরু।

এই pipeline-টা একদিকে চলে। Reverse করতে হলে শুধু output token IDs → text-এ যেতে হবে (detokenization, model-এর response render করার সময়)। Embedding → text কখনো করা হয় না — embedding lossy compression-এর মতো।

Stage 1: Tokenization

Text → discrete subword units → integer IDs।

Tokendeeper than Day 1

Day 1-এ বলেছিলাম token মানে “text-এর ছোট টুকরো”। আজ সংজ্ঞা শক্ত করি — token হলো model-এর vocabulary-র একটা entry, যার একটা integer ID আছে। Model word দেখে না, ID দেখে। তাই API-এর pricing word-এ না, token-এ। GPT-4 tokenizer-এ “Hello” = 1 token (ID 9906), “unbelievable” = 3 token, “আমি” = 5 token।

Why it matters

প্রতিটা cost decision token দিয়ে হয় — কতটা context পাঠাবে, কোথায় কাটবে, কোথায় cache করবে। Token বুঝলে বুঝবে টাকাটা কোথায় যাচ্ছে।

Example: subword tokenization

unbelievable→

unbelievable

একটা শব্দকে অর্থপূর্ণ subword-এ ভাগ করে — vocabulary ছোট থাকে, rare word handle হয়।

Tokenizer stages4 steps most skip 3 of

Tokenizer-এর কাজ ৪ ধাপে: (১) Normalization — Unicode form (NFKC), control char strip। (২) Pre-tokenization — whitespace + punctuation দিয়ে word-এ ভাগ। (৩) Splitting — প্রতিটা word-কে character/byte-এ ভাগ। (৪) Merging — learned merge rule গুলো order-অনুযায়ী apply। বেশিরভাগ ধাপ ৪ নং-ই শুধু দেখে। ১-৩ নং miss হলে তুমি বুঝবে না কেন একই text কখনো ভিন্ন token দেয়।

Why it matters

“Café” আর “Cafe” কেন কখনো একই tokenize হয়, কখনো না — উত্তর normalization step-এ।

Vocabulary

Tokenizer-এর pre-built dictionary। প্রতিটা token-এর একটা unique integer ID (0 থেকে vocab_size − 1)। GPT-2: 50,257 · Llama-2: 32,000 · Llama-3: 128,000 · GPT-4o: ~200,000 · Claude: ~100,000+। বড় vocab = বেশি English word “as is” represent করা যায়, কিন্তু embedding matrix-ও বড় হয়। ছোট vocab = সব subword-এ ভাঙতে হয়, কিন্তু compact।

Why it matters

Vocab size একটা design choice — speed/quality trade-off। নতুন tokenizer (Llama-3) বড় vocab নিয়েছে কারণ multilingual better করতে চেয়েছিল।

BPE trainingthe merge-frequent-pairs game

Byte-Pair Encoding — একটা greedy frequency game। Start করো শুধু character দিয়ে। তারপর iteratively সবচেয়ে বেশি একসাথে আসা পেয়ার (pair) মিলিয়ে দাও — একটা নতুন token হলো। যতক্ষণ না target vocab size-এ পৌঁছায়, repeat। নিচের interactive demo-তে নিজে চালিয়ে দেখো — তিনটা merge step এ পুরো idea মাথায় বসে যাবে।

Why it matters

যেকোনো modern tokenizer (GPT, Llama, Claude সবই) এই pattern-এ trained — কিছু variation (WordPiece, SentencePiece) আছে, কিন্তু core idea একই।

Interactive · BPE training

তিনটা merge — পুরো algorithm

ছোট corpus: ৫টা word, frequency-সহ। Algorithm: প্রতি round-এ সবচেয়ে frequent adjacent pair খুঁজে বের করো → merge → vocab-এ নতুন token যোগ → repeat। “Run merge” চাপুন, দেখো কোন pair জেতে আর vocab কীভাবে বাড়ে।

Corpus (token splits per word)

×10
hug
×5
pug
×12
pun
×4
bun
×5
hugs

Vocabulary (7 tokens)

bghnpsu

single character · learned subword · just merged

Pair frequencies — next merge candidate

(u,g)

(p,u)

(u,n)

(h,u)

(g,s)

(b,u)

→ সবচেয়ে frequent pair: (u, g)। Run merge চাপলে এটাকে এক token-এ মিশিয়ে দেওয়া হবে।

Byte-level BPEGPT-2's 2019 trick

Unicode-এ ~150,000 character আছে। সবগুলোকে base vocab-এ রাখলে vocab বিশাল হবে। GPT-2-এর সমাধান — character না, byte ব্যবহার করো। Base vocab fixed 256 (এক byte = এক value)। যেকোনো Unicode character UTF-8-এ 1-4 byte-এ ভাঙে — সব representable। Result: [UNK] token-এর দরকার নেই। কিন্তু price — Bengali, Hindi, Chinese-এ প্রতি character 2-4 byte লাগে, তাই token-cost English-এর চেয়ে 2-6× বেশি।

Why it matters

API bill কেন Bengali prompt-এ বেশি আসে — উত্তর এখানে। এটা bug না, design।

Token IDs

Tokenizer-এর output আসলে text না — integer-এর সারি। GPT-4-এর কাছে “Hello world” = [9906, 1917]। এই মুহূর্তেই text শেষ, math শুরু। ID-গুলোর সংখ্যাগত মান-এর কোনো meaning নেই — 9906 আর 9907 কাছাকাছি ID হলেও meaning কাছাকাছি না। ID শুধু lookup index।

Why it matters

API request-এ তুমি text পাঠাও, কিন্তু model received করে ID। Tokenizer mismatch হলে (e.g., GPT-3.5 tokenizer দিয়ে GPT-4-এ পাঠালে) — silent corruption।

Special tokens

Tokenizer-এর কাছে শুধু “real text” না — কিছু engineered token আছে যেগুলো structure mark করে। [CLS] = sentence start (BERT)। [SEP] = separator। [PAD] = batching-এর জন্য padding। <|endoftext|> = document boundary (GPT-2)। <|system|>, <|user|>, <|assistant|> = chat role markers। Chat model কীভাবে জানে কোথায় তোমার message শেষ, কোথায় system instruction — এই special token দিয়ে।

Why it matters

Prompt injection attack অনেক সময় special token impersonate করে কাজ করে। সুরক্ষিত prompt লিখতে হলে এদের চেনা দরকার।

Interactive · Same meaning, different cost

Token-cost এক ভাষা থেকে আরেক ভাষায়

নিচের sample text-গুলো select করে দেখো একই অর্থের sentence কীভাবে আলাদা token count নেয়। Bengali বা Chinese-এ তুমি প্রায় 4-6× বেশি token দিচ্ছো একই কথার জন্য। API cost token-ভিত্তিক — তাই এই asymmetry সরাসরি তোমার bill-এ আসে।

Input text

আমি ভালো আছি

GPT-4 tokens (illustrative)

আমি·ভালো·আছি

Token count by tokenizer

GPT-4o

Llama-3

একই অর্থ — ৪×-৬× বেশি token! Byte-level BPE-এ Bengali প্রতি character ~3 byte।

Note: Token count আসল GPT-4 tokenizer (o200k_base) থেকে estimate। Exact split-এর জন্য OpenAI tokenizer playground নিজে try করো।

Non-English costthe bill nobody warns you about

“Hello world” = 2 token। “আমি ভালো আছি” = 13-17 token (একই অর্থ!)। কারণ — byte-level BPE-এর base vocab byte, আর Bengali প্রতি character UTF-8-এ 3 byte। তাছাড়া BPE training data বেশিরভাগ English, তাই Bengali subword-এর merge rare। ফলে Bengali প্রায় byte-level-এ tokenize হয়। Practical consequence: API cost 4-6× বেশি Bengali prompt-এ।

Why it matters

Day 1-এর রাফির কথা মনে আছে? ওর team Bengali complaint গুলো সরাসরি API-তে পাঠিয়ে দেখলো — bill English-এর প্রায় পাঁচগুণ। তখন থেকে ওরা English instruction-এর সাথে Bengali example mix করে। তুমিও Bengali data নিয়ে কাজ করলে budget আগে হিসাব করো, cache aggressively।

Stage 2: Embeddings

Integer IDs → meaning-carrying vectors।

Embeddingthe bridge from integers to meaning

Token ID হলো শুধু “এই subword-এর dictionary-তে index”। ID-র সংখ্যাগত মান-এর কোনো অর্থ নেই। Meaning encode করতে প্রতিটা ID-কে একটা dense float vector দিয়ে replace করা হয় — সেটাই embedding। Dimension typical: GPT-2: 768, Llama-3 8B: 4096, OpenAI text-embedding-3-small: 1536, large: 3072। সব embedding store থাকে একটা বিশাল embedding matrix-এ (shape: vocab_size × embedding_dim)। Training-এ ওই matrix-এর সব entry learned।

Why it matters

RAG, semantic search, classification — সবকিছুর foundation এই vector। Day 2 শেষে তুমি জানবে কেন “similar meaning → similar vector” — তাই কী।

Interactive · Cosine similarity

Vector-B টান দিয়ে angle অনুভব করো

কালো arrow (vector A) fixed। কমলা arrow (vector B) drag করো — angle আর score real-time update হবে। লক্ষ্য করো: same direction → score +1; perpendicular → 0; opposite → −1। এই score-ই vector search/RAG-এর “similarity”।

↑ কমলা circle টান দাও

Live cosine similarity

0.99cos(9°)

−1 (opposite)0 (unrelated)+1 (same)

Try these presets

Vector-এর magnitude (লম্বা/ছোট) এখানে irrelevant। দেখো B-কে যত টানো, score শুধু direction-এর সাথে বদলায়। সেই কারণেই embedding similarity-তে cosine ব্যবহার হয়, Euclidean না।

Cosine similarity

দুটো vector-এর similarity measure করার সবচেয়ে common পদ্ধতি। Formula: cos(θ) = (a · b) / (|a| × |b|)। কিন্তু formula মুখস্থ না করে picture-টা ধরো — দুটো arrow origin থেকে। মাঝখানের angle। cos(0°) = 1 (same direction = same meaning)। cos(90°) = 0 (orthogonal = unrelated)। cos(180°) = −1 (opposite)। Magnitude (লম্বা vs ছোট vector) ignore করে — শুধু direction দেখে।

Why it matters

Vector search, recommendation, document similarity — সব cosine similarity-এর উপর দাঁড়িয়ে। উপরের draggable demo-তে নিজে হাত দিয়ে দেখো।

Interactive · Vector arithmetic

king − man + woman ≈ queen

Word2vec-এর সবচেয়ে বিস্ময়কর finding — semantic relationship embedding space-এ direction হিসেবে stored। এই demo-তে cursor (কমলা dot) king-এর position থেকে শুরু করে, man direction বাদ দিয়ে, woman direction যোগ করে, queen-এর কাছাকাছি land করে।

king

man

woman

queen

শুরু করতে “Run” চাপো

king

− man

+ woman

≈ queen

Vector arithmeticking − man + woman ≈ queen

Word2vec-এর সবচেয়ে বিস্ময়কর finding — semantic relationship embedding space-এ direction হিসেবে stored। Gender axis, royalty axis, capital-city axis — এগুলো আলাদা fact না, geometry। king vector থেকে man vector বাদ দিন → woman vector যোগ করো → result queen-এর কাছাকাছি landing করে। Paris − France + Italy ≈ Rome। walking − walk + swim ≈ swimming।

Why it matters

Model আলাদা করে “queen is the female of king” শেখেনি — শুধু context predict করতে গিয়ে এই geometry তৈরি হয়েছে। Emergence-এর প্রথম example।

Interactive · Embedding space (2D projection)

Similar meaning, similar location

Real word2vec 300-মাত্রার space — এখানে আমরা 2D-তে projection দেখাচ্ছি। যেকোনো word-এ tap করো, তার ৩টা nearest neighbor দেখো। লক্ষ্য করো — একই “cluster”-এর word-গুলো কাছাকাছি। এটাই embedding-এর core property।

রাজত্ব · royalty

প্রাণী · animals

ফল · fruit

যানবাহন · transport

অনুভূতি · emotion

Nearest 3 neighbors

কোনো word-এ tap করো।

এই layout আমরা hand-craft করেছি illustration-এর জন্য। Real word2vec/embedding space 300-1536 মাত্রার, আমরা সেটাকে 2D-তে squash করে দেখানো সম্ভব না — কিন্তু core idea একই: similar meaning → nearby vector।

Static/contextualdeeper than Day 1

Static (word2vec, GloVe) — প্রতি token-এর একটাই vector, context যাই হোক। “bank” word সর্বদা একই vector — financial bank, river bank, blood bank সব একই। Contextual (BERT, GPT, যেকোনো modern LLM) — vector context অনুযায়ী compute হয়। Transformer-এর self-attention layer-by-layer প্রতিটা token-এর vector re-shape করে আশেপাশের token দিয়ে। শেষ layer-এ “river bank”-এর bank-এর vector “money bank”-এর bank থেকে geometrically আলাদা।

Why it matters

Cheap retrieval-এ static embedding (cached, fast) এখনো use হয়। কিন্তু nuance চাইলে contextual embedding (slower, smarter) দরকার। এই trade-off Module 4 (RAG)-এ ফেরত আসবে।

Check Your Understanding

ভুল হলে সমস্যা নেই — প্রতিটার ব্যাখ্যা আছে।

Misconception check

Tokenizer শুধু whitespace আর punctuation দিয়ে text কাটে

Misconception check

১ token = ১ word

Misconception check

GPT-4 আর Llama-3 একই text-এর জন্য একই token দেবে

Misconception check

Embedding বলে দেয় একটা word-এর meaning কী

Misconception check

Cosine similarity আর Euclidean distance একই জিনিস measure করে

Misconception check

Contextual embedding আসার পর static embedding obsolete

Misconception check

Bigger embedding dimension সবসময় better

Quick check