Module 1 · Day 3

Inside the Transformer

Day 1-এ শিখেছো LLM মানে দুটো file, Day 2-এ শিখেছো token আর embedding। আজ সেই embedding vector transformer block-এর ভেতরে ঢোকার পর কী হয় — সেটাই finally খুলে দেখবে। Q, K, V, attention-এর ৪ ধাপ, multi-head, positional encoding, residual, causal mask — সব এক এক করে ৫টা interactive demo দিয়ে। Module 1-এর শেষ দিন এটাই।

~180 min read5 learning objectives

What you'll learn

•একটা transformer block-এর ভেতরে কী হয় — “input vector → attention → FFN → refined output” — এই picture পরিষ্কার বলতে পারা।
•Q, K, V কেন তিনটা আলাদা projection — এবং attention-এর ৪ ধাপ (score → scale → softmax → blend) নিজে কাগজে চালাতে পারা।
•Multi-head কেন — “different heads, different relationships” — সেটা একটা বাক্যে বুঝিয়ে বলতে পারা।
•কেন positional encoding দরকার (permutation problem) এবং RoPE কী — অন্তত নাম + এক বাক্যে intuition।
•Causal mask কেন decoder-only model-কে autoregressive বানায় — সেটা বুঝতে পারা।

Before this

•Day 1 + Day 2 শেষ। Token, embedding, vector, cosine similarity — এই concepts চেনা।
•একটু matrix operation চেনা থাকলে ভালো (dot product, matrix multiplication — কিন্তু আমরা picture দিয়েই বুঝাব)।
•Math phobia? No problem — formula শুধু একটা পাশে রাখব, intuition আগে।

The Big Picture

পুরো journey — input থেকে next token।

Day 1-এ দেখেছো — LLM মানে parameters file + run code। Day 2-এ দেখেছো — text কীভাবে token → ID → embedding হয়। আজ সেই embedding vector গুলো transformer block-এর ভেতরে ঢোকার পর কী হয়, সেটাই finally খুলে দেখব।

এক block একটাই কাজ করে — vector নেয়, context দিয়ে refine করে, refined vector ফেরত দেয়। GPT-3 এই কাজটা ৯৬ বার পরপর করে। আজ এক block-এর ভেতর কী ঘটে — self-attention, multi-head, positional encoding, residual, causal mask — এই সব এক এক করে ৫টা interactive demo দিয়ে। কাল থেকে Module 2 শুরু (prompting আর evals) — কিন্তু এই foundation আজ একবার বসিয়ে নিলে বাকি সব lesson সহজ লাগবে।

Interactive · Transformer pipeline

Input থেকে next token — পুরো journey

Sample input: “The cat sat on the”। Model কী predict করবে next token হিসেবে? Step by step transformer-এর ভেতরে কী হচ্ছে দেখো।

Input tokens

Thecatsatonthe

1Input embeddings + position info
Tokens-কে vector-এ convert + position-এর তথ্য যোগ। Vector ঢোকার জন্য তৈরি।
Shape: [seq_len × d_model]
2Transformer block × N
প্রতি block-এ: self-attention দিয়ে context mix → FFN দিয়ে per-token refinement। দুটোর চারপাশে residual + layer norm। N বার repeat (GPT-3: 96, Llama-3 70B: 80)।
Each block refines, same shape out as in
3Last position's vector
Generation-এর সময় শুধু শেষ position-এর refined vector দরকার — সেটাই next token predict করবে।
Shape: [d_model]
4Linear → vocab_size logits
Vector-কে vocab_size dimension-এ project — vocab-এর প্রতিটা token-এর জন্য একটা “score” (logit)।
Shape: [vocab_size]
5Softmax → probabilities
Logits-গুলোকে probability-তে convert (sum = 1)। যেটার probability সবচেয়ে বেশি — সেটা most likely next token।
Shape: [vocab_size], sum = 1

Predicted next token (top 7)

“The cat sat on the” → ?

mat

62%

rug

14%

floor

chair

ground

couch

...

Transformer blockthe refinement station

এক block = এক refinement step। দর্জির দোকানে পাঞ্জাবি বানানোর মতো — প্রতিবার ফিটিং-এ একটু একটু নিখুঁত হয়। Block input হিসেবে কিছু vector নেয়, ভেতরে দুটো sublayer (self-attention + FFN) চালায়, output হিসেবে same shape-এর refined vector দেয়। Refined মানে — এখন vector-গুলোতে আশেপাশের context-এর তথ্য মেশানো আছে। GPT-3: ৯৬টা block, Llama-3 70B: ৮০টা, GPT-2 small: ১২টা — মানে ৯৬ বার পর্যন্ত ফিটিং।

Why it matters

যখন কেউ বলে “transformer” বা “layer”, সে আসলে এই block-এর কথা বলছে। এই abstraction পরিষ্কার থাকলে “96-layer model” শুনে সঙ্গে সঙ্গে বুঝবে — মানে ৯৬ বার refinement।

Attention — The Heart of the Block

Q, K, V → score → softmax → blend।

Query, Key, Valuethe three projections

এক token-এর embedding × তিনটা আলাদা learned weight matrix (W_Q, W_K, W_V) → Q, K, V vector পাও। তিনটাই same input-এর তিনটা আলাদা angle: Q = “আমি কী খুঁজছি?”, K = “আমি কী offer করি?”, V = “আমি কী contribute করব?”। তিনটা আলাদা matrix কারণ model freely শিখতে পারবে “looking for” আর “advertising”-এ different signal থাকা দরকার।

Why it matters

এই তিনটা আলাদা projection — attention-এর সবচেয়ে non-obvious part। বুঝলে বাকি সব formula সহজ লাগবে।

Scaled attentionthe 4-step formula

Attention(Q, K, V) = softmax(Q · Kᵀ / √d_k) · V। ৪ ধাপ — (১) Q · Kᵀ = প্রতি query-key পেয়ারের জন্য similarity score। (২) ÷ √d_k = score-গুলো scale down (softmax stability)। (৩) softmax = score → probability (sum=1)। (৪) × V = weighted blend of values। Output = current token-এর জন্য নতুন refined vector।

Why it matters

এই formula 2017-এর paper থেকে এসেছে আর এখনো প্রায় unchanged। Attention বোঝা মানে এই ৪ ধাপ মুখস্থ করে কাগজে চালানো।

Interactive · Scaled dot-product attention

৪ ধাপে এক token-এর refinement

Sentence: “The cat sat on the mat”। Query token বদলাতে পারো (নিচে)। তারপর “Next” চাপো — attention-এর ৪ ধাপ step by step।

Query token:

Start

Query token পছন্দ করো (উপরে ট্যাপ করে)। দেখো বাকি token-এর সাথে relationship।

Token (key)	Q · K (raw)	÷ √d_k	softmax weight
The	—	—	—
catQ	—	—	—
sat	—	—	—
on	—	—	—
the	—	—	—
mat	—	—	—

Multi-headdifferent heads, different perspectives

Single attention head এক relationship pattern-ই শিখতে পারে। Multi-head = parallel-এ multiple heads (original transformer: ৮টা, GPT-3: ৯৬টা)। প্রতিটা head-এর নিজস্ব W_Q, W_K, W_V — আলাদা attention pattern শেখে। শেষে concatenate + একটা output projection (W_O)। Same compute cost কারণ প্রতি head-এর dimension d_model / num_heads।

Why it matters

“The animal didn't cross the street because it was too tired” — এক head শিখে “it→animal” (anaphora), আরেক head “tired→animal” (state)। একসাথে multiple relationship।

Interactive · Multi-head attention

একই sentence, ৪টা head — ৪ ধরনের attention

Canonical sentence: “The animal didn’t cross the street because it was tired.”। Pronoun “it”-এর attention বিভিন্ন head-এ ভিন্ন রকম। Head বদলে দেখো।

Head 1 — anaphora resolution

Pronoun “it” → কোন noun-এর reference? সবচেয়ে বেশি attention “animal”-এ।

Fromit→ attends to:

The5%animal65%didn't4%cross3%the2%street10%because2%it5%was2%tired2%

All 4 heads at a glance

Head 1

Head 2

Head 3

Head 4

Theanimdidncrosthestrebecaitwastire

একসাথে এই ৪ head চলছে। “it” বুঝতে গিয়ে model একই moment-এ ৪টা lens দিয়ে দেখছে — কে subject, কে state, কে adjacent, কে action। শেষে এই ৪ head-এর output concatenate হয়ে next layer-এ যায়। তাই “multi”-head মানে parallel perspectives, sequential না।

The Supporting Cast

Positional encoding, residual, layer norm, FFN — এসব ছাড়া কিছুই train হয় না।

Positional encodingfixing the permutation problem

Self-attention permutation equivariant — token-এর order ignore করে। “Dog bites man” আর “Man bites dog” আলাদা vector দেবে না নিজে থেকে। Solution — position-এর তথ্য embedding-এ inject কর। দুটো প্রধান approach: (১) Sinusoidal (2017 original) — fixed sin/cos pattern, প্রতি position-এ unique। (২) RoPE (2021) — Q আর K-কে position-অনুযায়ী rotate কর; Llama, Mistral, Qwen, DeepSeek — সব এটা use করে।

Why it matters

Modern LLM paper পড়লে “rotary position embeddings” বা “RoPE” শুনবে। আজ অন্তত নাম + এক বাক্যে intuition থাকুক।

Interactive · Sinusoidal positional encoding

প্রতি position-এর নিজস্ব fingerprint

প্রতি row একটা position (0, 1, 2, ...)। প্রতি column একটা dimension (0, 1, 2, ..., d-1)। Pixel-এর color = সেই (position, dimension) cell-এ sin বা cos এর value। খেয়াল করো — low dimension index-এ wave fast oscillate করে, high index-এ slow। এই pattern unique per position, কিন্তু similar position-এ similar pattern (smooth)।

32 positions × 32 dimensions

01631

dim 0dim 16dim 31

−1

Position selector

pos =8

Encoding for position 8

First 4 dims

[0.99, -0.15, -0.98, -0.21]

Last 4 dims

[0.00, 1.00, 0.00, 1.00]

খেয়াল করো: বাম দিকের columns (low dim index) দ্রুত alternate করে; ডান দিকের columns ধীরে। এই multi-frequency pattern-ই প্রতি position-কে unique identity দেয়, কিন্তু similar position-এর pattern-ও similar — model relative position শিখতে পারে।

Formula (যদি দেখতে চাও)

PE(pos, 2i) = sin(pos / 10000^(2i/d)) — even dimension। PE(pos, 2i+1) = cos(pos / 10000^(2i/d)) — odd dimension। 10000 হলো base wavelength।

Modern note: Llama, Mistral, Qwen, DeepSeek এখন এই sinusoidal pattern ব্যবহার করে না — তারা use করে RoPE (Rotary Position Embeddings)। Sinusoidal embedding-এ “add” করে; RoPE Q/K vector-কে position-অনুযায়ী “rotate” করে। Result similar কিন্তু relative position আরো naturally encoded।

Residual connectionthe gradient highway

Each sublayer-এর output-এ input add কর: output = sublayer(x) + x। শুনে trivial মনে হয় কিন্তু এটা না থাকলে ৯৬-layer transformer train-ই হবে না — gradient back-propagation-এ vanish করে যাবে। ResNet (2015)-এর idea। Residual path gradient-এর জন্য একটা “highway” — directly pass through।

Why it matters

Engineering choice, not theory। কিন্তু ছাড়া transformer = unusable। তাই প্রতি সাবলেয়ার-এর চারপাশে এটা থাকে।

Layer normalization

Per-token, per-layer normalize — vector-এর mean 0, variance 1 করো। Training stability-র জন্য critical। Original paper post-norm (sublayer-এর পর); modern practice pre-norm (sublayer-এর আগে) — deeper network-এ training stable।

Why it matters

প্রায় সবসময় background-এ। কিন্তু “why doesn't my deep transformer train” debug করতে হলে এই concept-এ ফিরে আসতে হবে।

FFNfeed-forward network — the per-token compute

Each token-এর vector-এ independently এই MLP চলে: linear → activation (ReLU/GELU) → linear। Inner dimension সাধারণত 4× of d_model (যেমন d=512 হলে inner=2048)। Attention “context mix” করে; FFN “per-token computation” করে। Surprising fact — model-এর majority parameter এই FFN-এ থাকে, attention-এ না।

Why it matters

Mixture of Experts (MoE) models — DeepSeek, Mixtral — ঠিক এই FFN-কে replace করে multiple specialized experts দিয়ে। Modern architecture-এ এটা চেনা জরুরি।

Decoder Side — Masking and Final Softmax

কেন GPT এক token করে generate করে।

Causal maskno peeking at the future

Day 1-এ বলেছিলাম — পরীক্ষায় পাশের জনের খাতা দেখা নিষেধ। সেই নিয়মটাই এখানে matrix আকারে। Decoder-only (GPT) self-attention-এ একটা mask — position i শুধু position 0 থেকে i−1 দেখতে পারে। Future token-এর attention score = −∞ (softmax-এর পর 0)। Training-এ যাতে next-token prediction-এ cheating না হয়। Inference-এ এই mask-ই generation-কে autoregressive বানায় — এক token করে।

Why it matters

Encoder (BERT) সব দেখে; decoder (GPT) শুধু past দেখে। এই difference architectural — mask দিয়ে enforced।

Interactive · Causal mask

Future token কেন hide করা থাকে

Self-attention matrix-এর প্রতি cell (row=query, col=key) — কতটা attention। Decoder-এ একটা mask যোগ করা হয় যাতে position i শুধু position 0..i দেখতে পারে। নিচে tap করে difference দেখো।

Attention matrix

	The	cat	sat	on	the	mat
The
cat
sat
on
the
mat

Row = query position · Col = key position · Cell-এ tap করো

Masked mode (decoder): Upper triangle (j > i) সব −∞ — softmax-এর পর 0 attention। তাই training-এ token i predict করতে শুধু 0..i-1 দেখতে পারে। GPT, Llama-জাতীয় decoder-only model এভাবেই কাজ করে।

Inference-এ এই mask = autoregressive generation। Model এক token predict করে → output-এ যোগ করে → পরের iteration-এ পুরো sequence (নতুন token সহ) আবার পাঠায়। প্রতিটা new token শুধু past দেখে — exactly যেমন training-এ mask ছিল।

Logits & softmaxpredicting the next token

শেষ block-এর শেষ position-এর vector → linear projection [d_model → vocab_size] → logits। Softmax(logits) → probability distribution over vocab। শীর্ষ probability-র token = greedy choice। অথবা sampling — temperature, top-p, top-k দিয়ে variation যোগ করে। যেটা চাই — সেটাই predicted next token।

Why it matters

Sampling parameters সামনে আসবে। আজকের জন্য — এই last step-টা পরিষ্কার হলে “কীভাবে model একটা token output করে” পুরো mechanism complete।

Check Your Understanding

ভুল হলে সমস্যা নেই — প্রতিটার ব্যাখ্যা আছে।

Misconception check

Q, K, V তিনটা completely আলাদা vector — একই input থেকে আসে না

Misconception check

Multi-head attention মানে multiple attention layer একটার পর একটা stack

Misconception check

Self-attention নিজে থেকে token order বোঝে

Misconception check

Residual connections accuracy বাড়ায়

Misconception check

Modern LLM (Llama, Mistral) sinusoidal positional encoding ব্যবহার করে

Misconception check

Causal mask শুধু inference-এ ব্যবহার হয়

Misconception check

Model-এর majority parameter attention layer-এ থাকে

Quick check