Module 2 · Day 13

Reasoning Techniques: Chain-of-Thought & Self-Critique

Module 2-র শেষ দিন। Model-কে ধাপে ধাপে ভাবতে বলা — কখন সাহায্য করে, কখন করে না, production-এ structured রাখবে কীভাবে, আর প্রতিটা technique নিজের eval harness-এ কীভাবে re-measure করবে।

~240 min read7 learning objectives

What you'll learn

•Chain-of-Thought (CoT) কী আর কেন কাজ করে — “কাজ দেখাও”-এর প্রভাব।
•CoT কখন সাহায্য করে (math/logic) আর কখন করে না বা ক্ষতি করে (simple classification) — বুঝে use করা।
•Production-এ structured CoT — `<thinking>` tags দিয়ে reasoning আর parseable answer আলাদা রাখা।
•Self-critique loop চালানো — generate → critique → refine, এক model তিন ভূমিকায়।
•Self-consistency বোঝা — multiple path sample করে majority vote, accuracy বনাম খরচ।
•Modern reasoning model (adaptive thinking) আর prompted CoT-র পার্থক্য — কখন কোনটা।
•যেকোনো reasoning technique eval harness-এ re-measure করা — Module 2-র শেষ শিক্ষা।

Before this

•Day 8 — zero-shot baseline prompt + hand-built test cases।
•Day 11 — runner + assertions (exact_match) working।
•Day 12 — prompt versioning + pass-rate trajectory; v3-এ CoT কীভাবে regression এনেছিল মনে আছে।

The Big Picture

Module 2-র শেষ দিন — reasoning technique-ও নিজের eval harness দিয়ে মাপতে হয়।

Module 2-র শেষ দিন এটা (Day 4–13)। এতদিন prompt বানিয়েছ, structure শিখেছ, evaluate করেছ। আজ শেখা প্রতিটা reasoning technique — CoT, self-critique, self-consistency — একই নিয়মে চলবে: “smarter লাগছে” যথেষ্ট না, নিজের eval harness-এ re-measure করে দেখাতে হবে। এটাই আজকের capstone।

Chain-of-ThoughtCoT — “show your work”

উত্তরের আগে model-কে ধাপে ধাপে যুক্তি লিখতে বলা। Zero-shot trigger এক লাইন — `Let's think step by step`; few-shot হলে কয়েকটা worked example দেখাও। Intermediate steps লেখায় multi-step সমস্যায় ভুল কমে।

Why it matters

অঙ্ক পরীক্ষায় শিক্ষক বলেন “কাজ দেখাও” — সরাসরি উত্তরে এক ভুলে শূন্য, ধাপ লিখলে নিজের ভুল নিজে ধরা পড়ে। Model-এর বেলায়ও তাই: ধাপ লেখার জায়গা পেলে হিসাব হারায় না। ২০২২-এর একটা landmark paper দেখায় এটা বড় model-এ emergent।

নিচের multi-step bKash হিসাবটা দেখো — সরাসরি উত্তর আর ধাপে ধাপে উত্তর পাশাপাশি। Run চেপে দেখো ধাপ আসতে আসতে উত্তরটা কীভাবে ঠিক হয়ে যায়।

Interactive · Direct answer vs Chain-of-Thought

একই অঙ্ক, দুই ভাবে

Multi-step একটা হিসাব। বাঁয়ে model সরাসরি উত্তর দেয় — দ্রুত, কিন্তু একটা অংশ হারায়। ডানে “কাজ দেখাও” — ধাপে ধাপে। Run চেপে দেখো ধাপ আসতে আসতে উত্তরটা কীভাবে ঠিক হয়।

Problem

রাফি ৩ জনকে bKash করল — ৳৮০০, ৳৪৫০, আর ৳১,২৫০। প্রতি send money-তে ৳৫ charge কাটে। রাফির account থেকে মোট কত টাকা গেল?

সরাসরি উত্তর

৳২,৫০০ ভুল

এক ঝটকায় উত্তর: তিনটা amount যোগ করে ৳২,৫০০ — কিন্তু charge তিনটা ভুলে গেল। দ্রুত, আত্মবিশ্বাসী, ভুল।

Chain-of-Thought

Run চাপলে ধাপগুলো একে একে আসবে।

একই model, একই প্রশ্ন — শুধু “কাজ দেখাও” বলায় উত্তর বদলে যায়।

Selective reasoningCoT কখন সাহায্য, কখন ক্ষতি

CoT universal switch না। ১০০+ paper-এর একটা 2024-এর meta-analysis: math, logic, symbolic — বড় গেইন; simple classification, commonsense, factual lookup — প্রায় শূন্য, কখনো negative। উপরন্তু প্রতিবার বেশি token + latency।

Why it matters

রাফির complaint-categorizer এক-শব্দের label দেয় — এখানে CoT জুড়লে accuracy বাড়ে না, উল্টো reasoning preamble এসে exact_match ভাঙে (Day 12-র v3)। “সব prompt-এ CoT লাগাও” — এটাই সবচেয়ে common ভুল। কখন লাগাবে, সেটাই আসল skill।

Core Concepts

CoT কখন কাজ করে, production-এ কীভাবে structure করবে, আর self-critique loop।

উপরের bKash উদাহরণে CoT জিতেছে। কিন্তু সব জায়গায় জেতে না। নিচের ৬টা task-type চাপ দিয়ে দেখো — কোথায় CoT বড় সাহায্য করে, কোথায় প্রায় কিছুই বদলায় না, আর কোথায় উল্টো ক্ষতি করে।

Interactive · CoT কখন সাহায্য করে, কখন না

Task type বেছে দেখো

১০০+ paper-এর একটা meta-analysis বলে — CoT সব জায়গায় সমান কাজ করে না। নিচের task-গুলোয় চাপ দিয়ে দেখো “সরাসরি উত্তর” বনাম “CoT”-এর illustrative accuracy কেমন বদলায়।

Multi-step math (bKash হিসাব)

CoT verdict: বড় সাহায্য

সরাসরি উত্তর62%

CoT দিয়ে89%

CoT-র প্রভাব:+27pp

একাধিক ধাপ — যোগ, গুণ, বিয়োগ। ধাপ লুকালে model হিসাব হারায়; CoT বড় গেইন দেয়।

নিয়ম: math/logic/symbolic হলে CoT-তে যাও। এক-শব্দের classification বা factual lookup হলে আগে সরাসরি try করো — reason জুড়লে শুধু খরচ আর parser-ভাঙার ঝুঁকি। (Accuracy সংখ্যাগুলো illustrative।)

Structured CoT<thinking> tags + last-line answer

Reasoning `<thinking>...</thinking>`-এ আটকাও, final answer শেষ লাইনে একা রাখো। তাহলে parser শুধু শেষ লাইন নেয় — reasoning থাকল, কিন্তু output পরিষ্কার, exact_match মেলে।

Why it matters

Day 12-র গল্প: v3 raw CoT যোগ করে pass rate ৭৮% → ৭৩% (preamble leak)। v4 `<thinking>` tags + “final label on the LAST line, alone” দিয়ে ৮৪%। একই reasoning, শুধু format — তফাত eval-এ সরাসরি দেখা গেছে। Production CoT মানেই structured CoT।

Day 12-র v3 মনে আছে? CoT যোগ করার পর pass rate পড়ে গিয়েছিল — কারণ output-এর শুরুতে reasoning preamble চলে এসেছিল, exact_match মেলেনি। নিচে raw বনাম structured দুটো version toggle করে দেখো কোনটা parser-এ টেকে।

Interactive · Raw CoT বনাম structured CoT

একই reasoning, এক assertion পাস — এক fail

রাফির complaint-classifier। assertion হলো exact_match — output হুবহু delivery_delay হতে হবে। দুটো version toggle করে দেখো কোনটা parser-এ টেকে। (Day 12-র v3 → v4-এর আসল গল্প।)

Prompt

Classify the complaint. First reason step by step, then give the label.

Complaint: {input}

Model output

Looking at this complaint, the customer mentions a 3-day delay
in delivery and sounds frustrated. The core issue is clearly about
timing, not the product itself. So the category is delivery_delay.

Parser নেয় (last line)

Looking at this complaint, the customer ment…

exact_match vs delivery_delay: FAIL

exact_match assertion পুরো output-টা “delivery_delay”-র সাথে মেলাতে চায়। কিন্তু output-এ আগে তিন লাইন reasoning। মেলে না → FAIL। Day 12-র v3 ঠিক এভাবেই −5pp regression এনেছিল।

Production CoT মানেই structured CoT: reasoning <thinking> tags-এ, final answer শেষ লাইনে একা।

Self-critiquegenerate → critique → refine

এক model তিন ভূমিকায়: প্রথমে draft লেখে (generator), তারপর সেই draft-কে দেওয়া criteria দিয়ে যাচাই করে (critic), শেষে critique মেনে আবার লেখে (refiner)। কোনো extra training লাগে না। একটা landmark study-তে (Self-Refine পদ্ধতি) গড়ে ~২০% উন্নতি।

Why it matters

নিজের লেখা ভুল ধরা সহজ, এক চেষ্টায় perfect লেখা কঠিন — model-এর জন্যও তাই। তবে শর্ত: criteria দিতে হবে (“delay উল্লেখ করেছ? concrete date দিয়েছ?”)। এই generate→critique→refine loop-টাই পরের কোনো module-এর self-correcting agent-এর বীজ।

Structured CoT output পরিষ্কার রাখে। Self-critique আরেক ধাপ এগিয়ে — model নিজের output-কেই criteria দিয়ে যাচাই করে, তারপর ঠিক করে। নিচে রাফির একটা delayed-order English reply-তে পুরো loop-টা চালাও।

Interactive · Self-critique loop

এক model, তিন টুপি

রাফি একটা delayed-order complaint-এর English reply লিখবে। একই model প্রথমে draft লেখে, তারপর নিজের draft criteria দিয়ে যাচাই করে, শেষে ঠিক করে। Next চেপে loop-টা চালাও।

Generator

Critic

Refiner

Next চাপলে generator-এর প্রথম draft আসবে।

Prompt-এ লেখো: Before you finish, verify your answer against the criteria, then improve it।

Try It Yourself

একাধিক reasoning path sample করে ভোট, আর modern reasoning model-এ কী বদলায়।

Self-consistencysample N paths, majority vote

একই কঠিন প্রশ্ন temperature দিয়ে N বার চালাও — আলাদা আলাদা reasoning path আসে। শেষে final answer-গুলোর majority vote নাও। একটা path ভুল করলেও বাকিরা টেনে তোলে। একটা landmark study-তে GSM8K ৫৬% → ৭৪% (৪০ sample-এ)।

Why it matters

একটা reasoning chain ভুল মোড় নিতে পারে; কিন্তু বেশিরভাগ পথ ঠিক উত্তরে মেলে। ভোট সেই common উত্তর বেছে নেয়। দাম: N গুণ token + latency। তাই free না — শুধু high-value, hard problem-এ।

Self-critique এক model-কে নিজের ভুল ধরতে শেখায়। Self-consistency ভিন্ন approach — একই প্রশ্ন কয়েকবার চালিয়ে ভোট নেওয়া। নিচের marble-probability সমস্যায় ৫টা path sample করো, দেখো ভোট কীভাবে একটা ভুল path-কে ছাপিয়ে যায়।

Interactive · Self-consistency — sample & vote

৫টা path, একটা ভোট

একই কঠিন প্রশ্ন temperature দিয়ে কয়েকবার চালাও — আলাদা reasoning path আসে। একটা path ভুল করলেও বাকিরা টেনে তোলে। শেষে answer-গুলোর majority vote নাও। Sample চেপে দেখো।

Problem

একটা ব্যাগে ৫টা লাল আর ৩টা নীল মার্বেল। না-ফিরিয়ে পরপর ২টা তুললে — দুটোই লাল হওয়ার probability কত?

Sample চাপলে একটা একটা করে reasoning path আসবে।

দাম মনে রেখো: ৫টা sample = ~৫× token + latency। তাই self-consistency সস্তা না — শুধু high-value, কঠিন reasoning problem-এ যেখানে accuracy-র দাম বেশি।

Reasoning modelsadaptive / extended thinking

Modern frontier model (Claude adaptive thinking, o-series) ভিতরে ভিতরেই reason করে — তুমি `<thinking>` না লিখলেও। কত ভাববে নিজেই ঠিক করে (effort/budget)। এর উপর হাতে “think step by step” জুড়লে redundant, কখনো overthinking বাড়ায়।

Why it matters

তাই prompted CoT (তুমি লেখো) আর built-in reasoning (model করে) — দুটো আলাদা। Manual CoT এখন fallback: thinking off থাকলে, ছোট/পুরোনো model-এ, বা reasoning trace দেখাতে চাইলে। এখন default frontier model-এ আগে মাপো, তারপর দরকার হলে হাতে reasoning জোড়ো।

Re-measurereasoning ও eval harness-এ মাপো

CoT, self-critique, self-consistency — যেটাই যোগ করো, শেষ ধাপ একটাই: Day 11-র runner আবার চালাও, pass rate দেখো। “Smarter লাগছে” কোনো প্রমাণ না।

Why it matters

এটাই পুরো Module 2-র সমাপ্তি। Day 4 বলেছিল vibes না, evals। Day 13 সেটাকে reasoning technique-এও খাটায়: CoT যোগ করে v3-তে মনে হয়েছিল smarter, eval বলল −5pp। কাকে বিশ্বাস করবে? eval-কে। এটাই তোমার measured production prompt — Module 2 milestone।

Tip

আজ তিনটা জিনিস করো — (১) নিজের project-এর একটা multi-step task নাও, zero-shot বনাম `Let's think step by step` দুটো version try করো; (২) CoT যোগ করলে output structured রাখো — `<thinking>` tags-এ reasoning, final answer শেষ লাইনে একা; (৩) Day 11-র runner দিয়ে দুই version-ই re-run করো — pass rate compare করো, শুধু “ভালো লাগছে” বলে থেমো না।

Check Your Understanding

ভুল হলে সমস্যা নেই — প্রতিটার ব্যাখ্যা আছে।

Misconception check

CoT সব prompt-এ যোগ করলেই model smarter হয় — always add “think step by step”

Misconception check

Modern reasoning model-এও prompt-এ “Let's think step by step” লিখতে হয়

Misconception check

Self-critique সবসময় answer ভালো করে — শুধু “critique yourself” বললেই হলো

Misconception check

CoT-র reasoning টেক্সটটাই উত্তর — পুরো output-টা return করে দাও

Misconception check

Self-consistency = free accuracy boost — সবসময় চালাও

Quick check