Module 2 · Day 12

Plot Pass Rate Over Time

গতকাল runner বানিয়েছ। আজ সেটাকে git-এর সাথে wire করো — প্রতিটা prompt version আলাদা file-এ commit করো, প্রতিটা change-এ suite re-run করো, pass rate-কে commit-এর বিপরীতে plot করো, আর regression ধরা পড়লে PR block করো।

~120 min read5 learning objectives

What you'll learn

•Prompt-versioning file convention বুঝতে পারা — `prompts/v1.txt`, `v2.txt` git-এ।
•Pass-rate trajectory chart পড়তে পারা — up/flat/down যা মানে।
•Regression কী এবং কখন PR block করবে — noise band সহ।
•GitHub Actions workflow file দেখে CI eval loop trace করতে পারা।
•Goodhart's law eval suite-এ কীভাবে apply হয় — test "fix" বনাম prompt fix।

Before this

•Day 11 শেষ — runner + assertions + judge model working pattern।
•Git basics — commit, diff, branch, PR vocabulary।
•Day 4-এর regression/baseline vocabulary fresh।

The Big Picture

Runner এক run-এর জন্য useful। Git-এর সাথে wire করলে সেটা চিরকালীন useful।

Day 11-এ যে runner বানিয়েছ, সেটা এক run-এর জন্য useful। আজ সেটাকে চিরকালীন useful বানাচ্ছ — প্রতিটা prompt version git-এ commit করে, প্রতিটা change-এ suite re-run করে, আর pass rate-কে commit-এর বিপরীতে plot করে। এই chart-ই তোমার PR description-এ ship হওয়া artifact — reviewer-এর চোখের সামনে evidence।

Prompt versioningfile-per-version in git

`prompts/v1.txt`, `prompts/v2.txt`, `prompts/v3.txt` — git-এ separate file per version। Diff-able, blame-able, revert-able। Solo dev-এর জন্য enough; production-এ Braintrust / PromptLayer-এর মতো registry optional।

Why it matters

Prompt is software — software-এর git history থাকে। Version 5-এ তুমি বুঝবে v3-এ কেন regression হয়েছিল — git blame করে দেখলে exact change visible। File-per-version pattern industry standard।

নিচে ৫টা version দেখো — Day 8-এর v1 থেকে Day 11 শেষে v5 পর্যন্ত। Version-chip বা commit dot-এ tap করে দেখো pass rate কীভাবে move করেছে।

Interactive · Pass-rate trajectory

৫টা version, ৪টা change — pass rate কেমন moved?

Day 8 (v1) থেকে Day 11 শেষে v5। প্রতিটা commit-এ eval suite run হয়েছে — chart-এ trajectory। Version-chip বা commit dot-এ tap করে দেখো কোন change কোন direction-এ moved।

Shippedq4r5s6t · 2026-05-2586% (+2pp)

prompts/v5.txt

Adversarial example + 'idioms' hint যোগ। ছোট improvement।

Adversarial example যোগ + idioms-এর hint। +2pp — diminishing returns area। থামার সময় হয়েছে।

▸ v5-এর prompt content দেখো

You are a sentiment-classification assistant. Think briefly about edge cases like sarcasm, mixed signals, ambiguity, and irrelevance before deciding. Be sensitive to cultural context and idioms.

Categories: positive, negative, neutral, mixed, unclassifiable.

Examples:
- "Loved every minute!" → positive
- "Got my flight delayed. #bestdayever" → negative
- "Loved the food, hated the service." → mixed
- "asdf asdf zxcv" → unclassifiable

Tweet: {input}

<thinking>brief reasoning</thinking>
final_label

মনে রাখো: trajectory absolute number-এর চেয়ে important। 60→78 = winning, 78→73 = stop। v3-এর regression কীভাবে catch হয়েছিল pre-merge — সেটাই Day 12-এর core discipline।

Trajectorypass rate vs commit chart

Pass rate over time/commits — line chart। Up = improvement, flat = stuck, down = regression। এই chart তোমার PR description-এ ship করবে — reviewer চোখের সামনে evidence।

Why it matters

Engineers stock chart যেভাবে read করে, trajectory-ও সেভাবে। Iteration measurable হচ্ছে কিনা — trajectory দেখলে instant answer। Day 4-এর 'vibes vs evals' concept-এর time-extended form।

Core Concepts

Regression মানে কী, PR-এ block কীভাবে কাজ করে, আর ৫-block CI workflow ভেতরে কী করছে।

Block on regressionPR can't merge if pass rate dropped

Pass rate drop on PR = block merge until investigated। Threshold typically >2pp (noise band)। Within band = investigate but not auto-block; beyond = hard block। Mechanical discipline, judgment call না।

Why it matters

Blocking না থাকলে prompt silently drift করে। তিন মাস পর production-এ regression discover হলে backtrack করা impossible। Pre-merge eval suite blocks-এ ধরে ফেলে — Day 11-12-এর পুরো investment এখানেই pay off।

PR-এ eval bot automatically comment করে — pass rate, baseline-এর সাথে delta, আর merge করা যাবে কিনা। নিচে ৩টা scenario switch করে দেখো bot কী বলে, আর reviewer কী decision নেয়।

Interactive · GitHub PR comment mockup

PR-এ eval bot কী comment করবে?

৩টা scenario দেখো — improvement, regression, noise-band। প্রতিটায় CI bot কী automated comment post করে এবং reviewer কী decision নেয়।

v2: 3টা few-shot example যোগ

#42 opened 5 minutes ago by you

eval-bot commented just nowvia CI

Eval pass rate: 78%(8/10 tests)

baseline (main): 60% · delta: +18pp

Ready to merge

Edge cases ৩/৩ pass — sarcasm + mixed + ambiguous সব handle হয়েছে।

মূল idea: bot-এর comment = receipt। Reviewer prompt diff পড়ো, bot comment-এ eval signal দেখো, তারপর merge / block decide করো।

CI eval looppush → runner → results → PR comment

GitHub Actions workflow: push trigger → checkout + setup → API key inject → runner.py run → results.csv generate → PR-এ pass rate comment → baseline-এর সাথে compare → block যদি >2pp drop। ~30 lines YAML।

Why it matters

Mechanical মানে reliable। ভুলে যাওয়া মানে eval suite useless। CI-তে wire করা মানে eval suite সবসময় চলে, automatically, merge-এর আগে — engineer-এর memory-র উপর depend করে না।

এই পুরো loop একটা `.github/workflows/eval.yml` file-এ থাকে — ৫টা logical block। প্রতিটায় tap করে দেখো ভেতরে কী YAML আছে।

Interactive · .github/workflows/eval.yml

GitHub Actions — push থেকে PR-comment, ৫টা block

~৩০ lines YAML, ৫টা logical block। প্রতিটা block step-through করে দেখো — eval suite-কে CI-তে wire করতে actually কী লাগে।

Trigger

প্রতিটা push-এ এবং প্রতিটা PR-এ workflow trigger হয়। Prompt file বা test file change-এ specifically।

on:
  pull_request:
    paths:
      - 'prompts/**'
      - 'tests.csv'
      - 'runner.py'

Prompt diffgit diff between versions

`git diff prompts/v1.txt prompts/v2.txt` — code review হিসেবে পড়ো। কোন instruction added/removed/changed। Per-test pass delta-এর সাথে correlate করলে — কোন change কোন test improve/break করল বোঝা যায়।

Why it matters

Prompt change-এর reason বোঝা মানে root cause analysis। "v3 broke v2-এর edge cases" — git diff সরাসরি দেখায় কেন। Production debugging-এ এই habit invaluable।

Two version select করো — git diff visualization দেখাবে কী add / remove / unchanged হয়েছে। Pass-rate delta-এর সাথে correlate করলে cause-and-effect পরিষ্কার হয়।

Interactive · git diff between versions

কোন change কোন direction-এ pass rate move করেছে?

দুটো version select করো — git diff visualization দেখাবে কী add / remove / unchanged। Pass rate delta-এর সাথে correlate করলে cause-and-effect পরিষ্কার হয়।

From (আগের version)

To (নতুন version)

v1 (60%) → v2 (78%)+18pp

 You are a sentiment-classification assistant.
−Classify the sentiment of the tweet below as exactly one of:
−positive, negative, neutral, or mixed.
  
+Classify the sentiment of the tweet as exactly one of:
+positive, negative, neutral, mixed, or unclassifiable.
−Tweet: {input}
+ 
+Examples:
+- "Loved every minute!" → positive
+- "Worst delivery ever." → negative
+- "It exists." → neutral
  
−Output only the single label. No preamble.
+Tweet: {input}
+ 
+Output only the single label. No preamble.

কী change হয়েছে

Day 9-এর few-shot version। +18pp jump — examples-এর power। Edge cases ৩/৩ pass।

CLI equivalent

git diff prompts/v1.txt prompts/v2.txt

Try It Yourself

Regression ধরা পড়লে কী করবে, আর কোনটা git-এ থাকবে কোনটা না — discipline lock করো।

File disciplinewhat's in git, what isn't

`tests.csv` git-এ — locked golden set, PR review require করে। `prompts/v*.txt` git-এ — versions immortal। `results.csv` gitignored — generated artifact, প্রতিটা CI run-এ regenerate হয়। `.github/workflows/eval.yml` git-এ — CI config।

Why it matters

Discipline-এর core: যা locked সেটা git-এ; যা generated সেটা না। Wrong side-এ ভুল করলে — tests "fix" হয়ে যায় (Goodhart's law), অথবা results.csv merge conflicts produce করে।

নিচে ৪টা regression scenario দেখো — noise, real regression, outdated test, catastrophic break। প্রতিটার জন্য সঠিক action pick করো।

Interactive · Regression decision tree

৪টা scenario — কোনটায় কী action?

Eval suite-এ regression ধরা পড়েছে — কী করবে? Noise vs real regression vs test outdated vs catastrophic break — চারটা ক্ষেত্রে আলাদা play। প্রতিটার জন্য সঠিক action pick করো।

Correct: 0 / 4

1pp drop, flaky case

Pass rate 84% → 83% — একটা test case flip করেছে। একই prompt, ভিন্ন model run।

Pass rate drop: 1pp · 1 test newly failing

Failed tests

#7: Eh. It exists.was: neutralnow: mixed

5pp drop, CoT change-এর পর

Pass rate 78% → 73% — ৫টা typical case fail। Prompt-এ CoT যোগ করা হয়েছিল।

Pass rate drop: 5pp · 3 tests newly failing

Failed tests

#1: This movie was amazing!was: positivenow: Looking at this... positive

#2: Worst purchase ever.was: negativenow: After analysis: negative

#6: DO NOT BUY.was: negativenow: The sentiment here is negative

Test outdated হয়ে গেছে

Pass rate 84% → 80%। 'unclassifiable' label v2-এ যোগ হয়েছিল, কিন্তু test #10 এখনো 'neutral' expect করছে।

Pass rate drop: 4pp · 1 test newly failing

Failed tests

#10: asdf asdf zxcvwas: neutral (old)now: unclassifiable (new label)

20pp catastrophic drop

Pass rate 84% → 64%। Prompt template-এ একটা typo — '{input}' হয়ে গেছে '{intput}'।

Pass rate drop: 20pp · 2 tests newly failing

Failed tests

#1: This movie was amazing!was: positivenow: I don't see any input to classify.

#2: Worst purchase ever.was: negativenow: Please provide the tweet text.

Mechanical discipline: noise-band threshold সাধারণত 2pp। Band-এর মধ্যে হলে block না (quietly investigate করো)। Beyond হলে block। Test outdated হলেও team review লাগবে — Goodhart's law থেকে বাঁচতে।

Tip

আজ তিনটা জিনিস করো — (১) নিজের prompt-এর প্রতিটা version আলাদা file-এ commit করো (`prompts/v1.txt`, `v2.txt`, ... — উপরের diff viewer-এর pattern অনুসরণ করে); (২) একটা `.github/workflows/eval.yml` লেখা শুরু করো (উপরের workflow walkthrough থেকে block-গুলো copy করে বসাতে পারো); (৩) নিজের pass-rate trajectory-র জন্য একটা noise-band threshold ঠিক করো (২pp সাধারণ default) — সেটাই তোমার regression-block rule।

Check Your Understanding

ভুল হলে সমস্যা নেই — প্রতিটার ব্যাখ্যা আছে।

Misconception check

একটা prompt.txt file রাখব এবং commit log-এ change track করব — file-per-version overkill

Misconception check

results.csv git-এ commit করব — eval history-র জন্য

Misconception check

Pass rate 1pp drop হলেই PR block করব — strict discipline

Misconception check

CI eval suite solo project-এর জন্য overkill

Misconception check

Prompt change-এর rationale থাকলে test case "fix" করা acceptable

Quick check