Hypothesis testing-এ একটি গুরুত্বপূর্ণ প্রশ্ন হলো:
আমরা decision নেওয়ার সময় কী ধরনের ভুল করতে পারি?
মূলত দুই ধরনের error নিয়ে বেশি আলোচনা করা হয়:
Type I Error
Type II Error
Type I Error
ধরুন Null Hypothesis আসলে true।
কিন্তু আমরা সেটিকে reject করলাম।
এটাই Type I Error।
এটি সাধারণভাবে:
False Positive
হিসেবে পরিচিত।
এর probability-কে significance level দিয়ে represent করা হয়:
$$\alpha$$Example:
New model আসলে better নয়।
কিন্তু experiment-এর result দেখে
আমরা conclude করলাম যে model better।
এটি একটি false positive।
Type II Error
এবার উল্টো situation।
বাস্তবে একটি effect আছে।
কিন্তু আমাদের test সেটি detect করতে পারল না।
এটাই Type II Error।
এটি সাধারণভাবে:
False Negative
হিসেবে পরিচিত।
এর probability:
$$\beta$$Example:
New model সত্যিই better।
কিন্তু experiment-এর result
statistically significant হলো না।
এক্ষেত্রে আমরা একটি real effect detect করতে ব্যর্থ হলাম।
Statistical Power
Statistical power হলো:
$$Power = 1 - \beta$$অর্থাৎ:
বাস্তবে effect থাকলে সেটি detect করে Null Hypothesis reject করতে পারার probability।
সহজভাবে:
Power
→ Real effect থাকলে
সেটি detect করার ability
Power সাধারণত বাড়ে যখন:
sample size বাড়ে; effect size বড় হয়; data-এর variability বা noise কমে; এবং অন্যান্য design factors favourable হয়।
Type I বনাম Type II
Type I
→ False Alarm
→ Effect নেই, কিন্তু effect আছে বললাম
Type II
→ Missed Detection
→ Effect আছে, কিন্তু detect করতে পারলাম না
আর:
Power = 1 - β
অর্থাৎ Power যত বেশি, real effect detect করার probability তত বেশি।
একটি ছোট কিন্তু গুরুত্বপূর্ণ correction করেছি: **“T-Test for proportions” বাদ দিয়ে “Testing Proportions”** করেছি। কারণ proportion-এর জন্য সাধারণভাবে t-test নয়, two-proportion z-test বা context অনুযায়ী অন্য methods ব্যবহৃত হয়।