Regression model নির্বাচন করার সময় শুধু fit ভালো হলেই হবে না।
আমরা সাধারণত চাই:
Good fit
+
Reasonable model complexity
অতিরিক্ত complex model unnecessary predictors বা flexibility নিয়ে আসতে পারে।
AIC
AIC = Akaike Information Criterion।
$$\text{ AIC } = 2k - 2\ln(L)$$যেখানে:
k = number of estimated parameters
L = maximum likelihood
AIC fit এবং model complexity—দুটিকে একসাথে বিবেচনা করে।
BIC
BIC = Bayesian Information Criterion।
$$\text{ BIC } = k\ln(n) - 2\ln(L)$$এখানেও fit এবং complexity-এর মধ্যে balance করা হয়।
AIC vs BIC
একই dataset এবং comparable model-এর ক্ষেত্রে সাধারণত lower AIC/BIC preferred।
BIC-এর complexity penalty dataset size $n$-এর সঙ্গে বাড়ে:
$$k\ln(n)$$তাই বড় dataset-এ BIC সাধারণত AIC-এর তুলনায় model complexity-কে stronger penalty দেয়।
Mallows” Cp
Mallows” Cp মূলত linear regression-এ subset selection-এর জন্য historically ব্যবহৃত একটি criterion।
এর মূল উদ্দেশ্য হলো এমন predictor subset নির্বাচন করা যেখানে:
Good fit
+
Low unnecessary complexity
থাকে।
Important
AIC = 100 বা BIC = 100 দেখেই বলা যায় না যে model ভালো বা খারাপ।
এগুলো সাধারণত একই data এবং comparable candidate models-এর মধ্যে comparison-এর জন্য বেশি useful।