Dataset-এ 500টি feature আছে মানেই সব feature model-এ ব্যবহার করতে হবে এমন নয়।
কিছু feature হতে পারে:
irrelevant
redundant
noisy
leakage-prone
expensive to compute
Feature selection-এর লক্ষ্য হলো useful signal রেখে unnecessary feature কমানো।
Filter Methods
Model train করার আগে statistical বা information-based criteria দিয়ে feature select করা হয়।
Examples:
Correlation
Mutual Information
Chi-square
এগুলো সাধারণত model-independent এবং তুলনামূলকভাবে computationally efficient।
Wrapper Methods
Different feature subsets নিয়ে model বারবার train এবং evaluate করা হয়।
Example:
Recursive Feature Elimination
এগুলো potentially ভালো subset খুঁজতে পারে, কিন্তু repeated model training-এর কারণে computationally expensive হতে পারে।
Embedded Methods
Model training-এর মধ্যেই feature selection বা feature shrinkage-এর কাজ হয়।
Examples:
Lasso
Tree-based feature importance
Benefits
ভালো feature selection-এর ফলে:
model training faster হতে পারে
unnecessary noise কমতে পারে
overfitting-এর risk কমতে পারে
interpretation সহজ হতে পারে
serving cost কমতে পারে
তবে feature selection নিজেও validation-এর অংশ হওয়া উচিত, যাতে test-set information leakage না হয়।