একটি single Decision Tree powerful হলেও unstable হতে পারে।
Training data একটু পরিবর্তন করলেই পুরো tree structure বদলে যেতে পারে।
Random Forest এই problem reduce করার জন্য অনেকগুলো Decision Tree combine করে।
Core Idea
একটি tree-এর decision-এর উপর depend না করে অনেক diverse tree-এর prediction combine করি।
এটাই Random Forest-এর মূল intuition।
প্রতিটি Tree কীভাবে আলাদা হয়?
Random Forest সাধারণত দুই ধরনের randomness ব্যবহার করে।
1. Bootstrap Sampling
Original dataset থেকে replacement সহ random sample নেওয়া হয়।
যেমন:
Original:
A B C D E
Bootstrap sample:
A C C E B
একই observation একাধিকবার আসতে পারে।
কিছু observation sample-এ নাও আসতে পারে।
2. Random Feature Selection
প্রতিটি split-এ সব features consider না করে random subset of features consider করা হয়।
ধরুন total features:
100
কিন্তু একটি split-এর সময় model হয়তো consider করছে:
10 random features
ফলে সব tree একই strongest feature-এর উপর depend করে না।
Trees আরও diverse হয়।
Classification
প্রতিটি tree একটি class predict করে।
Final prediction সাধারণত:
Majority Vote
উদাহরণ:
Tree 1 → Fraud
Tree 2 → Normal
Tree 3 → Fraud
Tree 4 → Fraud
Tree 5 → Normal
Final → Fraud
Regression
Regression-এ tree predictions average করা হয়।
উদাহরণ:
Tree 1 → 30 min
Tree 2 → 35 min
Tree 3 → 32 min
Final ≈ 32.3 min
কেন Random Forest কাজ করে?
Single Decision Tree-এর একটি বড় সমস্যা হলো:
High Variance
অনেক decorrelated trees-এর prediction average করলে random errors একে অপরকে partially cancel করে।
ফলে overall variance কমে।
Conceptually:
Many noisy trees
+
Diversity
+
Averaging
=
More stable model
Strengths
strong baseline nonlinear patterns capture করে feature interactions handle করে scaling usually দরকার হয় না outliers-এর প্রতি কিছুটা robust tabular data-তে useful
Weaknesses
single tree-এর তুলনায় model বড় inference slower হতে পারে memory বেশি লাগে interpretation single Decision Tree-এর মতো straightforward নয়
Interview-ready Explanation
Random Forest is an ensemble of Decision Trees.
Each tree is trained on a bootstrap sample, and random
subsets of features are considered during splitting.
For classification, predictions are typically combined
using majority voting, while regression uses averaging.
The main benefit is variance reduction.
By averaging many diverse and less-correlated trees,
Random Forest is usually more stable and generalizes
better than a single Decision Tree.