Hierarchical Clustering data points-এর মধ্যে একটি hierarchy of clusters তৈরি করে।
K-Means-এর মতো শুধু final cluster assignment না দিয়ে, এটি দেখাতে পারে কোন clusters একে অপরের সাথে কতটা related।
Core Idea
ধরুন চারটি customer:
A
B
C
D
A এবং B খুব similar।
C এবং D-ও similar।
Hierarchical clustering হয়তো প্রথমে তৈরি করবে:
A + B
C + D
তারপর eventually:
(A,B) + (C,D)
এই merge history একটি tree structure দিয়ে represent করা যায়।
Agglomerative Clustering
সবচেয়ে common hierarchical clustering approach হলো Agglomerative।
এটি bottom-up approach।
শুরুতে প্রতিটি data point নিজেই একটি cluster।
A B C D
তারপর সবচেয়ে similar দুইটি cluster merge হয়।
(A,B) C D
তারপর:
(A,B) (C,D)
সবশেষে:
(A,B,C,D)
একটি বড় cluster হতে পারে।
Divisive Clustering
Divisive হলো opposite approach।
এটি top-down।
শুরুতে:
সব data
→ One cluster
তারপর repeatedly split করা হয়।
One Cluster
↓
Two Clusters
↓
Four Clusters
...
Agglomerative approach বেশি commonly used।
Dendrogram
Hierarchical clustering-এর result visualise করার জন্য Dendrogram ব্যবহার করা হয়।
Conceptually:
______ A
___|
| |______ B
____|
| _____ C
|_____|
|_____ D
যে points বা clusters কম height-এ merge করে, তারা generally বেশি similar।
Cluster Number কীভাবে পাব?
Dendrogram-এর একটি particular height-এ horizontal cut করলে final cluster number পাওয়া যায়।
উদাহরণ:
Higher cut
→ Few large clusters
Lower cut
→ More small clusters
এ কারণে hierarchical clustering-এর একটি advantage হলো শুরুতেই exact K specify না করেও hierarchy examine করা যায়।
Linkage
সবচেয়ে গুরুত্বপূর্ণ প্রশ্ন:
দুইটি cluster-এর মধ্যে distance কীভাবে measure করব?
এর উত্তর দেয় Linkage Method।
Single Linkage
দুই cluster-এর সবচেয়ে কাছের দুই point-এর distance।
Cluster A ← nearest pair → Cluster B
Benefit:
Irregular shape capture করতে পারে
Problem:
Chaining effect
হতে পারে।
Complete Linkage
দুই cluster-এর সবচেয়ে দূরের pair-এর distance consider করে।
এটি তুলনামূলক compact clusters তৈরি করতে পারে।
Average Linkage
দুই cluster-এর সব pairwise distance-এর average ব্যবহার করে।
Single এবং Complete-এর মাঝামাঝি behavior পাওয়া যায়।
Ward Linkage
Ward method এমন merge prefer করে যাতে cluster-এর within-cluster variance সবচেয়ে কম increase করে।
Compact clusters-এর জন্য এটি খুব popular।
Different Linkage → Different Result
একই dataset-এ:
Single
Complete
Average
Ward
different clustering result দিতে পারে।
তাই linkage choice গুরুত্বপূর্ণ।
Limitations
large dataset-এ computationally expensive হতে পারে
distance metric sensitive
scaling গুরুত্বপূর্ণ
linkage selection result change করতে পারে
outliers hierarchy distort করতে পারে
Interview-ready Explanation
Hierarchical Clustering creates a hierarchy of clusters.
Agglomerative clustering starts with each observation as
its own cluster and repeatedly merges the closest clusters.
Divisive clustering starts with one large cluster and
repeatedly splits it.
A dendrogram visualizes the hierarchy, and the number of
clusters can be selected by cutting the dendrogram at a
chosen level.
The result depends strongly on the linkage method,
such as single, complete, average, or Ward linkage.