Machine Learning-এ dimension বলতে সাধারণত feature-এর সংখ্যা বোঝায়।
ধরুন একটি dataset-এ শুধু একটি feature আছে এবং সেই feature-কে আমরা 10টি meaningful region-এ ভাগ করেছি।
1 feature → 10 regions
এখন যদি 2টি feature থাকে, তাহলে possible region হতে পারে:
10 × 10 = 100 regions
আর যদি 10টি feature থাকে:
$$10^{10}$$অর্থাৎ feature-এর সংখ্যা বাড়ার সাথে সাথে data space খুব দ্রুত বিশাল হয়ে যায়।
এই সমস্যাকেই broadly Curse of Dimensionality বলা হয়।
Intuition
ধরুন আপনার কাছে 1,000টি data point আছে।
যদি শুধু একটি feature থাকে, তাহলে pointsগুলোকে একটি line-এর উপর distribute করা হবে।
কিন্তু feature বাড়তে বাড়তে যদি 50 বা 100 হয়ে যায়, একই 1,000টি data point এখন একটি বিশাল high-dimensional space-এ ছড়িয়ে যাবে।
ফলে data অনেক বেশি sparse হয়ে যায়।
অর্থাৎ:
Feature ↑
→ Search space ↑
→ Data sparsity ↑
→ Learning harder
কেন সমস্যা হয়?
High-dimensional space-এ কিছু গুরুত্বপূর্ণ সমস্যা দেখা দেয়।
data points একে অপরের থেকে অনেক দূরে চলে যেতে পারে distance-based similarity কম meaningful হতে পারে model-এর বেশি data প্রয়োজন হতে পারে irrelevant features noise বাড়াতে পারে overfitting-এর risk বাড়তে পারে computation ও memory cost বাড়ে
Distance কেন কম useful হতে পারে?
KNN বা clustering-এর মতো algorithm অনেকটাই distance-এর উপর depend করে।
Low-dimensional space-এ:
Nearest point
এবং:
Far point
এর মধ্যে পরিষ্কার difference থাকতে পারে।
কিন্তু dimension অনেক বাড়লে অনেক point-এর distance একে অপরের কাছাকাছি হয়ে যেতে পারে।
তখন:
Who is really "nearest"?
এই ধারণাটাই কম informative হয়ে যায়।
কোন algorithms বেশি affected?
বিশেষভাবে:
KNN
K-Means
Nearest-neighbor search
Distance-based clustering
high-dimensional data-তে struggle করতে পারে।
তবে Curse of Dimensionality শুধু distance-based algorithm-এর সমস্যা নয়।
Feature বেশি হলে প্রায় যেকোনো model-এ:
more parameters
more noise
more overfitting risk
আসতে পারে।
কীভাবে reduce করা যায়?
Common approaches:
Feature Selection
PCA
Regularization
Embeddings
Domain-driven Feature Reduction
More Training Data
Feature Selection irrelevant বা redundant features বাদ দেয়।
PCA original features থেকে lower-dimensional representation তৈরি করে।
Regularization model-কে unnecessary complexity কমাতে সাহায্য করে।
Embeddings high-dimensional sparse information-কে compact dense representation-এ map করতে পারে।
Important Note
More features মানেই automatically better model নয়।
অনেক সময়:
20 useful features
একটি:
500 noisy features
dataset-এর চেয়ে ভালো performance দিতে পারে।
Interview-ready Explanation
The Curse of Dimensionality refers to the problems that arise
when the number of features becomes very large.
As dimensionality increases, the feature space grows
exponentially and the available data becomes sparse.
This can make distance metrics less meaningful, increase
data requirements, increase computational cost, and
increase the risk of overfitting.
Common solutions include feature selection,
dimensionality reduction such as PCA,
regularization, embeddings, and collecting more data.
সহজে মনে রাখুন:
More dimensions
→ Larger space
→ Sparser data
→ Harder learning