OLS = Ordinary Least Squares।

এটি linear regression-এর একটি classic parameter estimation method।

ধরুন আমাদের model:

$$y = \beta_{0} + \beta_{1}x_{1} + \beta_{2}x_{2} + \ldots + \beta_{p}x_{p} + \varepsilon$$

যেখানে:

y       = target / dependent variable
x       = input features
β₀      = intercept
β₁...βₚ = coefficients
ε       = error term

Example

ধরুন আমরা delivery time predict করতে চাই।

$$\text{ DeliveryTime } = \beta_{0} + \beta_{1}\text{ Distance } + \beta_{2}\text{ Traffic } + \beta_{3}\text{ OrderSize } + \varepsilon$$

এখানে model শেখার সময় প্রতিটি feature-এর জন্য এমন coefficient খোঁজা হয়, যাতে prediction এবং actual value-এর difference যতটা সম্ভব কম হয়।

Model কীভাবে Coefficients শেখে?

Actual value এবং predicted value-এর difference হলো residual:

$$\text{ Residual\_i } = y_{i} - {\hat{y}}_{i}$$

OLS এই residual-এর squared values-এর total minimize করে:

$$\min\sum_{i}\left( y_{i} - {\hat{y}}_{i} \right)^{2}$$

এটিই হলো Sum of Squared Errors (SSE) minimize করা।

কেন Residual Square করা হয়?

কারণ:

  • Positive এবং negative error একে অপরকে cancel করে না

  • বড় error-কে বেশি penalty দেওয়া হয়

  • Mathematical optimization তুলনামূলকভাবে convenient হয়

Interview Answer

OLS এমন regression coefficients estimate করে, যেগুলো Sum of Squared Errors minimize করে।