একটি Machine Learning model offline dataset-এ ভালো score করলেই সেটি production-ready হয়ে যায় না।
Production deployment-এর আগে model-কে শুধু:
Accuracy
MAE
F1
AUC
দিয়ে judge করলে যথেষ্ট নয়।
Data, model, serving system এবং business impact—সবগুলো check করতে হয়।
1. Data Checks
প্রথমে নিশ্চিত হতে হবে production data training data-এর expected format follow করছে।
Check করুন:
missing values
invalid values
schema mismatch
data type mismatch
category mismatch
range violation
feature availability
Example
Training data:
payment_method:
Cash
Card
bKash
Nagad
Production-এ suddenly:
Rocket
নতুন category এলো।
Model pipeline যদি এই category handle করতে না পারে, prediction fail করতে পারে।
Range Check
Training-এর সময়:
Age = 18–80
Production request:
Age = 800
এলে এটি likely data-quality problem।
2. Model Checks
প্রশ্ন করুন:
Model কি baseline beat করছে?
শুধু model metric ভালো দেখলেই হবে না।
একটি simple baseline-এর তুলনায় useful improvement আছে কি না দেখতে হবে।
আরও check করুন:
overfitting আছে? train-validation gap? segment-wise performance কেমন? calibration কেমন? rare cases-এ performance? model stability?
Segment Performance
Overall metric:
MAE = 5 min
কিন্তু:
Dhaka City → MAE 3 min
Remote Area → MAE 18 min
হলে overall metric important failure hide করতে পারে।
তাই user segment, geography, category বা business group অনুযায়ী performance দেখা প্রয়োজন।
3. Serving Checks
Offline model ভালো হলেও production serving requirements meet না করলে deploy করা কঠিন।
Check করুন:
latency acceptable? throughput sufficient? memory usage? CPU/GPU requirement? dependency stable? feature lookup fast? timeout handling আছে? fallback আছে?
Example
Model A:
MAE = 10.1
Latency = 20 ms
Runs on CPU
Model B:
MAE = 10.0
Latency = 500 ms
Requires 3 GPU Servers
Metric difference:
0.1
কিন্তু infrastructure cost dramatically বেশি।
তাহলে Model B automatically better business choice নয়।
4. Business Checks
সবশেষে:
Model metric improvement কি বাস্তবে business value তৈরি করছে?
Check করুন:
KPI improve হচ্ছে? customer experience improve হচ্ছে? cost acceptable? harmful segment আছে? operational team output ব্যবহার করতে পারছে? failure হলে fallback আছে?
Offline Metric vs Business Value
উদাহরণ:
Old Model MAE = 10.2
New Model MAE = 10.1
Technically improvement আছে।
কিন্তু যদি:
Infrastructure Cost = 5×
এবং user experience practically unchanged হয়, deployment justified নাও হতে পারে।
Pre-deployment Checklist
Data valid?
↓
Model beats baseline?
↓
Segment performance acceptable?
↓
Latency acceptable?
↓
Feature available online?
↓
Cost acceptable?
↓
Fallback available?
↓
Business impact meaningful?
Interview-ready Explanation
A good offline metric does not automatically make a model
production-ready.
Before deployment, I would check data quality and schema,
model performance against a baseline, overfitting,
segment-level performance, calibration, latency,
resource requirements, feature availability, and fallback
behavior.
I would also evaluate whether the model improvement creates
enough business value to justify its operational complexity
and infrastructure cost.