শুধু একটি overall accuracy দিয়ে LLM application evaluate করা কঠিন। Task অনুযায়ী multiple dimension দেখতে হয়:
correctness ও relevance;
groundedness বা faithfulness;
instruction following;
safety;
latency ও cost;
user satisfaction।
Automated metrics দ্রুত, কিন্তু সব nuance ধরতে পারে না। Human evaluation বেশি meaningful হতে পারে, তবে expensive ও subjective। ভালো evaluation set বাস্তব user queries এবং difficult edge cases অন্তর্ভুক্ত করে।
LLM evaluation task-specific হওয়া উচিত এবং output quality-এর পাশাপাশি grounding, safety, latency ও cost-এর মতো system metrics-ও বিবেচনা করা উচিত।