RLHF এবং Human Feedback

RLHF-এর পূর্ণরূপ Reinforcement Learning from Human Feedback। প্রথমে humans বিভিন্ন model responses compare বা rank করে। সেই preference data ব্যবহার করে reward model বা preference signal তৈরি করা হয়, এরপর model behavior align করা হয়।

High-level flow:

Model responses
  ↓
Human preferences
  ↓
Preference / reward signal
  ↓
Model alignment

RLHF helpfulness ও instruction following improve করতে পারে। তবে human preference subjective, biased বা inconsistent হতে পারে। RLHF factual correctness-এর guarantee নয়।

RLHF human preference feedback ব্যবহার করে language model-এর behavior align করে, যাতে response মানুষের expectation-এর সঙ্গে বেশি সামঞ্জস্যপূর্ণ হয়।