On-policy method যে policy ব্যবহার করে data collect করে, সেই policy-কেই improve করে। Off-policy method এক policy দিয়ে data collect করেও অন্য target policy শিখতে পারে।
On-policy → যে policy অনুসরণ করছি, সেটিই শিখছি
Off-policy → অন্য behavior থেকে পাওয়া data দিয়েও target policy শিখছি
SARSA একটি পরিচিত on-policy algorithm, আর Q-Learning off-policy। Off-policy learning historical বা অন্য agent-এর data reuse করতে সুবিধা দিতে পারে, তবে training stability নিয়ে সতর্ক থাকতে হয়।
On-policy learning behavior policy-কেই optimize করে; off-policy learning behavior policy থেকে আলাদা target policy শিখতে পারে।