Q-Learning একটি model-free algorithm। অর্থাৎ environment কীভাবে transition করে তার complete model না জেনেও agent experience থেকে Q-value শিখতে পারে।
Update-এর intuition:
নতুন Q-value
= পুরোনো estimate
+ observed reward ও future estimate থেকে correction
Agent state $s$-এ action $a$ নেয়, reward পায় এবং next state $s'$ দেখে। এরপর Q-table update করে। Training শেষে agent সাধারণত সবচেয়ে বেশি Q-value-র action নেয়।
State বা action space অনেক বড় হলে table রাখা কঠিন হয়; তখন neural network দিয়ে Q-value approximate করা যেতে পারে।
Q-Learning experience থেকে state-action value শেখে এবং environment-এর transition model না জেনেও optimal policy-এর দিকে যেতে পারে।