Deep Q-Network (DQN)—Basic Intuition

ছোট state space হলে Q-table ব্যবহার করা যায়। কিন্তু image বা complex environment-এ সম্ভাব্য state এত বেশি হয় যে table practical থাকে না। DQN neural network ব্যবহার করে Q-value approximate করে।

State
  ↓
Neural Network
  ↓
প্রতিটি action-এর Q-value

DQN-এ experience replay পুরোনো interactions sample করে training করে এবং target network তুলনামূলক stable learning target দেয়। এই দুটো technique training instability কমাতে সাহায্য করে।

DQN হলো Q-Learning-এর neural-network version, যেখানে network state থেকে প্রতিটি action-এর estimated Q-value predict করে।