Transformer Architecture—সহজ ধারণা

Transformer হলো modern LLM-এর মূল architecture। এটি sequence-এর tokenগুলোর relationship attention-এর মাধ্যমে শেখে এবং parallel computation-এর সুবিধা দেয়।

High-level flow:

Tokens
  ↓
Embeddings + Position Information
  ↓
Repeated Attention and Feed-Forward Blocks
  ↓
Next-token probabilities

Transformer-এর শক্তি হলো long-range relationship capture করা। তবে sequence বড় হলে attention computation ও memory cost দ্রুত বাড়তে পারে।

Transformer attention ও feed-forward layers ব্যবহার করে tokenগুলোর contextual representation শেখে; অধিকাংশ modern LLM এই architecture-এর decoder-based form ব্যবহার করে।