Long document সরাসরি retrieve না করে ছোট অংশে ভাগ করা হয়; প্রতিটি অংশকে chunk বলা হয়।

  • Chunk খুব বড় হলে irrelevant text বেশি আসতে পারে।

  • Chunk খুব ছোট হলে প্রয়োজনীয় context ভেঙে যেতে পারে।

  • Overlap boundary-এর information ধরে রাখতে সাহায্য করতে পারে, তবে duplicate result বাড়ায়।

Chunk size document type ও প্রশ্নের ধরন অনুযায়ী tune করা উচিত। Retrieval quality দেখতে Recallk, Precisionk বা human relevance judgment ব্যবহার করা যায়।

Chunking document-কে retrievable units-এ ভাগ করে; ভালো chunking relevant context অক্ষুণ্ণ রেখে noise ও duplication কমায়।