AI Dictionary › Fondamenti AI
Chunking (frammentazione)
Chunking is the practice of splitting long documents into smaller, manageable pieces, the "chunks", before indexing them for retrieval. You cannot hand a model an entire thousand-page manual to answer a question: you break it into coherent paragraphs or sections, each short enough to fit the context yet rich enough to make sense alone. It is like cutting a long film into scenes: seeking a precise moment, you retrieve the right scene instead of the whole movie. The challenge is where to cut: chunks too small lose context, too large dilute relevance and waste space.
Chunking matters because it is one of the choices that most affect a RAG system's quality. Well-done chunking, perhaps with overlaps between pieces so concepts are not split, ensures retrieval finds exactly the useful information instead of incomplete or irrelevant fragments.
Il chunking è la pratica di suddividere documenti lunghi in pezzi più piccoli e gestibili, i "chunk", prima di indicizzarli per il recupero. Non si può dare a un modello un intero manuale di mille pagine per rispondere a una domanda: lo si spezza in paragrafi o sezioni coerenti, ciascuno abbastanza corto da entrare nel contesto ma abbastanza ricco da avere senso da solo. È come tagliare un lungo film in scene: cercando un momento preciso, recuperi la scena giusta invece dell'intera pellicola. La sfida è dove tagliare: frammenti troppo piccoli perdono il contesto, troppo grandi diluiscono la pertinenza e sprecano spazio.
Il chunking conta perché è una delle scelte che più influenzano la qualità di un sistema RAG. Una frammentazione fatta bene, magari con sovrapposizioni tra i pezzi per non spezzare i concetti, fa sì che il recupero trovi esattamente l'informazione utile invece di brandelli incompleti o irrilevanti.
From our network
HSE Genius — AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Visit hsegenius.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.