Una serie sull'intelligenza artificiale
Io, Gemini
e altri quattro
Parte VII
RAG e la Memoria Contestuale: Dare un Cervello Privato all'IA
🧊
Il Problema
Un LLM ha una "data di taglio": non conosce la circolare CEI di ieri, né i documenti interni della tua azienda. La conoscenza è congelata nel tempo dell'addestramento.
🧠
La Soluzione RAG
Retrieval Augmented Generation: inietta conoscenza privata e aggiornata direttamente nel prompt, senza modificare il modello. Più economico e verificabile del fine-tuning.
Il Flusso RAG in Quattro Passi
1
Indicizzazione
I documenti PDF vengono suddivisi in chunk e convertiti in vettori numerici (embedding) salvati nel database vettoriale.
→
2
Query
La domanda dell'utente viene anch'essa convertita in un embedding con lo stesso modello.
→
3
Retrieval
Il sistema trova i chunk semanticamente più vicini alla domanda — anche se usano parole diverse.
→
4
Generazione
I chunk pertinenti vengono inseriti nel prompt. L'LLM risponde citando sempre la fonte originale.
Gli Embedding: Ricerca per Significato
Spazio vettoriale — Similarità coseno tra query e documenti
"illuminamento uffici"
⟷
"Em ≥ 500 lx scrittura"
0.94
"protezione sovraccarico"
⟷
"CEI EN 60898 interruttore"
0.89
"ricetta pasta"
⟷
"Em ≥ 500 lx scrittura"
0.03
RAG vs Fine-Tuning
✦ RAG
Costo basso: solo storage + embedding
Aggiornamento immediato: aggiungi un PDF
Tracciabilità alta: cita sempre la fonte
Privacy totale se eseguito in locale
Ideale per fatti, regole, normative
⟳ Fine-Tuning
Costo alto: GPU, tempo, dati etichettati
Aggiornamento richiede nuovo training
Tracciabilità bassa: conoscenza nei pesi
Privacy totale se il training è locale
Ideale per stile, tono, ragionamento
Architettura RAG Completamente Locale
🔒
Embedding Locale
bge-m3 o multilingual-e5-large via Sentence Transformers. Nessuna API esterna.
🗄️
Database Locale
ChromaDB o FAISS su disco locale. Vettori mai trasmessi a server di terze parti.
💻
LLM Locale
LLaMA 3.3 o Mistral via Ollama. Inferenza completamente on-premise e offline.
✅
Privacy Totale
Documenti riservati, brevetti, dati clienti: nessun dato lascia mai il computer.