Fine-Tuning — Cartellone Parte VIII

▸ I tre concetti fondamentali

🧬

Cosa fa il Fine-Tuning

Modifica i pesi del modello (il suo DNA matematico) per specializzarne il comportamento su un dominio tecnico in modo permanente.

💡

Perché LoRA e QLoRA

Congela i pesi originali. Addestra solo piccoli adapter (~0,1% dei parametri). Accessibile su GPU consumer. Zero catastrophic forgetting.

📋

Il dato essenziale

500–2.000 esempi validati da un esperto sono sufficienti. La qualità del dataset batte sempre la quantità. Zero scorciatoie.

⚙️ Come funziona LoRA

Base model

W congelato

4096 × 4096

~16M param

🔒 invariato

LoRA adapter

A × B

rank r = 16

~131K param

✏️ addestrabile

Output

W + A·B

specializzato

riduzione 99%

✓ dominio CEI

Con QLoRA: il modello base è quantizzato a 4-bit (¼ della VRAM), solo gli adapter sono addestrati in BF16. Fine-tuning di un 13B su RTX 4090 con soli 18–24 GB VRAM.

📊 VRAM richiesta (modello 70B)

Full FT

~560 GB — impossibile

LoRA r=16

~40 GB

QLoRA 4bit

~24 GB ✓

13B / QLoRA

18–24 GB → RTX 4090 ✓

7B / QLoRA

10–12 GB → RTX 3060 ✓

Cloud (13B)

~3 € totali su Lambda Labs

🔄 Pipeline del Fine-Tuning in 4 fasi

fase 01

📋

Dataset JSONL

500–2K esempi
istruzione → risposta
formato Alpaca-style

›

fase 02

✅

Validazione

Esperto di dominio
(CEI / UNI / IEC)
non delegabile

›

fase 03

⚙️

Training QLoRA

Unsloth + LLaMA 8B
rank=16, 3 epoche
~2 ore / RTX 4090

›

fase 04

📐

Valutazione

Test set separato
50 esempi non visti
verifica umana finale

🛠 Strumenti open source

Unsloth

consigliato

2–5× veloce, VRAM –70%. Supporta LLaMA, Mistral, Phi, Gemma.

LLaMA Factory

WebUI

GUI senza codice. 100+ modelli. Eval integrata post-training.

Axolotl

avanzato

YAML config, multi-GPU, DeepSpeed. Per setup di produzione.

💻 Hardware per QLoRA

7B params

10–12 GB

RTX 3060 12 GB

13B params

18–24 GB

RTX 4090 24 GB

34B params

40–48 GB

2× RTX 4090

70B params

80–96 GB

4× A100 40 GB

Ryzen AI Max+ 395 (128 GB unified): compatibile QLoRA fino a 20B. Bandwidth 256 GB/s adeguato per dataset < 2K esempi.

◈ Formato Dataset — JSONL Alpaca style

Un oggetto JSON per riga · validato da esperto CEI

// Esempio di training: domanda normativa → risposta tecnica verificata
{ "instruction": "Qual è il valore Em minimo per officine di lavorazione ad alta precisione?",
"input": "", "output": "Secondo UNI EN 12464-1:2021 tab. 5.5: Em ≥ 500 lx, U0 ≥ 0.60, UGR ≤ 19, Ra ≥ 80." }

⚡ RAG

Documenti aggiornati
Fonti citate · Nessun re-training

🧬 Fine-Tuning

Ragionamento specializzato
Terminologia · Stile di dominio

✦ Assistente Tecnico Ottimale

Sa come pensare nel dominio (FT)
Sa cosa sapere in quel momento (RAG)