Markéta Horáková
Nasazení hotového ChatGPT nebo Claude API na firemní data funguje – ale má zásadní limity. Model nerozumí vašemu internímu žargonu, nedodržuje corporate tone of voice a při citlivých tématech může halucinovat. Fine-tuning je odpovědí.
Co je fine-tuning a kdy ho potřebujete
Fine-tuning je proces, při kterém vezmete předtrénovaný model a dále ho trénujete na specifickém datasetu. Výsledkem je model, který „mluví jazykem" vaší firmy, domény nebo konkrétního úkolu.
Fine-tuning potřebujete, když:
- Váš use case vyžaduje konzistentní styl odpovědí odlišný od základního modelu
- Pracujete s doménově specifickou terminologií (medicína, právo, výroba)
- Potřebujete model, který zná interní procesy a dokumentaci
- Data nelze posílat třetí straně z bezpečnostních důvodů
Metody fine-tuningu: Full vs LoRA vs QLoRA
Plný fine-tuning všech parametrů modelu je pro většinu firem nepraktický – model s 7 miliardami parametrů vyžaduje desítky GB GPU paměti. Proto existují parameter-efficient metody:
| Metoda | GPU paměť | Kvalita | Vhodné pro |
|---|---|---|---|
| Full fine-tuning | 80–160 GB | Nejlepší | Enterprise s GPU clustery |
| LoRA | 16–40 GB | Výborná | Střední firmy, A100 GPU |
| QLoRA | 6–16 GB | Velmi dobrá | Startupy, consumer GPU |
| Prompt tuning | Minimální | Dobrá | Jednoduché adaptace |
Příprava datasetu pro češtinu
Kvalita datasetu rozhoduje více než architektura modelu. Pro fine-tuning v češtině doporučujeme:
- Minimálně 1 000 párů prompt–odpověď pro základní adaptaci
- Pro produkční kvalitu 10 000–50 000 vzorků
- Důsledná kontrola kvality a konzistence odpovědí
- Vyvážená reprezentace různých tématických oblastí
Praktický postup s HuggingFace a QLoRA
Pro typický firemní projekt doporučujeme tento stack: Llama 3.1 8B nebo Mistral 7B jako základní model, QLoRA pro efektivní trénink a HuggingFace TRL knihovnu pro SFT (Supervised Fine-Tuning).
„S QLoRA a 16 GB GPU kartou lze fine-tunovat 7B model na firemních datech za méně než 500 Kč na Google Cloud." — praktická zkušenost našich absolventů
Celý postup – od přípravy dat po export modelu do GGUF formátu pro lokální nasazení – probíráme v rámci kurzu Zpracování přirozeného jazyka.
Hodnocení výsledků fine-tuningu
Jak poznat, že váš fine-tuned model je lepší než základní? Použijte kombinaci automatických metrik a lidského hodnocení:
- ROUGE skóre pro sumarizační úlohy
- BLEU pro překladové úlohy
- BERTScore pro sémantickou podobnost
- LLM-as-judge – silnější model hodnotí odpovědi
- Lidské A/B testy s domain experty
O autorce
Markéta Horáková je NLP inženýrka a lektorka kurzu NLP na platformě Brirbepariq. Pracovala na fine-tuning projektech pro firmy v bankovnictví a e-commerce.