Przewodnik po optymalizacji modeli open-source przy użyciu Ollama i technik LoRA.
Nie każdy projekt wymaga GPT-4 — czasem wystarczy dobrze dopasowany model 7B uruchamiany lokalnie. W tym artykule krok po kroku pokazuję, jak fine-tunować modele Llama 3, Mistral i Qwen2.5 na własnych danych, używając LoRA (Low-Rank Adaptation) z biblioteką Unsloth. Omawiam: przygotowanie datasetu w formacie Alpaca/ShareGPT, konfigurację parametrów treningu (rank, alpha, learning rate), kwantyzację do GGUF dla Ollama, benchmarking jakości odpowiedzi.
Wszystko na GPU RTX 3060 — dowód, że nie trzeba chmury do fine-tuningu.
#LLM#Python#Ollama