Mijn volgende blogpost verschijnt deze week, en het is een veel diepere duik dan gebruikelijk. Ik zal uitleggen hoe ik Microsoft’s Phi-3-mini-4k-instruct (3.8B) heb geoptimaliseerd met LoRA op mijn Mac met behulp van MLX. Het experiment: onderzoeken of een 3.8B-model dat lokaal draait kan worden geoptimaliseerd om "zoals ik te spreken" door het te trainen op mijn eigen blogposts. Ik heb de LoRA-adaptergewichten al naar Hugging Face gepusht. Maar belangrijker nog, de post zal het hele proces delen zodat meer technische mensen kunnen leren hoe ze kunnen beginnen met fine-tuning: - Voorbereiden van de trainingsdata - Het model trainen en hyperparameters - Resultaten evalueren - Publiceren op Hugging Face En ik zal alle code delen die nodig is om het zelf te doen.