Minha próxima postagem no blog será lançada esta semana e é um mergulho muito mais profundo do que o normal. Estarei explicando como ajustei o Phi-3-mini-4k-instruct (3.8B) da Microsoft com LoRA no meu Mac usando MLX. O experimento: explorar se um modelo 3.8B que roda localmente pode ser ajustado para "falar como eu", treinando-o em minhas próprias postagens no blog. Eu já empurrei os pesos do adaptador LoRA para Hugging Face. Mas, mais importante, o post compartilhará todo o processo para que pessoas mais técnicas possam aprender como começar a fazer o ajuste fino: - Preparando os dados de treinamento - Treinamento do modelo e hiperparâmetros - Avaliação de resultados - Publicação no Hugging Face E vou compartilhar todo o código necessário para fazer isso sozinho.
14,93K