Saya membangun ChatGPT saya sendiri dari awal, dan Anda juga bisa. Nanochat Karpathy adalah basis kode tunggal, bersih, minimal, dan dapat diretas untuk membangun LLM modern. Dengan menyiapkannya, Anda akan mempelajari cara: > melatih tokenizer dari bawah ke atas > pra-pelatihan: kuasai prediksi kata berikutnya > di tengah pelatihan: ajarkan model untuk mengadakan percakapan > SFT: Menyempurnakan kumpulan data dialog berkualitas tinggi > mengevaluasi dan mencatat setiap langkah proses Saya telah melakukan ini di studio LightningAI, dan Anda dapat mereproduksi semuanya dengan satu klik (tidak diperlukan pengaturan). tautan di tweet berikutnya!