Tôi đã quyết tâm thử ngay lập tức, chúng ta nên thử fp16, nhìn vào biểu đồ này đi. FP16 giống như hoàn hảo trong việc giảm lỗi. "Đây chính là lý do tại sao việc chuyển sang FP16 cung cấp một giải pháp cơ bản. Với 10 bit mantissa, FP16 cung cấp độ chính xác gấp 8 lần (2^10 giá trị so với 2^7 giá trị) so với BF16. Độ trung thực cao hơn có nghĩa là đầu ra của các động cơ đào tạo và suy diễn có khả năng giống hệt nhau về mặt số học. Độ chính xác tăng lên tạo ra một bộ đệm hấp thụ những khác biệt nhỏ trong việc triển khai giữa hai động cơ, ngăn chặn các lỗi làm tròn tích lũy và gây ra sự phân kỳ chính sách. Đối với việc tinh chỉnh RL, phạm vi động của trọng số và kích hoạt của mô hình đã được thiết lập trong quá trình tiền đào tạo. Do đó, phạm vi cực đoan của BF16 ít quan trọng hơn, trong khi độ chính xác mà nó hy sinh trở thành một nhược điểm chính. Bằng cách quay lại FP16, chúng ta trao đổi phạm vi không cần thiết của BF16 để lấy độ chính xác quan trọng, hiệu quả thu hẹp khoảng cách giữa đào tạo và suy diễn mà không cần bất kỳ giải pháp thuật toán hoặc kỹ thuật phức tạp nào."

Ai kiếm được nhiều tiền hơn, SemiAnalysis hay HuggingFace?

Hôm nay tôi đã hoàn thành chuyến đi thứ 31 quanh mặt trời và đã ăn mừng với 2 giờ ôm chó con trước khi đón nhận ngày mới.