Với tầm quan trọng to lớn - và ngày càng tăng - của việc tính toán trong thời gian kiểm tra và RL sau đào tạo được thể hiện qua sự thống trị tuyệt đối của Grok-4, việc trở thành nhà sản xuất token với chi phí thấp hơn bao giờ hết là điều quan trọng hơn bao giờ hết. Nhân tiện, đây là lần đầu tiên trong sự nghiệp của tôi với tư cách là một nhà đầu tư công nghệ mà việc trở thành nhà sản xuất với chi phí thấp của bất kỳ thứ gì lại có ý nghĩa. Hiện nay, những nhà sản xuất token có chi phí thấp nhất là Google (TPUs) và xAI (cụm đồng nhất lớn nhất, chi phí vốn thấp nhất trên mỗi GPU được triển khai, gần như chắc chắn có MFU cao nhất và đã đưa ra một số quyết định kiến trúc rất thông minh). Tôi rõ ràng có thiên kiến khi nói về xAI. Từ góc độ kỹ thuật thuần túy, việc có mạng lưới mở rộng tốt nhất và việc tải KV cache hiệu quả nhất là điều quan trọng nhất đối với cả chi phí và độ trễ cho các mô hình và cửa sổ ngữ cảnh ngày càng lớn. Đây là những trục cạnh tranh quan trọng nhất trong cơ sở hạ tầng AI ngày nay - không phải tính toán. Lưu ý rằng băng thông bộ nhớ trên gói là quan trọng nhất khi bạn có thể đặt mô hình trên một chip duy nhất (@cerebras) nhưng đối với bất kỳ mô hình thực sự lớn nào cần nhiều gói, việc mở rộng và tải KV cache là quan trọng nhất. Như mọi người làm việc trên ASIC đang dần hiểu. Đó là lý do tại sao Dynamo và việc mã nguồn mở NVLink đều quan trọng và thông minh. Điều sau có thể dẫn đến việc chia sẻ ASIC chuyển sang các đối tác NVLink ngày càng nhiều. Chưa kể đến lợi ích thương lượng tự nhiên của việc có một nhà cung cấp thứ hai. Có khả năng sẽ thấy nhiều điều như vậy trong ý kiến của tôi: