Chỉ mới có một suy nghĩ ngẫu nhiên: Các LLM như ChatGPT chắc chắn là một lợi ích lớn cho những bộ trưởng chính phủ kém cỏi ở những quốc gia nhỏ, những người đã có được vị trí của mình thông qua chủ nghĩa thân hữu hoặc mạng lưới bảo trợ. Những người này thường có quyền lực thực sự, nhưng họ thường bị buộc phải che giấu sự kém cỏi của mình trước cấp dưới, trước các nhà lãnh đạo chính trị và trước công chúng, vì những lý do hiển nhiên. Chẳng hạn, tôi chắc chắn có một số bộ trưởng bộ khai thác mỏ biết rất ít về khai thác mỏ và kinh doanh hoặc kinh tế, nhưng vẫn phụ trách đàm phán với các công ty khai thác mỏ quốc tế tinh vi. Hoặc các thống đốc ngân hàng trung ương không thực sự hiểu những điều cơ bản về kinh tế vĩ mô hoặc cách thức tín dụng và lạm phát hoạt động. Trong quá khứ, những người này cơ bản phải "tự xoay sở" và hy vọng cho điều tốt nhất, hoặc phải nhờ đến những cấp dưới kém cỏi hơn một chút và cầu nguyện rằng mọi thứ không đi quá tệ. Hoặc họ có thể chi rất nhiều tiền cho các tư vấn viên chuyên gia, điều này cũng có những nhược điểm riêng. Bây giờ, những bộ trưởng đó có thể đơn giản mở ChatGPT trong sự riêng tư của văn phòng và giải thích các vấn đề của họ và các quyết định họ cần đưa ra, tải lên tài liệu và biểu mẫu từ IMF hoặc bất cứ đâu, và nhận được lời khuyên chuyên gia khá tốt miễn phí từ một mô hình tiên tiến. Tất cả mà không tiết lộ cho bất kỳ ai rằng họ không biết mình đang làm gì. Thật thú vị khi biết có bao nhiêu người đang sử dụng LLM theo cách này ngày nay. Có vẻ như đó là một điều tốt. Thế giới đang rất thiếu chuyên môn. Hoặc đúng hơn, những người có quyền lực thường không phải là những người có kỹ năng hoặc kiến thức phù hợp. Tôi chỉ hy vọng những người này đang chi cho gói đăng ký 200 đô la/tháng và sử dụng mô hình GPT-5 Pro. Nhưng tôi hơi nghi ngờ rằng họ đang làm như vậy…

Ý định tốt không quan trọng trong những vấn đề như thế này. Điều quan trọng là những hậu quả thực tế trong thế giới thực của các quyết định và hành động mà chúng ta thực hiện về cách phát triển và triển khai AI và robot. Bất cứ điều gì làm chậm chúng ta lại hoặc gây bất lợi cho chúng ta so với Trung Quốc dưới danh nghĩa "an toàn" đều là xấu.

DeepSeek vừa phát hành một tài liệu mới khá gây sốc. Họ thực sự đã chôn vùi thông tin quan trọng ở đây khi chỉ gọi nó đơn giản là DeepSeek OCR. Mặc dù đây là một mô hình OCR rất mạnh, nhưng mục đích của nó và những hệ quả từ cách tiếp cận của họ vượt xa những gì bạn mong đợi từ "một mô hình OCR khác". Truyền thống, các token LLM hình ảnh dường như gần như là một suy nghĩ sau cùng hoặc "gắn thêm" vào mô hình LLM. Và 10k từ tiếng Anh sẽ chiếm nhiều không gian hơn trong một LLM đa phương thức khi được biểu thị dưới dạng pixel có thể hiểu được hơn là khi được biểu thị dưới dạng token. Vì vậy, 10k từ đó có thể đã biến thành 15k token, hoặc 30k đến 60k "token hình ảnh". Vì vậy, các token hình ảnh kém hiệu quả hơn nhiều và thực sự chỉ có ý nghĩa khi sử dụng cho dữ liệu không thể truyền đạt hiệu quả bằng từ ngữ. Nhưng điều đó giờ đây đã bị đảo ngược từ những ý tưởng trong tài liệu này. DeepSeek đã tìm ra cách để đạt được sự nén tốt hơn gấp 10 lần khi sử dụng token hình ảnh so với token văn bản! Vì vậy, bạn có thể lý thuyết lưu trữ 10k từ đó chỉ trong 1,500 token hình ảnh nén đặc biệt của họ. Điều này có thể không bất ngờ như nó nghe có vẻ nếu bạn nghĩ về cách mà tâm trí của bạn hoạt động. Dù sao, tôi biết rằng khi tôi đang tìm một phần của một cuốn sách mà tôi đã đọc, tôi hình dung nó một cách trực quan và luôn nhớ bên nào của cuốn sách nó nằm và khoảng đâu trên trang, điều này gợi ý một loại hình đại diện trí nhớ hình ảnh đang hoạt động. Bây giờ, không rõ điều này tương tác như thế nào với các chức năng nhận thức khác của một LLM; liệu mô hình có thể lý luận một cách thông minh qua các token hình ảnh nén đó như nó có thể sử dụng các token văn bản thông thường không? Liệu điều này có làm cho mô hình kém diễn đạt hơn bằng cách buộc nó vào một phương thức định hướng hình ảnh hơn không? Nhưng bạn có thể tưởng tượng rằng, tùy thuộc vào các sự đánh đổi chính xác, nó có thể là một trục mới rất thú vị để mở rộng kích thước ngữ cảnh hiệu quả. Đặc biệt khi kết hợp với tài liệu gần đây khác của DeepSeek từ vài tuần trước về sự chú ý thưa thớt. Cho đến bây giờ, Google có thể đã tìm ra điều gì đó như thế này, điều này có thể giải thích tại sao Gemini có kích thước ngữ cảnh lớn như vậy và rất giỏi và nhanh trong các nhiệm vụ OCR. Nếu họ đã làm, họ có thể sẽ không nói vì điều đó sẽ được coi là một bí mật thương mại quan trọng. Nhưng điều tuyệt vời về DeepSeek là họ đã làm toàn bộ điều này mã nguồn mở và mở trọng số và giải thích cách họ đã làm, vì vậy bây giờ mọi người đều có thể thử nghiệm và khám phá. Ngay cả khi những mẹo này làm cho sự chú ý trở nên mất mát hơn, tiềm năng để có một LLM tiên phong với cửa sổ ngữ cảnh 10 hoặc 20 triệu token là rất thú vị. Bạn có thể cơ bản nhét tất cả các tài liệu nội bộ quan trọng của một công ty vào một phần mở đầu và lưu trữ điều này với OpenAI và sau đó chỉ cần thêm truy vấn hoặc phần mở đầu cụ thể của bạn lên trên và không phải xử lý các công cụ tìm kiếm và vẫn có thể nhanh chóng và tiết kiệm chi phí. Hoặc đưa toàn bộ mã nguồn vào ngữ cảnh và lưu trữ nó, và sau đó chỉ cần tiếp tục thêm tương đương với các sự khác biệt git khi bạn thực hiện thay đổi mã. Nếu bạn đã từng đọc những câu chuyện về nhà vật lý vĩ đại Hans Bethe, ông được biết đến với việc có một lượng lớn các sự thật vật lý ngẫu nhiên được ghi nhớ (như toàn bộ bảng tuần hoàn; điểm sôi của các chất khác nhau, v.v.) để ông có thể suy nghĩ và tính toán một cách liền mạch mà không bao giờ phải ngắt quãng dòng chảy của mình để tra cứu điều gì đó trong bảng tham chiếu. Có một lượng lớn kiến thức cụ thể về nhiệm vụ trong bộ nhớ làm việc của bạn là cực kỳ hữu ích. Điều này có vẻ như là một cách tiếp cận rất thông minh và bổ sung để có thể mở rộng ngân hàng trí nhớ đó lên 10 lần hoặc hơn.