下一个估值超過100億美元的產品初創公司將通過在內部強化學習環境中擴展訓練來構建。 我們生活在能力的豐富中，但我們只有兩個主要的AI產品，chatgpt和編碼代理，這讓我感到非常沮喪。 當前的人工智能供應鏈在結構上是破碎的，只有一個硬體供應商，幾家巨型AI公司擁有所有的智能煉油廠，開發者僅能獲得API訪問權限，幾乎沒有控制權。 就好像互聯網時代是由英特爾向四家巨型雲公司出售CPU來構建的，這些公司擁有整個基礎設施和軟體堆疊，處處都是秘密和保密協議，並向初創公司提供WordPress作為開發工具包。 為什麼Perplexity沒有發明深度研究？他們根本無法做到，因為這是通過強化學習訓練的。 我對未來幾年的預測： 強化學習將成為構建AI產品的最強大工具包。我們將看到數百個成功故事，如Cursor和Lovable。最終用戶將從中受益最多。 大型實驗室將向產品公司演變，OAI將專注於消費市場，Antropic將專注於編碼代理，DeepMind將把AI整合到所有谷歌業務中，Meta和XAI將在社交媒體上競爭。 我們將看到一個AI基礎設施初創公司的生態系統的出現，出售計算能力，訓練基礎模型，策劃數據，構建強化學習環境，提供廉價的推理和訓練，依靠開放科學和開源軟體。 @PrimeIntellect正在開創這個生態系統，開放源碼AGI的願景，強化學習環境中心是其中的第一個關鍵部分。

Claude擅長討論分佈式訓練設置，但在實現簡單的代碼更改方面絕對糟糕。 無論如何，我想我還是得自己回去編碼。

在測試一個新的訓練代碼庫時，如果我沒有看到一個允許我在有限硬體上進行短時間運行的調試配置，那麼我就開始質疑開發者維護這個倉庫的能力。

根據我的估計，我們應該在接下來的3個月內達到100萬個GitHub星標。

分布式的14天，第7天！ 認識Sami Jaghouar（@samsja19），來自@PrimeIntellect： Sami負責他們的研究，專注於去中心化預訓練和分布式強化學習。 Sami將進行一場講座，介紹在Prime實施去中心化訓練的情況。

上一次的GPU模式黑客馬拉松是我參加過的最好的黑客馬拉松，期待下個。

似乎其他人都傾向於使用 vllm v1 logprob 作為重要性比率來解決穩定性問題。 我覺得我對這種類型的強化學習崩潰有創傷後應激障礙。

我在 @PrimeIntellect 招聘研究工程師。 我們正在建立一個開源的 AGI 實驗室，尋找原始人才。我們不在乎你之前的職位。 研究團隊中的每個人都是全棧工程師，我們構建基礎設施，也關注數據。如果你對系統、強化學習、數據或擴展法則有獨特見解，你將面臨大量挑戰。

注意力是你所需要的一切，但代理仍然需要提取已經在上下文中的代碼。

預測：強化學習環境將在2025年底/2026年初成為人工智慧的下一個大趨勢。 你會看到各個行業的初創公司紛紛推出，包括醫療保健、工程、市場營銷、銷售等。