今年最後の(現在は毎年恒例の)祭典の時が再び来ました。GPU MODEは、10月24日(金)午前10時から午後10時まで、サンフランシスコのダウンタウンで再びIRLに会い、一日中ハッキングします

DeepConf の紹介: 自信を持って深く考える 🚀 オープンソースモデルでAIME 2025で99.9%を達成する最初の方法!ツールがなくてもGPT-OSS-120Bを使用すると、生成されたトークンを最大85%節約しながら、このほぼ完璧な精度に到達しました。 また、並列思考にも多くの強力な利点があります。 🔥 パフォーマンスの向上:モデルとデータセット全体で~10%の精度 ⚡ 超効率:生成されるトークンを最大85%削減 🔧 プラグ&プレイ:既存のモデルで動作します-トレーニングは不要です(ハイパーパラメータのチューニングも不要です! ⭐ デプロイが簡単: vLLM のコードはわずか ~50 行です (以下の PR を参照) 📚 紙： 🌐 プロジェクト： 共同研究:@FuYichao123、xuewei_wang、@tydsh (詳細は以下のコメントをご覧ください)

KV キャッシュの再物質化によって LLM 推論のメモリ壁を打破できますか? 🚨 あまり活用されていないコンピューティングユニットを活用して、LLM推論のメモリボトルネックを解消するXQuantをご紹介します! • FP16 比で 10 倍から 12.5 倍のメモリ節約 - ほぼゼロの精度損失 • 最先端のKV量子化🔥を上回る 主な洞察: 1. KV キャッシュ = ボトルネック →コンテキスト長 + バッチ サイズで直線的に増加します。 2. メモリ>>コンピューティング → GPU は、メモリ帯域幅よりも桁違いに高速な FLOP を提供します。 3. KVを保存せず、再計算するだけ→重要なアイデアです。🧠 LLM 推論は通常、メモリ帯域幅にバインドされるため、コンピューティング ユニットはアイドル状態になり、十分に活用されていないことがよくあります。したがって、この利用可能なコンピューティングをオーバーヘッドなしで使用できます。 GPU ハードウェアの傾向は、コンピューティング機能がメモリ帯域幅よりもはるかに速く拡張されていることを示しています。したがって、より多くの計算と引き換えにメモリ操作を減らすことは、LLM 推論の高速化に役立ちます。KV キャッシュはシーケンス長とバッチ サイズに応じて直線的に増加し、LLM 推論中にメモリ操作の大部分が発生します。KV キャッシュの読み込みと保存を回避するために追加の計算を交換できれば、推論を高速化できます。 XQuantは、このハードウェアの傾向を利用しています: 🧵 [1/7] 紙： 共同作業:@FuriosaAI @HaochengXiUCB @rish2k1の@coleman_hooper1 @mjlee_official @FuriosaAI @lucamanolache0マイケル・マホニーのカン・ウォンジュン@KurtKeutzer @amir__gholami

私の見解では、SWE-bench と T-bench は、モデルがどれだけ進歩したかという点で良いシグナルを持つ数少ないベンチマークです。このモデルは Qwen3 Coder と同等のパフォーマンスを発揮し、GPT-5 よりも 10% しか劣らず、コードに特化したものではなく汎用 LLM でもあります。

クローズドソースとオープンウェイトの状況は平準化したようです。GPT-5 は、消費者向けデスクトップやまもなくラップトップで実行できるオープンウェイト モデルよりもコーディングが 10% 優れています。Anthropic が優れたモデルを思いつかなければ、おそらくしばらくは AGI は見られないでしょう。

思考のシャワー: Twitter/X のペイアウトを保持する代わりに、選択した「PayoutChallenge」に向けましょう。 これは、過去 3 回のペイアウト $5478.51 を合わせた、このラウンドの私のものです。 AIが上昇している間、人類が堕落しないようにすることが不可欠です。人類は立ち上がり続け、一緒に良くなりなければなりません。チームヒューマンを高揚させるために特別に設計されたものを作成します。定義は、人々の解釈にエントロピーを保つために意図的に少し曖昧なままにしましたが、imoの例は次のとおりです。 - 説明、視覚化、暗記、インスピレーション、理解、調整などを支援するソフトウェア... - 高尚すぎる必要はありません、たとえば、他の人が恩恵を受けることができることや、あなたが独自の知識を持っていることを説明する特定の教育記事/ビデオである可能性があります。 - 説明を求めるプロンプト/エージェント (たとえば、最近リリースされた ChatGPT 学習モードに沿って)。 - 関連芸術作品 このチャレンジは、8 月 17 日 EOD PST までの 2 週間実施されます。返信として投稿を送信してください。それは、この課題のために独自に作成されたものでなければならず、そうでなければ存在しないものでなければなりません。基準には、実行、レバレッジ、目新しさ、インスピレーション、美学、娯楽が含まれます。人々は「いいね!」することで投稿に賛成票を投じることができ、この「人々の選択」も要因になります。8月17日に勝者を決定し、5478.51ドルを送金します:)

いくつかの更新 🚨 私は2025年6月に@uwcseで博士号を取得しました。 AI2 でリサーチ サイエンティストとして 1 年間勤務した後、2026 年秋に助教授として CMU @LTIatCMU &@mldcmu (礼儀) に加わります。 ジャーニー、謝辞、採用 🧵

LLMのFP4推論に関する初期の研究を発表します! - QuTLASS: Blackwell GPU の低精度カーネル サポート - FP-Quant:Llama/Qwen用の柔軟な量子化ハーネス MXFP4マイクロスケーリング+融合アダマール回転により、BF16と比較して4倍の高速化を実現し、高い精度を実現しています。

トークン化は、低レベルのデータを高レベルの抽象化に構築する「チャンク」の特殊なケースにすぎず、インテリジェンスの基本となります。 階層的な*動的チャンク*を可能にする新しいアーキテクチャは、トークナイザーがないだけでなく、単純に拡張性が向上しています。

人間が書いたGPUコードの最大のデータセットはすべてオープンソースですか?👀 はいお願いします！私たち@GPU_MODEでは、Triton、Hip、PyTorchにまたがる約40k 🚀の人間が書いたコードサンプルをリリースしており、すべて@huggingface Hubで公開されています。新しい GPT をトレーニングして GPT を高速化⚡️する 以下の⬇️リンク