トレンドトピック
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Aaron Levie
CEO @box - AIでコンテンツの力を解き放つ
Dwarkesh ポッドキャストで Karpathy が指摘した重要な点の 1 つは、AI コーディング エージェントと他の知識作業の違いについてでした。
コーディングにおける AI エージェントが非常に急速に普及したことは明らかです。これには、他のドメインと比較してかなりの量のトレーニング データがすでにオンラインにあること、開発者が新しいツールをすぐに試すこと、ラボがこれを正しく行うための多くのインセンティブを持っているという事実など、多くの理由があります。
しかし、Karpathyがカバーしている微妙で根本的な理由もあります:ドメインはほぼ完全にテキストで構成されており(LLMには最適です!)、すでに本質的にテキストエディタ(IDE)である明確な標準化されたツールがあり、ほとんどすべての作業が自己完結型です。AI エージェントがこれほど熟した領域を見つけるドメインは他にほとんどありません。
これが、他の分野では AI エージェントの普及に時間がかかる理由の一部ですが、ナレッジ ワーカー エージェントに取り組んでいる人にとっても同様にチャンスです。私たちは、エージェントと対話するための直感的かつ強力な方法を可能にするナレッジワーカー向けのソフトウェアの新時代に突入しています。
既存の既存企業の中には、これらのソリューションを構築する自然な立場にある企業もいますが、十分な速さで動かない企業もいるため、多くのスペースが獲得できるでしょう。同様に、ソフトウェアが市場に適用されるのは初めてであるため、自然な既存者がいないカテゴリも数多くあります。
これらのソリューション、特に変更管理とプロセスのリエンジニアリングを必要とする企業にこれらのソリューションを市場に投入できる企業が勝つでしょう。
30.98K
これは、特に企業のコンテキストで起こりそうなことに基づいて、@karpathyからすると、実際には非常に実用的で現実的です。
AI モデルの機能は急速に向上していますが、これらの機能を実際のワークフローに普及させるには時間がかかり、多くの統合、変更管理、および構築する必要がある新しいソリューションが必要になります。
「基本的に、私のAIタイムラインは、近所のSF AIホームパーティーやツイッターのタイムラインで見られるような悲観的な5〜10倍ですが、AI否定論者や懐疑論者の潮流が高まっているため、それでもかなり楽観的です。明らかな矛盾はそうではありません:同時に、1)近年LLMで大きな進歩が見られましたが、2)まだ多くの仕事が残っています(うなり声を上げる作業、統合作業、物理世界へのセンサーとアクチュエーター、社会的な作業、安全とセキュリティの作業(脱獄、中毒など))そして、任意の仕事に人よりも雇いたい事業体を持つ前に、やるべき研究も必要です。世界。全体として、10年はAGIにとって非常に強気なタイムラインになるはずだと思いますが、現在の誇大宣伝とは対照的に、そのようには感じられません。」

Andrej Karpathy10月19日 04:23
先週ドワーケシュに来ることができてうれしく思いますが、質問と会話は本当に良かったと思いました。
さっきポッドも見直しました。まず第一に、はい、私は知っています、そして私があまりにも早口で話して申し訳ありません:)。時々、私の話し方のスレッドが私の思考のスレッドを上回っているので、いくつかの説明を失敗させたと思うので、それは私にとって不利益です。とにかく、いくつかのメモ/ポインタ:
AGI タイムライン。AGI のタイムラインに関する私のコメントは、初期の対応の中で最もトレンドになっているようです。これは「エージェントの10年」は、この以前のツイートへの言及です。基本的に、私のAIタイムラインは、近所のSF AIホームパーティーやツイッターのタイムラインで見られるような悲観的な5〜10倍ですが、AI否定論者や懐疑論者の潮流が高まっているため、それでもかなり楽観的です。明らかな矛盾はそうではありません:同時に、1)近年LLMで大きな進歩が見られましたが、2)まだ多くの仕事が残っています(うなり声を上げる作業、統合作業、物理世界へのセンサーとアクチュエーター、社会的な作業、安全とセキュリティの作業(脱獄、中毒など))そして、任意の仕事に人よりも雇いたい事業体を持つ前に、やるべき研究も必要です。世界。全体として、10年はAGIにとって非常に強気なタイムラインになるはずだと思いますが、現在の誇大宣伝とは対照的に、そのようには感じられません。
動物対幽霊。サットンのポッドキャストに関する私の以前の記事。私は、世界に解放できる単一の単純なアルゴリズムがあり、それがすべてをゼロから学習することに疑問を抱いています。誰かがそのようなものを構築したら、私は間違っているでしょうし、それは AI における最も信じられないほどのブレークスルーとなるでしょう。私の考えでは、動物はこの例ではありません - 彼らは進化によって大量の知性を事前にパッケージ化されており、彼らが行う学習は全体的に非常に最小限です(例:出生時のシマウマ)。エンジニアリングの帽子をかぶって、進化をやり直すつもりはありません。しかし、LLMでは、進化ではなく、インターネット上で次のトークンを予測することによって、大量のインテリジェンスをニューラルネットワークに「プレパッケージ化」する代替アプローチにつまずきました。このアプローチは、諜報機関の分野で異なる種類の実体につながります。動物とは異なり、幽霊や精霊に似ています。しかし、時間の経過とともに動物らしくすることはできます(そしてそうすべきです)、ある意味ではそれが多くのフロンティアの仕事です。
RLで。私はすでに何度かRLを批判しています。 .まず、あなたは「ストローを通して監視を吸っている」ので、シグナル/フロップは非常に悪いと思います。また、RLは、補完時に(たまたま正しい答えにつまずいた場合)励まされる可能性のある多くのエラーと、逆に落胆する可能性のある素晴らしい洞察トークン(後で失敗した場合)があるため、非常にうるさいです。プロセス監督とLLMジャッジにも問題があります。代替学習パラダイムが見られると思います。私は「エージェントインタラクション」を長く、短い「強化学習」を短くしています最近、私が「システムプロンプト学習」と呼んだものに沿って正しい木を吠えている論文が数多く現れているのを見てきましたが、arxivのアイデアと、一般的な方法で機能するLLMフロンティアラボでの実際の大規模実装との間にはギャップもあると思います。私は全体的に、残された作業のこの次元ですぐに良い進歩が見られるだろうと非常に楽観的であり、たとえば、ChatGPT メモリなどは、新しい学習パラダイムの原始的な展開例であるとさえ言えます。
認知コア。「認知コア」に関する私の以前の投稿: LLM を削ぎ落とし、暗記を難しくするか、積極的に記憶を剥ぎ取って一般化をより上手にするという考えです。そうしないと、暗記したことに頼りすぎてしまいます。人間はそう簡単には覚えることができませんが、対照的に、それは今ではバグというよりも特徴のように見えます。暗記できないのは一種の正規化なのかもしれません。また、モデルサイズの傾向がいかに「後ろ向き」であるか、そしてなぜ「モデルが小さくなる前にまず大きくならなければならない」のかについての私の少し前の投稿
1989年のヤン・ルクンへのタイムトラベル。これは、私がポッドで説明するのに非常に性急で下手な仕事をした投稿です。基本的に、33年間のアルゴリズムの進歩の知識で、Yann LeCunの結果をどれだけ改善できますか?アルゴリズム、データ、コンピューティングのそれぞれによって結果はどの程度制約されていましたか?そこのケーススタディ。
nanochat です。ChatGPT トレーニング/推論パイプラインのエンドツーエンドの実装 (必要最低限の要点)
LLM エージェントについて。業界に対する私の批判は、現在の能力に対する工具のオーバーシュートにあります。私は、LLMとコラボレーションしたいと考え、長所と短所が一致する中間の世界に住んでいます。この業界は、完全に自律的なエンティティが並行して協力してすべてのコードを記述し、人間が役に立たない未来に生きています。たとえば、20 分間停止して 1,000 行のコードが戻ってくるエージェントは望ましくありません。確かに、そのうちの10人からなるチームを監督する準備ができていないと感じています。LLMが書いているコードを説明してくれるような、頭の中に残せるチャンクにまとめてみたいと思います。私はそれがしたことが正しいことを私に証明したい、私はそれがAPIドキュメントをプルして、それが物事を正しく使用したことを私に示したいのです。思い込みを減らして、何か確信が持てないときに私に尋ねたり協力したりしてほしいです。私はその過程で学び、プログラマーとしてより良くなりたいと思っています。ツールは、その機能や今日の業界にどのように適合するかを考慮すると、より現実的であるべきだと思いますが、これがうまく行われなければ、ソフトウェア全体にスロップが山のように蓄積され、脆弱性やセキュリティ侵害などが増加するのではないかと心配しています。
ジョブの自動化。放射線科医がどのようにうまくやっているのか、どの仕事が自動化の影響を受けやすいのか、そしてその理由。
物理学。子供たちは、物理学を続けるからではなく、脳を最もよく刺激する科目であるため、早期教育で物理学を学ぶ必要があります。物理学者は知的胚性幹細胞です ~1 年間、下書きに半分書かれた長い投稿があり、すぐに完成させたいと考えています。
私を呼んでくれたドワーケシュに改めて感謝します!
155.06K
トップ
ランキング
お気に入り