トークン化は、低レベルのデータを高レベルの抽象化に構築する「チャンク」の特殊なケースにすぎず、インテリジェンスの基本となります。 階層的な*動的チャンク*を可能にする新しいアーキテクチャは、トークナイザーがないだけでなく、単純に拡張性が向上しています。
Sukjun (June) Hwang
Sukjun (June) Hwang2025年7月12日
トークン化は、真にエンドツーエンドの言語モデルに対する最後の障壁でした。 私たちは、トークン化をモデル内で直接動的なチャンキングプロセスに置き換える階層型ネットワークであるH-Netを開発しました。これは、意味のあるデータ単位を自動的に検出して操作する階層型ネットワークです
これは私にとって非常に重要なプロジェクトでした - 何年も前から解決したいと思っていましたが、その方法がわかりませんでした。これはすべて@sukjun_hwangであり、@fluoraneの素晴らしい仕事でした。 私はその発展のストーリーと、次に何が起こるかについて書きました。 H-ネット:
194.79K