デミス・ハサビスがYコンビネーターでAGIの現状について語るリプレイをちょうど見たところで、正直なところ、いくつかの見解は少し考える価値がある。

だから、こういうことだ：DeepMindの創設者によると、私たちは基本的にAGIに必要なほとんどの構造的要素をすでに持っている。大規模な事前学習、RLHF、思考の連鎖—これらは最終的なアーキテクチャの一部になるだろう。でも、まだ一つか二つの重要な欠けている部分がある。継続的学習、長期的推論、記憶の特定の側面はまだ解決されていない。彼の個人的なタイムラインは？2030年頃だ。もしそれがほぼ正しければ、今後長期的なプロジェクトを考える上での見方が変わる。

私の注意を引いたのは、彼が述べた「ギザギザの知性」問題だった。現在のモデルはIMOの金メダルレベルの数学問題は解けるが、別の問題では小学校の算数ミスをする。まるで推論過程に巨大な盲点があるかのようだ。彼はチェスの例を挙げた—時にはGeminiが悪手を打ちそうだと気づきながらも、より良い選択肢が見つからずそのまま打ってしまうことがある。真に知的なシステムはそんなふうには動かないはずだ。DeepMindのチームは、これを修正するには一つか二つの具体的な改善だけで済むと考えているが、明らかにギャップがある。

エージェントについて：ハサビスはかなりストレートだった—私たちは始まったばかりだと。みんな実験しているが、まだ決定打となるユースケースは見つかっていない。彼は、AIコーディングツールを使ったトップクラスのAAAゲームが現実的に可能なはずなのに、実現している例はないと述べた。ツールやプロセスのどちらかに何かが欠けている。彼は、6〜12ヶ月以内にエージェントの応用で本当のブレークスルーを見ると予想している。

記憶の話も非常に興味深かった。100万トークンのコンテキストウィンドウは巨大に思えるが、それは動画ストリーミング約20分分にすぎないと気づくと、そうでもない。そして現在のアプローチは基本的にすべてをそのウィンドウに詰め込み、重要なデータとそうでないデータが混ざっている。脳はこれを睡眠サイクルや記憶の定着を通じて優雅に行っている。DeepMindは2013年のDQN時代からこのことを考えており、神経科学からヒントを得ているが、私たちはまだ粗いアプローチを使っている。

蒸留の側面では：彼らの仮説は、最先端モデルをリリースしてから6〜12ヶ月以内に、その能力をはるかに小さなモデルに圧縮できるというものだ。これらはエッジデバイス上で動作する。理論的な限界にはまだ達していない。Gemmaモデルは良い例だ—Gemma 4はそのサイズにしては非常に高性能だ。これは、AIが高速で効率的、かつプライベートに動作し、あなたのスマホやロボット上でローカルに動くことを意味している。

本当に印象的だったのは、彼の科学的ブレークスルーに関するポイントだ。AlphaFoldは巨大だった—世界中の300万人の研究者が今や使っており、ほぼすべての未来の薬物発見プロセスに組み込まれるだろうと言われている。でも、それは始まりに過ぎない。彼はこれを「アインシュタインテスト」と呼ぶ：1901年の知識をもとにシステムを訓練し、1905年にアインシュタインが発見したことを独立して導き出せるかどうか。これができれば、既存の問題を解くだけでなく、新しいものを発明できるシステムに近づいている。

創業者へのアドバイスはストレートだった：自分だけが解決できる問題に取り組め。簡単なことを最適化しようとするな。さらに重要なのは、もし今深層技術のプロジェクトを始めて10年の旅を目指すなら、その途中でAGIが登場する可能性も考慮しなければならないということだ。あなたのプロジェクトはAGIとどう連携できるか、その世界で有用であり続けるかを考えろ。彼のビジョンは、AlphaFoldのような専門的システムがツールとして機能し、Geminiのような汎用モデルが呼び出せる状態になることだ。すべてを一つの巨大なモデルに詰め込むのではなく。

DeepMindのマルチモーダルの観点も興味深い。最初からGeminiをマルチモーダルに構築するのは難しかったが、その努力が今実を結びつつある—より良い世界モデル、ロボティクスの応用、自動運転の統合など。これが競争優位になりつつある。

全体として、この会話はAIの進歩が急速である一方、解決すべき具体的な技術的ハードルも存在していることを示していた。単にスケールアップしてAGIに近づくわけではなく、実際に解決すべき問題がある。そして、この分野で何かを構築している人にとって、タイムラインは重要だ。景色が変わったときに何が価値を持ち続けるかを考えろ。