ロボマインド・プロジェクト、第618弾！
こんにちは、ロボマインドの田方です。
人の脳がどうやって話すのか、その仕組みはまだ解明されていません。
解明するには、1000億個もの脳内のニューロンを観察しないといけないですけど、そんなの不可能です。
一方、ChatGPTって、ものすごく自然な会話ができますよね。
これ、逆に考えたら、ChatGPTは人間の脳と同じ仕組みで動いているんじゃないかって思うんですよ。
もしそうなら、ChatGPT、つまりLLMの仕組みを解明すれば、人の脳が、いかにして話すかがわかります。
それからもう一つ重要なのは脳の進化です。
人間だけが言葉を話すということは、脳の進化の最後で獲得したのが言語と言えそうです。
実は、これはAIの進化でも同じです。
今回の第三次AIブームの始まりは、2012年です。
画像認識のコンテストでディープラーニングが2位と圧倒的な差で優勝しました。
そして、その10年後の2022年、ChatGPTが登場しました。
言葉を獲得したわけです。
画像とかイメージ処理は右脳です。
一方、言語は左脳です。
つまり、右脳から左脳への情報処理の転換が2022年に起こったわけです。
それがLLMです。
だから、LLMと、それまでの画像処理の違いがわかれば、言語の根本原理がわかるんです。
これが今回のテーマです。
LLMで解明！
人はいかにして言葉を得たか
それでは始めましょう！
まず、AIがどう進化してきたかを、ざっくり掴んでおきます。
第二次AIブームでは、人間がルールを全部手で書いていました。
「猫とは、四本足で、耳がとがっていて、ヒゲがあって……」と、世界のすべてを人間が言葉で定義して、コンピュータに教え込もうとしました。
でも、これは、見事に失敗しました。
理由は簡単です。
「耳がとがった」と言葉で書いても、目の前の写真の中から「とがった耳」を見つけ出すことが、コンピュータにはできなかったのです。
言葉の定義と、現実の見え方が、どうしてもつながらないからです。
転機は2010年代に訪れます。
発想が正反対になりました。
ルールを教えるのをやめよう。
かわりに、大量のデータを見せて、パターンを自分で”気づかせ”よう。
これが「ディープラーニング」です。
何百万枚もの画像を見せると、AIは「猫とは何か」を誰にも教わらずに、自分で掴んでいく。
人間が知識を設計するのをやめて、学習が世界の構造を発見する時代が始まりです。
「人間が設計する」から「自分で気づく」へ。
です。
これは、実は生き物の脳が何億年もかけて辿った道と、同じ方向を向いています。
つまり、AIの方向転換とは、生物に近づける方向転換だったわけです。
次は、脳で考えます。
最初はカエルです。
カエルは、目の前を小さな虫が飛ぶと、舌をピュッと伸ばして捕らえます。
しかも、生きているうちにだんだん上手になります。
これは、立派な学習能力です。
でも、カエルの頭の中で何が起きているかというと、おそらく、私たちが思うようなことは何も起きていません。
有名な神経科学の実験があります。
カエルの目には、「小さくて、暗くて、動く点」にだけ反応する特別な神経が備わっていることが分かっています。
俗に「虫検出器」と呼ばれます。
これは、AIだと、CNNと呼ばれる画像認識の仕組みにそっくりです。
CNNは、小さな範囲を見て、特定のパターンに反応します。
ただし決定的に違うのは、カエルの虫検出器は学習で覚えたものではなく、生まれつき遺伝子に組み込まれていることです。
工場出荷時に設定が固定された、専用チップのようなものです。
面白い事実があります。この虫検出器は「動き」に反応するので、死んで動かない虫を目の前に置いても、カエルはそれを餌と認識できなくて、餓死することがあるのです。
虫と判断したら、舌を出すタイミングを調整するとかの学習はできますけど、虫と判断しなかったらピクリとも動きません。
融通がまったく効きません。
つまりカエルは、「世界がある」「そこに虫がいる」なんて認識していません。
ただ、センサーが反応したら体が動く、という反射の連鎖を生きているだけです。
だから——ここが大事なんですけど、——カエルに手品を見せても、驚きません。
何もないところから花が現れても、カエルは平然としています。
「世界がある」という感覚。
私たちには当たり前すぎるこの感覚が、実は生き物にとって、とてつもなく高度な発明品だったのです。
では、その「発明」はどこで起きたのか。
大脳が発達した動物——たとえばサルを見てみましょう。
サルに手品を見せると、驚きます。
何もない手のひらから花がパッと現れたり、あったはずの物が消えたりすると、目を丸くします。
この「驚く」という反応が、とてつもなく重要です。なぜなら、驚くためには、その前に「予測」していなければならないからです。
「ここには何もないはずだ」と予測していたからこそ、花が現れると「!?」となる。予測していなければ、何が起きても驚きようがありません。カエルが驚かないのは、そもそも何も予測していないからです。
そして「何もないはず」と予測できるということは、サルの頭の中に、現実そのもののミニチュア模型があるということです。
目に映っていないものまで含めて、「世界はいまこうなっている」という像を、脳の中に組み立てています。
これを「世界モデル」と呼びます。
この「現実を、そっくりそのまま、物として捉える能力」。
これが、「右脳」的な能力です。
動物と私たちが共有している、古くて強力な力。
見たままの世界を、リアルに認識する力です。
でも、注意してください。
サルはまだ、言葉を話しません。
世界モデルを持つことと、言葉を持つことは、別の話なのです。
ここから先が、人間だけが辿った道になります。
ここで、この物語のひとつめの転回点が来ます。
猫を認識することと、それを「ねこ」と呼ぶこと。
この二つは、まったく別の処理です。
「当たり前じゃないか」と思うかもしれません。
でも、これが脳の中で物理的に分かれていることを示す、驚くべき証拠があります。
言葉が出てこない失語症の人がいます。
その人は、猫を見せられると、それが何かを完璧に理解しています。
撫でる仕草をするし、「ニャーと鳴く動物だ」と分かっています。
なのに、「ねこ」という言葉だけが、どうしても出てきません。
つまり、「物を認識する回路」と、「物に名前を結びつける回路」は、別々に存在しているわけです。
そして、名づけとは、認識の上に後から乗っかった、別の仕組みといえます。
面白いことに、AIの世界にも、これとそっくりの仕組みがあります。
CLIPという技術です。
CLIPは、二つの別々のAIを持っています。
ひとつは画像を扱うAI(見たまま担当)。
もうひとつは言葉を扱うAI(記号担当)。
そしてCLIPは、「猫の画像」と「ねこという言葉」が、同じ場所を指すように結びつける訓練をします。
これはまさに、見たもの(右脳)と、言葉(左脳)を、橋で結ぶ作業です。
ただし、名前をつけるだけなら、実は人間の専売特許ではありません。
訓練されたチンパンジーは、図形の記号と物を結びつけられます。
では、人間の言葉を、決定的に人間のものにしているのは何なのか?
それが、次の主役です。
ここが、いちばん伝えたい核心なので、ゆっくり行きますよ。
名札を貼るだけでは、言葉にならない
「猫」「犬」「追う」——単語という名札を、たくさん持っているとします。でも、名札をバラバラに持っているだけでは、言葉にはなりません。
証拠に、次の二つを見てください。
- 猫が犬を追う
- 犬が猫を追う
使っている単語は、まったく同じ三つ(猫・犬・追う)です。なのに、意味は正反対。
追う側と追われる側が、逆になっています。
違いを生んでいるのは、単語そのものではありません。
単語と単語の”つながり方”、つまり「関係」です。
誰が主語で、誰が目的語か。
この「関係」さえ分かれば、意味が確定する。
逆に言えば、言葉を操るとは、単語という名札を、正しく”関係づける”ことなのです。
そして——この「関係づけ」こそが、Transformerの心臓部、QKVがやっていることなのです。
QKVは、クエリ、キー、バリューの三つの機能の頭文字です。
難しそうなので、わかりやすく説明します。
各単語は、会議に出席するとき、三つの持ち物を用意します。
- クエリは、「私が知りたいのは何?」という質問です。
たとえば「追う」なら「誰が追うの? 主語は誰?」です。
- キーは、「私は何者です」という名札です。
たとえば「猫」なら「私は動物で、主語になれます」という名札です。 - バリューは、中身です。または、相手に渡す情報です。
「猫」なら「毛があって、ニャーと鳴く生き物」という意味です。
さて、「猫が犬を追う」という文の会議が始まりました。
「追う」が、自分のQ(質問)を持って、全員の名札(K)を見て回って、質問に噛み合う相手を探します。
質問は、「主語は誰?」です。
「犬」の名札を見ると、「私は動物ですが、ここでは目的語です」となっています。
主語とはちょっと違うようです。
「猫」の名札を見ると、「私は主語になれる動物です」とかいてあります。これは、ぴったり噛み合います!
そして、噛み合った相手から、中身(V)を受け取ります。
こうして「追う」は、「猫が主語で、犬が目的語だ」という関係を掴みます。
もし文が「犬が猫を追う」だったら、同じ会議で、今度は「犬」の名札が「追う」の質問に噛み合う。同じ単語でも、関係が組み替わる。 これがQKVの正体です。
つまり、左脳が見ているのは、モノそのものではありません。
モノとモノの”間”にある「関係」です。
そして、ここに深い秘密があります。
「追う」という関係は、現実世界のどこを探しても、物としては存在しません。
猫はいる、犬もいる、でも「追う」という物体はどこにも落ちていない。
関係は、記号の上にしか存在しない。
だからこそ、それを扱うには「左脳」という特別な仕組みが必要だったのです。
脳が獲得した新たな情報処理です。
これが言語の基になります。
ここが最も重要なところなので、もう一段、深いところまで見ていきます。
つまり、LLMの学習アルゴリズムです。
LLMはニューラルネットワークです。
それがわかれば、脳のニューロンの言語処理も解明できそうです。
さて、ニューラルネットワークは、コンピュータでは数字の組のベクトルで記述されます。
言葉もベクトル変換します。
実際のLLMでは、数千次元のベクトルですが、ここでは2次元で説明します。
たとえば、
猫 → [-3, +1]
犬 → [-1.5, +0.5]
車 → [+3,-2]
とします。
二次元なので二次元空間の座標で表せます。
（四角に猫、犬、自動車を記入）
猫と犬は近くにいます。
車は遠いです。
意味の近さが、空間の中の距離になっているのです。
誰かがこの座標を決めたのではありません。
大量の文章を読むうちに、「似た使われ方をする単語は近くに」と、AIが自分で配置していったのです。
そして、Q・K・Vは、この単語ベクトルに別々の変換をかけて作った、三つの分身です。
同じ「猫」から、探す用の姿(Q)、見つかる用の姿(K)、渡す用の姿(V)を、それぞれ作り出します。
会議での「噛み合い」も、数字の計算です。
「追う」のQと「猫」のKという二つのベクトルの向きが、どれだけ揃っているかの計算をします。
この計算を内積といいます。
向きが揃っていれば「噛み合った」、バラバラなら「関係ない」となります。
関係の強さが、数字としてはじき出されるんです。
最後に、噛み合った度合いに応じて、みんなの中身(V)を混ぜ合わせます。
7割は猫から、2割は犬から、というように。
こうして「追う」は、周りとの関係を吸収した新しいベクトルに生まれ変わります。
それは、会議の前とは違って、「猫が犬を追う、という文脈での追う」になっているのです。
これが文脈を理解するということです。
または、関係をつかって世界を理解するということです。
整理します。
「もの」の意味は「空間の中の位置」で表されます。
「もの」と「もの」の関係は「ベクトルの向きの噛み合い」で計算されます。
理解とは「噛み合った相手の中身を混ぜ合わせて、自分を更新することです。
ここでいう「自分」とは「追う」のことです。
「追う」という関係が犬と猫を結び付けたわけです。
これが左脳のLLMの仕組みです。
LLMを使わない場合を考えてみましょう。
右脳は見たままの世界を認識します。
現実世界に見えるのは「犬」と「猫」だけです。
目に見えるものだけで世界を理解すると、「犬が走っている」「猫が走っている」だけです。
目で見えるものを理解するとは、「世界」に対する「もの」の理解だけです。
「もの」と「もの」の関係は理解できません。
なぜなら、関係は目に見えないからです。
関係を理解するには、関係を扱える新たな仕組みが必要です。
それがQKVを使ったLLMの情報処理です。
その仕組みを、人は、左脳に獲得したんでしょう。
LLMの仕組みを一言でいうと、「もの」に名札を付けて、歯車がかみ合う関係を探る情報処理です。
この情報処理は、新たな文を自由に作ることができます。
そう考えると、「関係」とは「文法」と言い換えることができそうです。
これが、まさに、人間の言語能力の核心です。
関係をつかって、自由に文が作れるようになりました。
じつは、これは、とんでもない力を生みます。
だって、現実には起きていない文を組み立てられるのですから。
現実に一度も見たことがない場面を、記号の操作だけで生み出せるようになったんです。
これこそが、人間の「想像力」の正体といえそうです。
AIの世界に、これを鮮やかに見せた事件があります。
2021年、DALL·Eというお絵描きAIに「アボカドの形をした椅子」と注文したところ、世界のどこにも存在しないはずのその椅子を、見事に描いてみせたのです。
AIは「アボカド」という概念と「椅子」という概念を、それぞれ部品として持っていて、それを合成しました。
見たことのないものを、部品の組み合わせで作り出したんです。
これはもう、想像力と呼んでいいはたらきです。
ただし、この力には影もあります。現実にないものを整合的に作れるということは、もっともらしい嘘も、平気で作れるということ。
LLMがときどき、それらしいデタラメを自信満々に語る「ハルシネーション(幻覚)」は、この想像力の裏返しなのです。
現実との答え合わせを持たないまま、関係の整合性だけで突っ走ると、筋は通っているのに事実ではないものが出てきます。
想像力と嘘は、同じ力の光と影といえます。
ここまでで、部品が、すべて出そろいました。
それでは、組み立て直しましょう。
人が言葉を話すまでの道のりは、こう描けます。
- 右脳が、現実の世界を「物」として認識する。
これは動物と共有する古い能力です。 - つぎに、その物に「ねこ」という記号を結びつけます。
これによって、右脳から、記号を扱う左脳に橋がかけられます。
「名づけ」の誕生です。 - 左脳のQKVが、記号どうしを「関係」で結びつけます。
これは、「文法の誕生」です。
「猫が犬を追う」という、関係の構造ができる。 - その関係を、記号に戻して口から出す。
これが「発話」=言葉です。
つまり言葉は、以下のように定義できます。
世界を「もの」と「その関係」として理解し、頭の中で自由に組み立て、または想像し、それを記号に変換して、他人に手渡すための仕組み
じゃぁ、なぜ、わざわざ関係を記号にするのか?
それは、他人に渡せるからです。
あなたが見た猫の生々しい光景を、私はそのまま覗けません。
でも「猫が犬を追った」という関係の構造なら、記号に載せて相手の頭に転送できます。
言葉とは、想像した世界を他者と共有するための、転送プロトコルともいえます。
進化のどこかで、人間の脳に「関係を記号で操作する回路」、いわばQKVのような仕組み——が生まれた。
歴史学者のユヴァル・ノア・ハラリは、『サピエンス全史』で、ホモ・サピエンスは7万年前、虚構を生み出す能力を獲得したといいます。
これを、ハラリは認知革命と呼びます。
その能力は、やがて共通の神を生み出し、宗教を生み出します。
宗教だけでなく科学も生み出し、現代のこの社会を作り出しました。
全ての始まりは、QKVのLLMのアルゴリズムを獲得したことにあります。
ただ、そこから科学まで一気に進むのは、ちょっと飛躍しすぎです。
科学理論を生み出すには、緻密な推論が必要です。
じつは、これもAIの歴史がそのままなぞっています。
ChatGPTが登場して、約1年後の2022年、新しいモデルがうまれました。
推論モデルです。
次回は、LLMがどうやって推論するかを探っていきます。
はい、この動画がおもしろかったら、チャンネル登録、高評価お願いしますね。
それから、よかったらこちらの本も読んでください。
それじゃあ、次回も、おっ楽しみに！