第347回 言語の裏側、全部見せます


ロボマインド・プロジェクト、第347弾!
こんにちは、ロボマインドの田方です。

さて、第343回から紹介してるのがこの本『自閉症の僕が跳びはねる理由』です。

著者の東田直樹さんは、重度の自閉症です。
重度の自閉症って、普通は、会話ができないんですけど、東田さんは、文字盤ポインティングを使って会話ができます。

この写真をみたとき、最初、うまくしゃべれないから文字を指差しして会話するんだなって思っていました。
でも、違ったんです。
ネットで検索すると、東田さんが実際に会話してる動画が出てきました。

これみて、どう思いました?
「あれ、ちゃんと喋れるやん」って思いませんでしたか?
僕も、「えっ、その文字盤いる?」って思いました。
だって、指差してますけど、自分の口でもしゃべってますから。

でも、これの意味をよくよく考えると、言語にとって、何が最も重要なのかが分かってきたんですよ。
たとえば、モニターとキーボードを使って対話できるAI対話システムがあったとするでしょ。
このシステムがうまく動かなくなったら、キーボードの接触が悪いのかとか、モニターが故障したのかって、つい、考えてしまいます。
でも、東田さんは、声は出せますけど、うまくしゃべれないわけです。
これ、さっきのシステムでいえば、ハードウェアに問題があるんじゃなくて、ソフトウェアに問題があるんですよね。
たぶん、言語で最も重要なのは、言葉を理解したり、言葉を紡ぎだすプログラムの部分なんですよ。
でも、今までの言語学とか、このプログラムの部分は、ほとんど目を向けてないんですよ。
出力されたあとの言葉にばかり注目してるんですよ。
重要なのは、言葉になる前、言葉を生み出す裏側の仕組みです。
これが今回のテーマです。
言語の裏側、全部見せます
それでは、始めましょう。

さて、言葉の意味を理解して、言語を生み出すシステムとして僕らが開発してるのが、マインド・エンジンです。
マインド・エンジンは、僕が提唱する心のモデルを基に作った会話エンジンです。
心のモデルの基本となる考えは、意識の仮想世界仮説です。
人は、目で見た世界を頭の中で仮想世界として構築します。
意識は、その仮想世界を介して現実世界を認識します。
これが、意識の仮想世界仮説です。

仮想世界は、たとえば3DCGで作ります。
リンゴを見たとしたら、3Dのリンゴオブジェクトを仮想世界に生成します。
意識プログラムが認識するのは、このリンゴオブジェクトとなります。

オブジェクトっていうのは、メモリ上のデータのまとまりです。
オブジェクトは、関連するデータをプロパティとして持ちます。
リンゴオブジェクトなら、色プロパティが赤で、形プロパティが丸とかです。
意識プログラムは、これらのデータを読み出して、リンゴは赤いとか丸いって認識するわけです。
これが意味を理解するってことです。

さて、こっから、文の生成の話です。
仮想世界は、じつは、二つあります。
一つは、現実世界を認識するときに使う現実仮想世界。
もう一つは、過去を思い出したり、未来を想像したりするときに使う想像仮想世界です。
別の見方をすれば、目の前の状況を把握するときに使うのが現実仮想世界。
目の前にない状況を把握するときに使うのが想像仮想世界です。
言葉って、間の前にない状況を伝えることができますよね。
だから、言葉によるコミュニケーションは、想像仮想世界を使います。

言葉の意味を理解するというのは、想像仮想世界に状況を再現することです。
たとえば、「昔々、あるところに、おじいさんとおばあさんがいました」って文があったとします。
マインド・エンジンでこれを再現するとしたら、まず、何もない場面を用意して、そこに、おじいさんオブジェクトとおばあさんオブジェクトを生成します。

次は、「おばあさんは、川に、洗濯に行きました」です。
これは、生成したおばあさんオブジェクトが川に行く場面を再現します。
そして、意識プログラムは、それを認識します。
これが、文の意味を理解するということです。

ここを、もう少し詳しく説明します。
自然言語の言葉で、オブジェクトを直接操作することはできません。
オブジェクトを操作できるのはプログラムです。
マインド・エンジンでは、オブジェクトを操作する専用のスクリプト・プログラムを用意しています。
たとえば、「おばあさんがいます」なら、こうなります。

let a = new Grandmother();

これは、おばあさんオブジェクトを生成して、変数aに代入するという意味です。
このプログラムを実行すると、メモリ上におばあさんオブジェクトが生成されます。
次は、「おばあさんが川に行きました」です。
このプログラムは、こうなります。

a.go(river);

aというのがおばあさんオブジェクトです。
go(river)で、おばあさんオブジェクトの位置プロパティが「川」になります。
意識プログラムは、変化した位置プロパティを読み取って、「おばあさんは、川に行ったんだな」と認識します。

ここまでをまとめます。
ます、「おばあさんがいます」って自然言語の文章を読みます。
すると、それをスクリプト・プログラム「new Grandmother()」に変換します。
そして、このスクリプトを実行すると、想像仮想世界におばあさんが生成されます。
意識プログラムは、これを認識して、「おばあさんがいるんだな」って思うわけです。

頭の中で考えてることを人に伝えるときは、この逆をするわけです。
想像仮想世界におばあさんオブジェクトがあるとします。
それを認識した意識プログラムは、それをスクリプトに変換します。
それが「new Grandmother()」です。
そして、それを自然言語に変換すると「おばあさんがいます」となります。
会話なら、これを口に出して言うわけです。

さて、こっからが本題です。
東田さんの話です。

東田さんは、しゃべろうとすると頭が真っ白になると言います。
何をしゃべろうとしてたのか忘れてしまうそうです。
これって、どういうことでしょう?

しゃべろうとする中身って、仮想世界の状況ですよね。
それをスクリプトに変換して、さらに言葉に変換する過程で、忘れてしまうわけです。
今、何をしゃべろうとしてたのか、忘れるわけです。
だから、うまくしゃべれないわけです。
これは、スクリプト、言葉って変換してる過程で、仮想世界とのつながりが途切れてしまうんだと思います。
逆に言うと、僕らは、今、何をしゃべってるのかって覚えていられるわけです。
つまり、今、しゃべってる内容を一時的に覚えておく仕組みがあるわけです。
これをワーキングメモリといいます。

どうも、自閉症の人は、このワーキングメモリがうまく機能していないようです。
だから、今、何をしゃべってたのか分からなくなるんです。
でも、東田さんは、文字盤ポインティングを使うことで、しゃべれるようになりましたよね。
これは、今、しゃべってる文字を指差すことで、何をしゃべってるのかを保持できるからだと思います。
文字盤ポインティングが、ワーキングメモリの役目を果たしたんです。

ここ、もう少し突っ込んで考えてみます。
ワーキングメモリというのは、外の世界と、内側の世界をつなげる役割があると思うんですよ。
東田さんは、質問されたら、何度もオウム返しで同じことを聞きなおしてしまうって言います。
これも、相手の言った言葉を保持するワーキングメモリがうまく機能してないからだと思います。
話を聞く時って、ワーキングメモリに言葉を保持して、スクリプトに変換して、想像仮想世界を生成します。
この時、ワーキングメモリに言葉を保持できないと、うまく想像仮想世界を生成できなくて、何度も聞き直してしまうんでしょう。

たぶん、このワーキングメモリって、会話だけでなくて、現実世界を認識するときも使われると思うんですよ。
現実世界を認識するときに使うのが現実仮想世界です。
今、この瞬間の現実仮想世界を保存するワーキングメモリがあると思うんですよ。
それは、外の世界と内側の世界とのバッファというか、緩衝材の機能もはたすと思うんです。
つまり、そのワーキングメモリには、今、この瞬間の現実世界だけじゃなくて、ちょっと前のこととか、今の状況から起こりえるちょっと先の状況まで、幅を持った世界が含まれてるんです。
だから、その範囲内の出来事が起こっても驚かないし、多少、予定が変更になっても対応できるです。
たぶん、自閉症の人は、このワーキングメモリがうまく機能してないんです。
だから、スケジュール通りに物事が進まなかったりしたら、イライラしたりパニックになったりするんだと思います。

僕らは、ワーキングメモリのバッファを介して現実世界を認識しますけど、自閉症の人は、直接、生の現実に接してると言ってもいいと思います。
それは、悪い面ばかりでなくて、いい面もあります。
東田さんは、「こんなに美しい世界を、みんなは知らないのはかわいそうだ」とも言っています。
それから、物の見方について、こう語ってます。
「みんなは物をみるとき、最初に全体を見て、部分を見ます。
でも、僕らは、最初に部分が目に飛び込んでくるんです。
そして、その後、徐々に全体が分かるんです」

人がものを見るとき、現実仮想世界にオブジェクトを生成して、意識はそれを見ますよね。
言ってみれば、現実世界にあるリンゴ、そのものを見てるんじゃなくて、既に知ってるリンゴを生成して、それを見てるんです。
だから、最初から、全体を認識するんです。

でも、自閉症の人は、毎回、見たそのものからオブジェクトを作り出すんです。
だから、部分を見て、そこから全体を作り上げるんです。

自閉症の中で、特殊な能力を持った人をサヴァンと言います。
サヴァンの中に、ものすごく絵がうまい人がいます。

たとえば、これは、3歳のサヴァンの子が描いた馬の絵です。

こっちは、普通の8歳の子供が描いた馬の絵です。

ねぇ、全然違うでしょ。
それじゃぁ、この絵を読み解いてみますよ。

馬は、4本の足があって、長い首にはたてがみがありますよね。
この絵、今言った通りに描いてますよね。
つまり、この子は、馬そのものを見て書いてるんじゃなくて、頭の中にある馬オブジェクトを描いてるんですよ。
4本の足とたてがみを持つ馬オブジェクトを通して馬を見てるから、こんな絵になるんです。
これが、僕らが世界を認識する方法です。

それじゃぁ、次は、この絵は誰が描いたかわかりますか?

じつは、これ、レオナルド・ダ・ビンチが描いた絵なんです。
さっきのサヴァンの3歳の子が描いた絵に近いですよね。

こうしてみると、現実、そのものを見るって、ものすごい能力だって分かりますよね。
僕らは、もう、現実をそのまま見ることができないんですよ。
自分の知ってるもの、見たいものしか見えないんですよ。

そらじゃぁ、次は、これ、見てください。

写真に見えるでしょ。
実は、これ、サヴァンの人がペンで描いた絵なんです。
それも、後から思い出して記憶だけで描いたんです。
まさに、現実そのものを、そのまま見てると言えますよね。

最後に、東田さんが「なんで散歩が好きなんですか?」って聞かれたときの話をしたいと思います。
その理由の一番は、緑が好きだからだそうです。
緑と一緒にいるだけで、体中から元気がわいてくるそうです。
「人にどれだけ否定されても、緑はぎゅっと僕たちの心を抱きしめてくれます」っていいます。

たぶん、僕らは、同じ草木を見ても、頭の中に作り出した草木オブジェクトを見てるだけなんです。
本物の緑を見てるわけじゃないんです。
現実世界の緑には、本来、いろんな情報やエネルギーが含まれてるんです。
でも、僕らが見るときには、そんなのを全部そぎ落として、自分の知ってる緑をオブジェクトとして見てるだけなんです。

でも、自閉症の人は、現実世界の緑、そのものを直接見て、感じてるんです。
僕らが、感じることができない緑のエネルギーを感じ取ってるんでしょう。
たぶん、僕らも、赤ちゃんや子供の頃、そうやって世界を見てたと思います。
言葉を覚える前、世界をオブジェクトとして認識する前は、つねに、そんな風に世界を感じてたんです。
100%、直接感じ取って、世界は常に、驚きと感動に満ちていたんです。
それが、言葉を使うようになって、だんだん、世界が色褪せてきたんです。
自閉症の人は、そんな、僕らが失った感覚を、ずっと持ち続けてるんでしょう。

東田さんは、「自閉症についてどう思いますか?」と聞かれて、こう答えています。
「自閉症とはきっと、文明の支配を受けずに、自然のままに生まれてきた人なのだと思うんです」って。

人類は、言語を獲得することで、これだけの文明を築くことができました。
そして、いつのまにか、言葉でしか考えることができなくなりました。
でも、言葉で語られないところに、ものすごく大事なことがあったと思うんです。
これは、ヴィトゲンシュタインの『論理哲学論考』の最後の言葉を思い出させます。
「語りえぬことについては、沈黙せねばならない」

そして、東田さんの本の最後は、こう締めくくられています。
「僕たちが存在するおかげで、世の中の人たちが、この地球にとっての大切な何かを思い出してくれたら、僕たちは何となく嬉しいのです」

はい、今回の動画が面白かったらチャンネル登録、高評価お願いしますね。
それから、意識の仮想世界仮説に関しては、こちらの本を読んでください。
そして、絶賛、クラウドファンディング中です。
クラウドファンディングも、よろしくお願いします。

それじゃぁ、次回も、おっ楽しみに!