ロボマインド・プロジェクト、第231弾！
こんにちは、ロボマインドの田方です。
前回、第230回「映画文法を脳から読み解け！」で映画の編集の話をしました。
映画編集って、どのカットとどのカットを繋げるかとか、どのタイミングで繋げるとかって話です。
これは、映画を作る側の視点です。
でも、僕が、読み解こうとしてるのは、見る側の視点です。
というか、見る側が、どう感じるかです。
見てる人は、編集した映像を基に、頭の中で世界を組み立てます。
だから、編集方法と、その時、受け手がどう感じたかを分析することで、頭の中の世界がどうなってるか、分かるはずなんですよ。
別の言い方をすれば、主観の処理の仕組みがわかるってことです。
これ、脳科学者とか、一番知りたいことです。
脳科学者は、脳のニューロンの動きとか調べますけど、ニューロンをいくら観察しても、主観の仕組みは分からないんですよ。
何でかって言うと、階層が違うからです。
ニューロンがいるレイヤーと、主観がいるレイヤーは違うんですよ。
たとえば、テレビで考えてみますよ。
テレビ画面は、何十万って点々でできてます。
でも、そんな点々をいくら解析しても、画面に映ってるドラマの内容なんか、わからないですよね。
画面の点々のレイヤーと、映ってるドラマの内容のレイヤーは違うってことです。
これと同じです。
画面の点々がニューロンのレイヤーで、ドラマの内容が主観のレイヤーです。
つまり、ニューロンをいくら観察しても、主観の仕組みはわからないわけです。
じゃぁ、どんな実験をすれば、分かるんでしょう。
それが、前回やったことなんですよ。
映画の編集の仕方によって、どんな風に感じるかです。
映画の編集も、感じ方も、どちらも主観側のレイヤーです。
これだと、入力も出力も主観レイヤーなので、入出力の関係から、主観では、どんな処理をしてて、どんな構造になってるかってわかりそうですよね。
これが今回のテーマです。
映画文法から脳を読み解け！
それでは、始めましょう！
まずは、大前提です。
人は、目で見た世界を頭の中で、仮想世界として構築します。
意識は、仮想世界を介して世界を認識します。
これを、意識の仮想世界仮説といいます。
詳しくは、この本にかいてますので、良かったら読んでください。
さて、前回は、頭の中の仮想世界と映画のカット編集の対応関係について説明しました。
たとえば、ミッションインポッシブルのこのシーン。0:31~0:35
二つのカットで構成されてます。
最初は、トム・クルーズの顔のアップです。0:31~0:33（コマ送りか静止画）
落ちそうになった瞬間、カットが切り替わりました。0:34（コマ送り）
上からのカットになりましたよね。0:34~0:35（コマ送りか静止画）
(もう一度再生)
これ、こう言われたから二つのカットだって気づきますけど、何も言われなかったら、気づきませんよね。
違和感なく、繋がってるように感じます。
何でかと言うと、意識の注目する視点に沿って、カットが切り替わってるからです。
トム・クルーズが落ちそうになって、「えっ、落ちた？！」って確認しようとしますよね。
これに応えるようにカットが切り替わってるわけです。
こうやって、視点を切り替えることができるのは、意識が見てるのは、自分が作り出した仮想世界だからです。
現実世界を直接見てるんじゃなくて、仮想世界を見てるので、自由に視点を切り替えれるんです。
「落ちた？！」って思って、仮想世界の視点を切り替えるのと、映画のカットの切り替えが同じなので、違和感を感じないんです。
ただ、今の話は、現実に存在してる物の場合です。
撮影できる場合です。
この場合、仮想世界は現実世界を忠実に再現すればいいわけです。
でも、撮影できない物もありますよね。
たとえば、頭の中で考えてることとか。
いくら撮影しようと思っても、頭の中で考えてることはカメラに映りませんよね。
さて、それをどうやって再現しましょ？
じつは、これ、古くから研究されてました。
1920年代のソ連で盛んに研究されてたモンタージュ理論です。
その中で、最も有名なクレショフ効果について説明します。
これは、無表情の俳優と関係のない映像を組み合わせることで、その俳優の感情を表現できるって編集手法です。
まず最初は、これです。
0:03～0:07
最初、スープの映像があって、その後、無表情の俳優の映像になりましたよね。
この人は、おそらく、空腹を感じてるんだろうなぁって思いますよね。
つまり、何らかの感情を抱いてることを映像編集で表現できたわけです。
次は、これです。
0:12～0:17
棺（ひつぎ）に入った少女と、さっきと同じ無表情の俳優の組み合わせです。
この人は、悲しみを感じてるんだろうって思いますよね。
最後はこれです。
0:22～0:26
横たわる女性と、さっきと同じ俳優です。
この男の感じてる感情を一言で言えば、欲情ってなりますよね。
こんな風に、全く同じ表情でも、その直前に見せる映像によって、全く違う感情を持たせることができます。
これがクレショフ効果です。
さて、クレショフ効果を感じれるって、どういうことでしょう。
それは、頭のなかには、自動で走る処理があるわけです。
この場合だと、顔を見ると、相手の感情を読み取ろうって、処理が走るわけです。
表情から読み取れなかったら、他の物をヒントに読み取ろうとします。
この場合だと、直前の映像です。
スープの映像だったら、この人は、スープが飲みたいのかなって思うわけです。
ここ、もう少し考えてみましょう。
人は、社会の中で生きています。
社会で生きるとは、他人とコミュニケーションを取る必要があります。
スムーズにコミュニケーションを取るためには、相手が考えてることとか、感情を汲み取る必要があります。
つまり、人は、相手の感情や、何を考えてるのかを読み取ろうとする機能を持ってるわけです。
人の顔を見たら、無意識で、この機能が動き始めるわけです。
じゃぁ、相手の考えてることって、どうやったら分かるんでしょう？
人は、何かを考えるとき、頭のなかで思い描きます。
おそらく、人の顔の映像と、関係のない映像を続けて見ると、無意識の感情読取機能が、それらを結び付けるんですよ。
その人は、その映像のことを考えてるって。
直前にスープの映像があると、その人は、スープのことを考えてるって。
それだけじゃありません。
コミュニケーションで重要なのは相手の感情です。
だから、スープを考えてるってことは、お腹が空いてるだろうって思うわけです。
感情の抽出です。
これが、無意識が行う感情読取機能です。
どうです？
心の仕組みが、具体的な構造として見えてきましたよね。
人は、頭の中に仮想世界を作って、世界を認識します。
人の顔を見たら、仮想世界に相手の顔を作り出すわけです。
このとき、相手の顔だけじゃなくて、感情や考えてることまで再現しようとします。
そういう仮想世界を作るわけです。
だから、意識は、「あぁ、この人は、お腹が空いてて、スープを飲みたいって思ってるんだなぁ」って、自然と思うわけです。
いいですか。
画面にあるのは、点々ですよ。
意識は、一つ一つの点々なんか気にしないですよね。
なんでですか？
それは、意識は点々を感じてるんじゃないんですよ。
顔を感じてるからです。
じゃぁ、なんで、顔を感じてるんでしょう？
それは、意識が見てるのは、仮想世界につくられた顔だからです。
そこには、顔だって、既に意味が与えられてるんです。
さらに、「スープを考えてるお腹が空いた人だ」って意味まで与えられてるんです。
仮想世界って、ここまで情報が盛り込まれてるんですよ。
逆に言えば、そういう情報を持てるデータ構造になってるってことです。
これが、意識が感じる仮想世界です。
これが、主観レイヤーってことです。
どうです？
主観レイヤーの仕組みがわかってきましたよね。
おそらく、無意識って、意識の負担を減らすためにあるんやと思います。
意識の一番の役割は行動を決定することです。
相手を思いやってコミュニケーションを取るとかが、意識の役割です。
これは、思考といった、最も高度な処理です。
思考は、意識しかできません。
それ以前の考えなくてもできる簡単な処理は、無意識が自動でするわけです。
自動でできる処理っていうのが、見た物を判断して仮想世界を作る処理です。
顔と判断したら、それに顔って意味を持たせるとかです。
ただ、この処理は簡単なパターン認識とかで行われるだけです。
たとえば、
こんな木の板を見て顔があるって思うのは、無意識が、パターン認識で顔って判定したからです。
生活する上で、今、自分一人か、近くに人がいるかどうかって、ものすごく重要ですよね。
誰も見てないときと、自分一人じゃ、振る舞いが違いますよね。
だから、無意識は、誰かいないか常にチェックしてるんですよ。
そんな自動処理が走ってるんですよ。
ただ、無意識の処理は、簡単なパターン認識です。
だから、木の板でも顔って判定するんですよ。
顔と判定したら、仮想世界の木の板に顔って意味を書き込みます。
それが、本当に人かどうかは、高度な判断なので、意識しかできません。
意識は、これは木目がたまたま顔に見えただけだって判断するわけです。
ただ、そう思っても、仮想世界には、顔って意味付けされてます。
意識は、仮想世界を直接変更する権限がありません。
仮想世界の意味を、受け入れるしかないんです。
だから、これはいくら木目だとわかったとしても、なんか、誰かに見られてるようで、落ち着かないなぁって感じるわけです。
少しずつ、主観の仕組みが分かってきましたよね。
脳の処理には、階層があるわけです。
一番下のレイヤーが、ニューロンレベルの処理をする層です。
画像を判断するとかの処理ですね。
2番目のレイヤーが、それを基に、仮想世界を作り出す層です。
このレイヤーの主役は無意識です。
映画文法を解読することで、2番目の無意識レイヤーの処理内容が分かってきました。
無意識のレイヤーは、単に、目に見える仮想世界を作るだけじゃありません。
お腹を空かして空腹を感じてるとかって、感情まで設定します。
ここまでの処理は、パターン認識とか、比較的簡単な処理です。
おそらく、このレイヤーまでは、機械学習でできると思います。
そして、その上の3番目のレイヤーの主役が、意識です。
意識は、無意識が作り出した仮想世界を基に、相手の行動を予測したり、自分の行動を決定したりします。
この3番目のレイヤーが主観のメインのレイヤーとなります。
映画のカット編集とかは、2番目のレイヤーにあたります。
じゃぁ、3番目のレイヤーは映画の何に当たるでしょう？
それは、物語です。
2番目のレイヤーまでで、仮想世界が作られます。
登場人物とか、場面設定とか。
そして、3番目のレイヤーで、主人公が、どんな行動をするかって物語が展開するわけです。
恋人を殺した犯人を捜すとか、謎の宇宙人と戦うとか。
今まで、何度か語ったことがあると思いますけど、僕が、ロボマインド・プロジェクトを始めたきっかけは、物語の自動生成プログラムを作ろうと思ったことでした。
映画やドラマのシナリオをＡＩで自動で作れたら面白いだろなぁって思ったんです。
だって、コンピュータなら、何万通りのストーリーから物語を組み立てたりできるんですよ。
巧妙に伏線を張り巡らせて、それが、最後の場面で一気に回収されるとかってシナリオとか、書けそうじゃないですか。
「おお、あれとあれが、ここで繋がるか」って、人間じゃ絶対思いつかないようなストーリーです。
そう思って始めたんですけど、コンピュータじゃ、未だに言葉の意味も分からないとか、心を作らないと主人公の気持ちが分からないってなって、それで、心を一番下から作り始めたわけです。
今回は、映画のカット編集から、2番目のレイヤーで、どんな処理をしてるのか具体的に分かってきました。
いずれ、3番目の物語のレイヤーについても、考えて行きたいと思います。
ここが、一番、楽しいはずですから。
はい、今回の動画が面白かったら、チャンネル登録、高評価お願いしますね。
それじゃぁ、次回も、おっ楽しみに！
第231回 映画文法を脳から読み解け！②
