nix in desertis

通称「東ロボくんプロジェクト」。NHKでも報道があった通り，発表会があったので参加してきた。以下にレポートを書いたが，超長くなったので，簡潔に先にまとめておく。

・入試は「暗記とパターン」だが，パターン作りというのは，実際には高度な人間の知的能力。だから大学入試を選んだ。
・最終的にコンピュータに身につけて欲しい能力（＝東大入試突破に必要な能力）は３つ。「深く正確な（自然言語の）構文解析と意味合成」・「パラフレーズ同定」・「文章の要約」。これらは現在の人工知能ではできない。
・ただし，今回は初回なので，挑戦する入試をセンター試験（模試）に絞った。また，最終的に欲しい能力を目指す本質的な研究ではなく，今回は，小手先の，現状可能なアプローチだけで，どれだけセンター試験で得点できるかに挑戦した。そのセンター模試の結果は約４割の得点率（３８７／９００）。足切り回避まで，まだまだ先は長い。
（筆者注：ただし，人間で言う「未履修分野」が多く，それを詰めれば現状のアプローチだけでセンターはかなり攻略できてしまいそう。）
・このセンター模試の成績を偏差値に換算すると，５教科７科目だと４５．０だが，私文系３科目なら４７．７。これで見ると，けっこう入れる大学がある。カウントすると４０４大学でA判定が出る。これを世間はどう受け止めるか。
（筆者注：ただし，学科は不問なので不人気学科ばっかり，国公立大学は事実上ゼロで，私大はボーダーフリーが多い。また，上述のようにほぼセンター式の入試にしか対応していないので，記述式が課されてる大学は受からないと思われる。まだまだロボットがちゃんと受かる大学はそう多くない。）


ということで，詳細は以下。ただし，筆者は情報系が専門ではないので，その辺は注意いただきたい。午前の部が研究者向け，午後の分が一般向けの話で，両方聞いたが，ほぼ同じ話をしていたので，基本的に午後の部を基盤に，一部午前の部の話を入れて書いていく。午後の部は国立情報学研究所側の分析の後，代ゼミ側講師の「東ロボくんを擬人化した上での学習アドバイス」という形で進行した。後者の発表内容は「代ゼミ：」とつけて区別した。

新井紀子先生の開会の言葉とプロジェクトの趣旨
・主催は国立情報学研究所。共催は富士通と代々木ゼミナール。富士通は，主に数学の研究を共同でやっている。代ゼミは入試問題，及び入試情報の提供。
・発案は2010年，2011年にキックオフ。ただし本格的に「東ロボくん」が受験勉強を始めたのは半年前ほどで，2013年の今回が初の発表。まだまだ東大合格には程遠いが，途中過程を見せることは社会と科学リテラシーを共有する上で意味があると考え，成果の発表会を開くこととした。人工知能にもできないことがあるということは科学リテラシーの共有において重要だと考えた。2016年のセンター足切り突破，2021年（2022年春）の文科の二次試験合格を目標としている。
・目的は「リアルデータを用いた，人工知能をフェアな評価の俎上に乗せ，真の技術的ブレイクスルーを図る」。２０年後，コンピュータが発展した未来はどうなっているか，を目撃したい。
・「入試は暗記とパターンではないのか」としばしば聞かれるが，人間のパターンづくりは実際には極めて高度なことをやっている。現状の人工知能では困難。だからこそ，大学入試をチャレンジ先として選んだ。
→　この困難なポイントのうち，東大二次試験突破に向けて必要な能力を具体的に３点挙げると，「深く正確な（自然言語の）構文解析と意味合成」・「パラフレーズ同定」・「文章の要約」。特に３つめの「文章要約」が可能になったら，影響を受けないホワイトカラーの職業は存在しないだろう。
（筆者注：パラフレーズ同定は専門用語らしくぱっとはわからなかったが，「同義語・言い換えの同定・類推」あたりで大体間違ってないっぽい。）
＜筆者感想＞
目的が明確で，当初思ってたよりもおもしろいプロジェクトだと思った。確かに，これらができるようになるということは，いわゆる文系の能力として必要なものはおおよそ代替できてしまうということで，それは東大二次試験突破とかそういう話ではない。実現するのかどうかすごく不安だが，追えるだけ追っていきたいと思う。それはそれとして，新井先生が東ロボくんを完全に「我が子」「うちの子」と呼んでおり，擬人化が激しくて笑った。


教科全般の話
・基本的に，国立情報学研究所の面々の専門は「自然言語処理」。しかし，大学入試を解く上で，自然言語以外の部分も必要になってくる。具体的に言うと，数式処理と図表の処理。
・そこでまず，数式処理の部分は富士通の協力が入っている。また，現在の研究段階では，図表の読み取りはできない。今回については，アノテーションを付して図表をテキストデータに変換し，自然言語として処理させた。例えば世界史で，古代中国の地図で点a・bの地名を答えさせる問題は，あらかじめ「点a：長安（大興城），点b：洛陽」と人間の側で入力してから解かせた。
＜筆者感想＞
この辺はもっと詳しい説明が欲しかった。将来的には図像処理の専門家を招いてここも自動化するのか，それとも最後までアノテーションというチートを使ってしまうのか。例示で出された問題について言えば，点aが長安であるという同定自体が最大の難所なので，現時点で東ロボくんはチート使用と言わざるをえない。


社会科（ほぼ世界史）
・社会科は暗記科目だから，教科書の丸暗記で解答できるのではないか？というところからスタート。山川出版社と東京書籍から世界史B・日本史Bの電子データをもらって記憶させた。その上で，歴史用語のセットがどの程度の頻度で同一の章・パラグラフに登場するか，によって正誤文を判定させた。
・たとえば，問題の選択肢に「アケメネス朝のダレイオス１世は，王の道を建設し，駅伝制を敷いた。」というものがあった場合。東ロボくんは山川の世界史Bの教科書を検索し，「ダレイオス１世は，国道として王の道を建設し，駅伝制を敷いた。」という文章を見つけて，これを正文と判断する，という感じ。
・これがけっこううまくいって，世界史Bが５８点，日本史Bが５６点。これはセンター社会科の点数としては人並み。（筆者注：センター試験の社会科は，おおよそ平均点が６０点前後。）
・ただし，問題はある。用語の取り替えではないところの正誤判定は弱い。たとえば，前出の問題文であれば「アケメネス朝のダレイオス１世は，王の道を建設し，駅伝制を”敷かなかった”。」であったとしても，東ロボくんはこれを正文と判断してしまう。なぜなら，文の意味を理解して解答できているわけではなく，「ダレイオス１世」「王の道」「駅伝制」という文字だけ拾って判断しているから。また，少しでも教科書と表現が違うと，それも誤文としてはじいてしまう。これらを乗り越えるためには，新井先生が掲げた「深く正確な（自然言語の）構文解析と意味合成」「パラフレーズ同定」が必要になってくる。今後の最大の課題。
・あと，教科書上の離れた文章同士で出てくるトピックに関する問いは苦手。離れているということは無関係と判断し，誤文と判定してしまう。
・代ゼミ：この「離れたトピック」へのアプローチが苦手なのは，実は人間の受験生も同じ。その意味で，東ロボくんの解答は，社会科に限定すると非常に人間くさい。たとえば人間も東南アジア史は苦手だが，東ロボくんも東南アジア史で壊滅していた。これは興味深いポイント。また，東ロボくんの解法は極めて早慶上智向きで，今の解法では二次の論述がまるで解けないが，これをどう攻略するのか期待したい。
（筆者注：東南アジアの話は，たとえば「義浄はシュリーヴィジャヤのパレンバンに立ち寄った」という文。これは正文だが，教科書の構成上，シュリーヴィジャヤは古代インド・東南アジアの章で出てくるが，義浄は中国史の唐の文化のページで出てくる。当然近接しておらず，さらっと読んだ分には無関係に見える。東ロボくん的には，これは誤文になってしまう。）
＜筆者感想＞
最大の疑問は，教科書の電子データしか用いず，用語集を用いていないこと。東ロボくん的な解法ならなおさら用語集は必須であるはず。まずはアルゴリズムの改善とか言っている場合じゃない。早く山川出版社から用語集の電子データをもらってくるのだ。また，結果的に数学に次いで出来が良かったのが社会科なわけだが，意外と言えば意外だし、妥当と言えば妥当。確かにセンターレベルの社会科は，用語集的なデータさえ詰められれば，現在の手法のままでも，８５点くらいまでは取れてしまうと思う（＝足切りは突破可能）。意外と有望かも。まるで必要な能力の違う，二次試験のことを考えなければ，だが。


国語（ほぼ現代文）
・発表者は名古屋大学工学部の教授。今回のプロジェクトでは現在唯一の”外様”。
・解法は，やはり社会科とほぼ同じ。もちろん，教科書ではなくて評論や小説の「本文」と，選択肢に登場する単語の一致数で正誤判定を行った。小説は感情表現（喜怒哀楽）の文字に，重点をつける操作を追加で施した。
・そんないい加減なやり方では無理だろうと思っていたが，何年度か模試と本試を解いてみたところ，平均的な得点はなんと５割をマーク。最高点は７０点弱。それでいいのかセンター試験。一致する文字数をカウントして，一番多かった選択肢を正しいとみなしているだけなんだぞ（会場爆笑）。ただ，英語同様に点数のブレが非常に激しく，今回解いた代ゼミ模試は４２点（１００点満点）と伸び悩んだ。安定性が必要。
・また，やはり社会科と同様の悩みで，９５％本文と同じ説明が続いた語尾に「ではない。」のような否定詞をつけられても，東ロボくんは正文と見なしてしまう。意味を理解して解いているわけではないのは同じ。このアプローチは早くも限界が見えてきているので，現状のようなエンジニアリングな手法ではなく，サイエンティフィックな手法を考えていきたい。
・代ゼミ：研究者の指摘通り，問題文の文字数を追っているだけなので，因果関係の逆転に弱い。「○○だから，××」を「××だから，○○」と読んで落とした問題があった。また，辞書的な意味を答えるのは得意だが，文脈に沿ったニュアンスの違いを含んだ言葉の意味を捉えることはできていない。やっぱり，文章読解や意味理解ということころにまでまだ至っていない。が，センター現代文は難易度が高いので，現時点でこれだけとれているというのは将来有望だと思う。
・一応，古文は２０点（５０点満点），漢文は未履修につき０点（同５０点満点），合計は６２点（２００点満点）。
＜筆者感想＞
講演者が代ゼミ講師顔負けの話のうまい人で，会場をどっかんどっかん沸かせていた。外様とのことだが，アプローチが内部でやってる英語・社会科とほぼ同じになったのはおもしろいところで。それだけに詰まっているところも同じなのだが。とはいえ，平均５０点，最高７０点は本当にすごい。代ゼミの講師の指摘通り，センター現代文は多くの受験生のセンター対策で最後まで鬼門で，７０点を一度も取ったことがない人も多いはず。特に小説がコンスタントに５割付近とれているのは驚愕している。もう逆輸入して人間も同じ手法で解けばいいんじゃないか。一致する文字数を数える解法。どうすか。


英語（午前の部のみ）
・使っている推論の体系はおおよそ国語に近い。本文から拾ってきて，選択肢と比較。
・点数にブレがあり，今回のように５２点だったこともあれば，他の年度のセンター模試や本試では８０点代だったこともあった。国語同様，安定性も課題。
＜筆者感想＞
何より発表者が高校生だったことに驚き。これは日本の将来明るいわ。発表そのものはたどたどしかったが，これからがんばってほしい。本人が「自分の大学受験に役立てばいいと思って始めたが，全然役立ってない」と言っていたのが印象的だったかな。


物理（午前の部のみ）
・東ロボくんの物理の解き方は，問題文や図像をコンピュータの読める形式表現に変換し，それをシミュレーションを使って（メモリ内で）実験させ，解答を出させる。ただし，前述の通り，今回は問題文や図像の形式表現変換は半自動。
・結果は３９点（１００点満点）。伸び悩んだ原因として，１．シミュレーション自体に不備がある。これは「未履修分野」が存在しているようなものなので，新たなシミュレーションの実装や，モジュールのバグ取りが進めばなんとかなるかも。
・２．形式表現変換の困難さ。現状，問題文や図像をコンピュータが読解できる形式に変換すること自体がかなり難しく，解答不能どころか解答未着手の問題が多かった。特に図像は，高校物理独特の表現が多く，アノテーションつきでも辛い。
＜筆者感想＞
そもそもなぜ理科は物理を選んだのか。東大文科の受験生なら多数派は生物だろうし，自然言語処理による入試突破が目標なら，なおさら国語的な能力が問われる生物が適切ではなかったか。それはそれとして，高校理科は大学以降の理科と別物で独特，という話はよく聞くところであるので，それがコンピュータを阻害しているというのはおもしろい話かも。


数学
・アプローチは物理と同じ。まず日本語（自然言語）をコンピュータが理解できる形式に変換し，それをあからじめ記憶させている解法にあてはめさせて解かせる。他の科目同様，日本語からの形式変換は半自動，以後は完全自動という状態だが，形式変換も完全自動化させる方向で考えている。
・唯一，センター模試と東大型模試の両方解いた。結果，東大型の模試は得点率５０％（文科で４０／８０）と受験生の平均点（３０点ほど）を大きく上回ったが，センター型模試は数1Aが６０点，2Bが４０点（ともに満点は１００点）と壊滅した。普通は東大二次がそれだけ解けたなら，センターは両方９０点取れるはず。
・東大二次については，解けなかった問題はまだ解法をコンピュータに覚えさせていない，すなわち「未履修分野」があるのが原因の一つ。今回で言えば，三角関数や確率は未履修分野だった。これは時間をかけて覚えさせていけば攻略できるようになるだろう。もう一つの原因が根深い問題で，形式変換がうまくいかないと，東ロボくんの計算量が爆発的に増えてしまい，なんと試験時間の１００分をタイムオーバーする。研究者の方はこれを計算量爆発と呼んでいたが，この計算量はどのくらいひどいかというと，現在のどんなスパコンを用いても１００分では処理できないらしい。現行の処理では特にXY座標を使った問題で計算量爆発が起きやすく，今後の最大の課題かも，とのこと。
・センター試験が解けなかった原因は，東ロボくんは自分のやり方で解きたがるため，センター試験についている誘導はむしろ邪魔であり，東ロボくんの選んだ解法と誘導がそれた瞬間白紙解答になる，という現象が発生した。
・代ゼミ：実はセンターにしろ東大二次にしろ，東ロボくんのような解答をしてくる受験生はときどき見かける。こうした受験生に共通する性格として「短気」であることが挙げられ，つまり東ロボくんも普段の性格は短気なのだろうと想像できる（ここで会場大爆笑）。まずは根気を身につけて，一見解けないように見える問題でも，腰を落ち着けてじっくりとりかかることが重要ではないか。
＜筆者感想＞
解法の選択ミスにより計算量爆発が起きてタイムオーバーするのは人間の受験生でもしばしばやってしまう現象だが，まさかコンピュータが同じことやらかすとは思ってもみなかった。社会科に続いて非常に人間くさい話である。しかし，さすがに二次試験まで到達しているあたり，根本的な相性は全科目で一番良いのだろう。エースとしてがんばってほしいところだ。


代ゼミ側による総評
・センターでは９００点満点で４００点を割っている。これでは東大の二次は足切りにあう。
・それはそれとして置いといて，現状の偏差値は５教科７科目で４５．０だが，これを私文系３科目にすると４７．７になる。これで見ると，けっこう入れる大学が多い。カウントすると４０４大学。
（筆者注：ただし，多くはボーダーフリーの大学である。また，学部学科は問わない状態であるため，不人気学科を選べば，という前提。また，国公立大学は事実上のゼロ。）
・現状のロボットで，多くの私立大学に入れてしまうというのは，１つの事件と言えるのではないか。東ロボくんの今後に期待。


＜筆者の全体感想＞
どの教科もスタートということで，とりあえずの結果を出そうという姿勢だったように思う。国語の担当者の言を借りれば，どの科目もエンジニアリング的な手法でサイエンティフィックな手法ではなかった。しかし一方で，そもそもセンター試験を解くのにサイエンティフィックな能力はそれほど重要ではなく，エンジニアリングの手法だけでまだまだ点が伸びそうというあたり，むしろマークシート形式自体の限界が見えるのではないか。やっぱ二次試験必要だわ，という熱い現政権批判ができそうな結論が自分の中で出た。

一方，東大二次試験についてはやはりサイエンティフィックな手法が必要で，はっきり言ってしまうと今回までの研究で新井先生の言う３つの能力（「深く正確な（自然言語の）構文解析と意味合成」・「パラフレーズ同定」・「文章の要約」）への挑戦は，失敗していたかそもそも挑戦してなかったかのいずれかであった。次回の発表会では，サイエンティフィックな方向での進化が見たいところである。