強化学習による知能システムの設計
強化学習は試行錯誤に基づいて学習するAI技術であり、様々な状況に対して柔軟に対応できるように知的エージェントを制御します。
例えば、こちらの2つの動画はどちらも強化学習を使った車両制御の様子を表していますが、どちらが知的に見えますか？おそらく、下の運転の方が知的に見えると思いますが、実のところ上段の方が難しいことをしています。上段はレーンからのずれと他車との距離関係から操舵角や加速度を直接制御していますが、下段は車両制御そのものは学習せず、他車との位置関係から「進む・緩める・止まる」という速度の判断だけを学習しています。
では、同じ強化学習を使ったシステムで、なぜこれだけの違いが生まれたのでしょうか？その鍵はシステムの設計にあります。この動画では「レーンに沿って進む」という目的があり、すでに確立された制御則がある以上、AIによる柔軟さが本当に必要なのは前方車両との衝突回避でした。そのため、上段のように車両制御まで柔軟にすると、適切に運転できるようになるまでに時間がかかります。もちろん、より学習を進めれば上段のシステムも上手く制御できるかもしれませんし、交差点のように複雑な意思決定と車両制御が同時に必要なシーンでは、車両制御そのものに強化学習による柔軟さが求められます。
当研究室では、こうした問題の特性を踏まえた「賢い」知能システムを設計し、システム全体を俯瞰して問題の様々な特性に対応できる「柔軟な」強化学習モデルを開発することを目指しています。そして、AIの導入が難しい現実問題に対して、知能システムの柔軟さを活かした機能拡張によって解決する方法を探究します。特に、車両やロボットなどの活動単位が複数存在するシステムを想定した、マルチエージェント強化学習の基礎技術と応用について研究しています。
本研究室の具体的な取り組み
複数ロボットの経路計画とスマートモビリティ
複数船舶の安全性を考慮した航路最適化
当研究室では、分布型強化学習（DRL: Distributional Reinforcement Learning）を利用した複数船の航路探索アルゴリズムを探究しています。具体的には、海上技術安全研究所の提案した航行妨害ゾーン（OZT: Obstacle Zone by Target）を組み合わせ、船舶の運動予測に基づく衝突リスクを回避した行動の学習を実現し、船舶の安全な航行を実現しました。今後は、より高度なシミュレーションに適用可能なアルゴリズムの開発、および風といった現実環境で無視できない影響を考慮した学習アルゴリズムを開発することを目標としています。
上記アルゴリズムのフォトリアル3D可視化（Blenderによるレンダリング。学習済み方策で全船がゴールへ到達する様子。海流の渦・航行妨害ゾーン(OZT)・航跡を表示）：
▶ ブラウザで実際に操船してみる（操船チャレンジ）
複数の空中配送ロボットの経路最適化
近年の日本の労働人口は減少し続けており、特に影響が深刻な輸送業において、ロボットの投入や自動運転等による労働力の確保は喫緊の課題となっています。当研究室では、京都大学丁助教、パナソニックホールディングス青山氏、岡山大学林准教授とともに、空中配送ドローンによる輸送経路最適化アルゴリズムを探究しています。具体的には、空中配送における動的な要素である経路遮断や風による制御の不安定さを再現したシミュレーションでドローンの方策を学習し、現実環境においても安全な輸送を可能とする手法を構築しています。また、当研究室は Delivery Robot Routing Problems Challenge (DRP Challenge)という競技会を毎年合同で開催し、より良いアルゴリズムを探究しています。
複数ロボットの多目的な経路最適化と制御
世の中の問題を解決するには、複数のタスクを解決する必要がありますが、基本的にAIは一つの目的を達成するように設計されています。例えば、画像認識AIでは入力画像から写っているものを認識するという目的がありますが、それを自動運転に活かそうと考えれば認識の他に、衝突回避や目的地の到達など様々な目的が考えられます。マルチエージェント強化学習においてもそれは同じです。
当研究室は上記の限界に挑戦し、多目的なAIを活用した現実問題の解決方法を探究しています。具体的には、多目的マルチエージェント経路計画と多目的マルチエージェント強化学習の二つの手法に対して、現実問題で活用できるレベルの学習量となるようにアルゴリズムを改良しています。
未知環境におけるロボット制御
知能ロボットの知識生成と進化
自律移動ロボットは、自己位置推定と経路計画が重要となります。SLAM (Simultaneous Localization And Mapping)システムはそのための重要な技術ですが、入力情報と位置関係のズレが深刻な問題を引き起こします。当研究室では、不完全な知覚情報によって異なる状況を同一と判断してしまう知覚エイリアシング（Perceptual Aliasing）に着目し、ニューロサイエンスの知見を活用した認知のズレの解消に取り組んでいます。
特に、当研究室の教員はクイーンズランド工科大学のWill N. Browne教授とともに、XCS Classifier Systemという進化的機械学習手法の性能向上とロボットナビゲーションへの展開を実施しています。
現実環境におけるロボットは、不確実性に追従した柔軟な制御が求められますが、強化学習をはじめとしたAIは基本的に経験から賢くなる手法であるため、経験していないことができないという問題があります。当研究室では、そうしたフィールドロボットにおける柔軟さを獲得するための、強化学習手法を探究しています。
惑星探査機の自己位置推定アルゴリズムかつて、当研究室の教員はJAXAが立ち上げたSLIM（Smart Lander for Investigating Moon）プロジェクトにおいて、月面着陸機の自己位置推定アルゴリズムを探究しておりました。同プロジェクトの一つの柱は、画像照合航法というリアルタイムな軌道修正に基づくピンポイント着陸技術の検証でした。そして、画像照合というだけあって、その方法は月面画像のクレータパターンをあらかじめ搭載したクレータマップと照合して自己位置推定を行い、予定していた軌道とのずれを測るというものでした。当研究室の教員が携わった自己位置推定では、以下のようにクレータから三角形を形成してマッチングし、合致した三角形を基準に外点クレータをマッチング、その後一致したクレータ座標から自己位置を計算するというものです。
SLIMミッションはもう終了しましたが、当研究室ではまだそれなりにあった課題に対して、AI的なアプローチでの解決を目指しています。