研究内容

学習・協調する機械知能への構成論的アプローチ

人工知能がいかに人間と共存してゆけるかが極めて重要な課題となっており,人間と人工知能の協調に着眼し,人間との協調を自ら学習する人工知能の研究を進めています.人工知能学研究室では4つのキーワードを中心に,発達する機械知能のダイナミクスを包含した多様な研究課題に挑戦しています.

Future Directions of our Artificial Intelligence Research

人間とロボットのマルチモーダルインタラクションの学習

ロボットが人間と経験を共有した日常的な言語コミュニケーションを行えるようになるためには,ロボットが,感覚・運動系などの認知機能との関連性を含めた総体としての言語システムを,人間や環境との相互作用を通して,適応的に学習する仕組みをいかに実現するかが課題です.この課題に対し,当研究室は,従来とはまったく異なるヒューマン・ロボット・インタラクション研究のアプローチ ―発達的アプローチ― の研究を推進しています.本アプローチに基づいて,これまでに,動作と言語によるマルチモーダルコミュニケーション能力を学習する手法を開発してきました.本手法によれば,ロボットは,初期状態において,言語のような記号的な情報を全く持たず,発話や行動による人間との共同行為を通して,言語,物体概念,ならびに動作を,オンラインでインクリメンタルに学習できます.その結果,ロボットは,状況に応じて,人間の発話を解釈し,日用品や縫いぐるみを操作したり,人間に操作指示や確認の発話をしたり,質問に答えたりできるようになります.

  • インタラクティブ学習を通した状況依存発話理解能力の獲得インタラクティブ学習を通した状況依存発話理解能力の獲得(3:41)
  • 相互信念に基づく発話生成相互信念に基づく発話生成(2:54)
  • 質問応答能力の学習質問応答能力の学習(2:09)
  • 確認発話の生成確認発話の生成(2:10)

関連文献

  • 岩橋直人, “ロボットによる言語獲得 -言語処理の新しいパラダイムを目指して,” 人工知能学会誌, vol.18, no.1, pp.49-58, 2003.PDF
  • N. Iwahashi. “Robots That Learn Language: A Developmental Approach to Situated Human-Robot Conversations” in Human-Robot Interaction, N. Sarkar, Ed. Vienna: I-Tech Education and Publishing, 2007, pp.95-118.
  • N. Iwahashi, K. Sugiura, R. Taguchi, T. Nagai and T. Taniguchi, “Robots That Learn to Communicate: A Developmental Approach to Personally and Physically Situated Human-Robot Conversations,” in Proc. AAAI Fall Symposium on Dialog with Robots, 2010, pp.38-43.
  • 杉浦孔明, 岩橋直人, 柏岡秀紀, 中村哲. “言語獲得ロボットによる発話理解確率の推定に基づく物体操作対話,” 日本ロボット学会誌, vol.28, no.8, pp.978-988, 2010.

ヒューマン・ロボット・マルチモーダル言語インタラクションのニューラルネットワークモデル

 事前に言語的な知識(単語,文法など)や物体の知識(物体クラスなど)をまったく与えずに、人間の行為(言語・行動)に対して,ロボットがどのような行為(言語・行動)で応答すればよいのかを学習できるディープラーニングの新しい手法を開発した.

    

関連文献

         
  • 守屋綾祐,高渕健太,岩橋直人,“Neural Network Model for Human-Robot Multimodal Linguistic Interaction,” ヒューマン・エージェント・インタラクション・シンポジウム 2017.PDF

ディープラーニングに基づく画像・動画処理における判断の根拠を可視化する技術

ディープラーニングに基づき画像・動画を処理して,認識・キャプション生成・質問応答生成・新規画像生成・自動運転などを行う技術の性能が飛躍的に向上し,多くのタスクで人間の能力を超え始めている.こうした人工知能を有効に利用し,豊かな人間社会を作り上げるためには,人工知能と人間が協調しあうメカニズムが必要であり,今まさにそのような技術の開発に注目が集まっている.本研究室では,ディープラーニングが,動画の時空間のどの部分に着目して高度な判断を行ったのかを可視化する技術の開発に成功した.

図:提案手法を用いてディープラーニングが動画のどの部分に着目して判断したかを示す可視化の例: (a)元動画 (b)根拠の可視化動画

関連文献

  • N. Yamashita, N. Iwahashi, S. Nakano, T, Sakai and M. Hamano. “ Visually Explaining Videos using Recurrent Neural Networks with Gradient-Based Localization,” 情報処理学会全国大会, Mar. 2018.PDF 

クラウドロボティクス技術を用いたコミュニケーション能力に関する情報共有技術

複数の場所にあるさまざまな形態を有するロボットの間で、それぞれのロボットが学習したコミュニケーションに関する知識を、クラウドロボティクスの技術を用いて共有するためのソフトウェア技術の研究を行っている.

人間との協調を学習する人工知能

ロボットが,人間同士の協調的な行為を観察することで,人間がどのようなルールに基づいて,どのような目的をもって行動しているのかを理解し,ロボットが人間と同じ協調的な行為を行うことができる機械学習手法を開発した.

  • 押川慧, 中村友昭, 長井隆行, 岩橋直人, 船越孝太郎, 金子正秀. “人のインタラクションからの教師なしルール学習,” 人工知能学会全国大会, Mar. 2017.
  • 佐々木友弥,岩橋直人,船越孝太郎,中野幹生,押川慧, 中村友昭, 長井隆行. “MDL Coupled HMMs による協調行為の学習と生成,” 情報処理学会全国大会, Mar. 2018. PDF

ロボットが人間との雑談から実世界の事物を示す言葉とその概念を学習する手法

人間とロボットの雑談の中の人間の発話から,眼前の物体に関する発話を検出し,さらに,その発話の中から眼前の物体に示している単語を判別し,同時に眼前の複数の物体の中からその単語が示している物体を選択し,単語と対応する物体概念を学習する手法を開発しました.

関連文献

  • 山本一馬, 石田卓也, 岩橋直人, Ye Kyaw Thu, 國島丈生. “人とロボットによる雑談から眼前の物体に記号接地している発話の検出法,” HAIシンポジウム, P-36, 2016.
  • 石田卓也, 山本一馬, 岩橋直人, Ye Kyaw Thu, 中村友昭, 長井隆行, 國島丈生. “雑談の記号接地:SVMによる記号接地発話の検出とMHDPとCRFを用いた物体への記号接地,” 人工知能学会全国大会, Mar. 2017.
  • Ye Kyaw Thu, T. Ishida, N, Iwahashi, T. Nakamura, T. Nagai “Symbol Grounding from Natural Conversation for Human-Robot Communication,” Int. Conf. Human Agent Interaction, Nov. 2017.

ディープラーニングを用いたロボットによるマルチモーダル言語獲得

ディープラーニングを用いて,人間が物体操作をしている動画像から,それを記述する音韻列に生成し,さらに,人間による物体操作指示発話をロボットが理解して適切な行動を実行するための手法を研究しています.

関連文献

  • K. Takabuchi, N. Iwahashi, Y.K. Thu and T. Kunishima. “DNN-based Object Manipulation to Syllable Sequence for Language Acquisition,” in Proc. Int. Symp. Artificial Life and Robotics, Jan. 2017.PDF

参照点に依存した動作の学習・認識・生成

下図に示す画像中で,人間によって動かされている縫いぐるみの移動は,画面中央で静止している縫いぐるみを参照点にとれば「飛び越える」という概念の例であり,画面右側の箱を参照点にとれば「乗る」という概念の例になります.このように空間的移動の概念には,参照点に依存しているものがあります.このような参照点に依存する動作を学習・認識・生成するための手法,参照点に依存した隠れマルコフモデル(Referential-Point-Dependent hidden Markov model (RPD-HMM))を提案し,さらに高性能なディープラーニング技術を開発しました.

図:参照点に依存した動作の例
  • 動作模倣学習動作模倣学習(1:32)

関連文献

  • 羽岡哲郎, 岩橋直人. “言語獲得のための参照点に依存した空間的移動の概念の学習,” 電子情報通信学会技術研究報告 PRMU2000-105, 2000, pp.39-46.PDF
  • K. Sugiura, N. Iwahashi, H. Kashioka and S. Nakamura. “Learning, Generation and Recognition of Motions by Reference-Point-Dependent Probabilistic Models,” Advanced Robotics, vol.25, no.6-7, pp.825-848, 2011.
  • 深井海生, 武井豪介, 高渕健太, 岩橋直人, Ye Kyaw Thu, 國島丈生. “LRCNによる参照点に依存した動作の認識,” 人工知能学会全国大会, Mar. 2017. PDF

ロボットに向けられた人間の発話の検出

人間のさまざまな発話の中から,ロボットが人間からロボット自身に向けて発せられた指示発話のみを検出し,適切に行動できるようにする手法を開発しました.

  • 提案手法を用いていないインタラクション提案手法を用いていないインタラクション(1:42)
  • 提案手法を用いたインタラクション提案手法を用いたインタラクション(2:38)

関連文献

  • X. Zuo, N. Iwahashi, K. Funakoshi, M. Nakano, R. Taguchi, S. Matsuda, K. Sugiura and N. Oka. “Detecting Robot-Directed Speech by Situated Understanding in Physical Interaction.” Journal of Japanese Society of Artificial Intelligence, vol.25, no.6, pp.670-682, 2010.
Copyright © Artificial Intelligence Laboratory, Department of information and Communication Engineering, Faculty of Computer Science and Systems Engineering, Okayama Prefectural University. All rights reserved.