Research

近年、深層学習が人工知能の代名詞のように言われるようになってきて、様々なモダリティ（数値、画像、言語といった情報）が表現学習の下、統一的に扱えるようになりました。これにより、自然言語処理と画像処理の垣根はほぼなくなり、我々人が頭の中で行っているようなマルチモーダルな情報を扱った情報処理が実現されるようになりました。小林研では主に自然言語処理・脳情動解析・マルチモーダルの3トピックについて研究をしています。


自然言語処理（NLP）

小林研の自然言語処理研究は、その分野の研究動向を反映して進められてきており、言語学を基礎とした自然言語処理研究に従事しています。とくに小林自身は博士課程の学生の時にオーストラリアシドニー大学言語学科に留学して以来、選択体系機能言語学を専門とし、それを使った研究をしてきました。
その後、統計的機械学習に基づく自然言語処理、そして、現在、主流となっている深層学習に基づく自然言語処理研究に取り組んでいます。

主な研究テーマ

  • Data-to-Text
  • 知識を用いた対話処理
  • 副詞の意味解釈
  • 言語における時間的常識
  • キャプション生成
  • 日本語学習支援
  • 著者推定
  • Transformerによる構文解析
  • 文章スタイル変換
  • 自然言語推論
  • 言語規則における説明AI

脳活動情報解析

深層学習モデルを使った脳内情報の言語化による脳解読は小林研を代表する手法となり海外の雑誌にも取り上げられました 。脳科学と人工知能の接点に関する研究を精力的に進めており、近年では、脳神経科学と人工知能の融合が取り上げられ、新しい学問を創出する新学術の分野においてかなりの研究テーマがヒト脳での情報処理に関するものとして、現在の人工知能の技術のさらに先を見据えて今後ますます研究が発展していくものと考えています。

主な研究テーマ

  • ヒト脳内での時間作成のメカニズム解明
  • 言語と脳活動を対応づけした新しい汎用言語モデルBrainBERTの開発
  • 短歌を詠んだ際のヒトが「詩的である」「詩的でない」と判断する脳内での情報処理機構の解明
  • 予測の観点からヒトが行う世界の認識の解明
  • 性差・個体差を踏まえた脳内情報処理機構の解明に基づくテーラーメイドな情報提供手法の構築

マルチモーダル

知能は脳だけでなく身体性も必要となります。機械学習をロボティクスに取り入れている国内のトップクラスの研究者らと2014年頃から共同研究を始めており、「言語とロボティクス（Language and Robotics）」というワーキンググループを立ち上げ、今後益々重要になるロボットが言語を扱い知的な作業が行える技術開発を促進するために、その新しい分野の活性化に努めています。

主な研究テーマ

  • 動作を表現する副詞の意味との対応関係を捉え、言語で動作を表現する手法の開発
  • 深層学習モデルに従来の統語構造解析手法取り入れたモデルの開発
  • 画像質問応答の質問を自然言語文生成の制御信号として付与して自然言語文を生成する手法
  • ペンが描き出すトレース（軌跡）から説明者の意図にそうような自然言語文生成を行う手法
  • 複数人のインタラクションを画像から判断し言語で説明をする技術開発