脳活動情報解析
❏ 汎用言語モデルBrainBERTを用いた言語刺激下の脳内状態推定
概要
近年、深層学習を用いてヒト脳内の情報処理機構を解明する研究が盛んになってきており、多くの新しい知見が得られている。脳内の意味情報処理のモデル化も進められており、例えばHuthらは、自然音声刺激による脳活動から脳領域における意味地図を構築し、意味体系のほとんどの領域において特定の意味領域や関連する概念のグループが存在することを明らかにしている。また言語モデルを用いた研究では、脳内の意味情報表現と実際の意味知覚の間に有意な相関があることやTransformerベースのモデルを用いた場合に性能向上が見られることが確認されている。このように言語刺激に対する脳内状態を予測することにより、様々な脳内情報処理機構が解明されてきている。そのような背景を受けて、言語刺激と脳活動状態との対応関係を捉える汎用言語モデルBrainBERTを提案し、脳活動からテキストの予測において一定の成果を挙げている。このことを踏まえ言語刺激から脳活動状態を予測することを試み、20種類の代表的な汎用言語モデルとBrainBERTを用いた脳活動状態予測において、予測精度を比較することにより、BrainBERTの性能を検証することを目的とする。
研究スライド
luo-1
羅 桜(Ying Luo)
羅 桜,小林一郎「汎用言語モデルBrainBERTを用いた言語刺激下の脳内状態推定」人工知能学会全国大会(第36回),国立京都国際会館,京都,2022年6月.
❏ ヒト脳内における視覚・言語情報の階層的処理の解明への取り組み
概要
近年、深層学習モデルを使用してヒト脳の情報処理機構を解明する多くの研究が行われている。例えば、畳み込みニューラルネットワーク(CNN)を用いた研究では、脳内での視覚情報の階層的な処理が確認されている。また、言語モデルを用いた研究では、脳内での意味情報表現をモデル化可能であることが確認されている。しかし、これら2つのモダリティについては個別に研究が進められることが多く、類似性や差異については十分に言及されてきていない。このような背景を受け、私たちは、視覚情報および言語情報を扱う深層学習モデルを用いて脳活動を予測し、予測を深層学習モデルのモダリティや階層性から分析することで、2つのモダリティの類似性や差異について調査する。
研究スライド
kawasaki-1
kawasaki-2
kawasaki-3
previous arrow
next arrow
川﨑 春佳(Haruka Kawasaki)
川﨑 春佳,西田 知史,小林 一郎「ヒト脳内における視覚・言語情報の階層的処理の解明へ取り組み」人工知能学会全国大会(第36回),国立京都国際会館,京都,2022年6月.