| Transformerによる構文解析 |
| ❏ 木構造Transformerを用いた教師あり統語構造解析 |
| 概要 |
| BERTは、Transformerのself-attention機構により単語間の依存構造を捉えた言語モデルとなっており、モデル内部に潜在的に統語構造情報を含んでいると言われているが、その情報を統語構造解析に利用する研究は少ない。また、self-attention 機構を利用することにより入力文の統語構造を解析する教師なし統語構造解析器Tree-Transformerが提案されている。一方で自然言語処理においては、これまで統語構造解析の研究において構築された多くの統語解析結果のデータが存在する。このことから、本研究ではTree-Transformerの教師なし学習に加え、構文解析結果の教師データとTransformerの、各階層での出力との損失を利用する階層的誤差逆伝播法を提案し、Transformerを用いた統語構造解析の教師あり学習手法を開発する。 |
| 研究スライド |
