実環境における人のインタラクション推定
❏ 動画像中の複数の人の動作を説明する文生成手法の開発への取り組み
概要
研究概要は、2D動画像内に映る複数人に対して、各人物自身の動作と複数の人のインタラクション動作を推定します、例えば、walk、handshake、talkなど動作です。まず、2Dの動画像から解析を行い3Dの関節座標を推定します。複数のカメラを使用してデータセットを記録および収集し、データセット内撮った2D画像を3DPSモデルを介して3D空間内のスケルトン画像に変換します。また、各人物のスケルトンの座標も記録します。この座標情報に基づき、各人物自身の動作とどんなインタラクションの動作をさらに判断します。判断するために、私は自分データセットを作って、各人物自身の動作とインタラクションの動作を含むさまざまなラベルを作成しました。これらのデータセットを使用して、現実世界の中で、各人物自身の行動や人々の間で起こりうるインタラクションの動作を判断するために使用できるモデルを生成します。将来、自動運転が普及したとき、例えばバスにはドライバーがないとすれば 、私の研究を利用して、事故や問題を素早く発見することができます。公共交通機関の安全のために、この研究がバスの乗客の安全を確保するために利用できることを願っています。
研究スライド
方 依雯(Yiwen Fang)