姿勢・視線解析ソリューション Pose・Gaze Estimation

本POCは競走馬のパドック映像をAIで姿勢分析し、今までにない競走馬のデータを提供することで、競馬予想をもっと楽しんで頂けるようなサービス開発を目的とした取り組みとなっている。
画像認識技術を使った競走馬の姿勢推定手法を独自開発し、馬の代表的な部位31箇所の特徴点を検出し姿勢を推定した。人の目では分からない歩様の特徴を定量的に算出することで、新たな予測指数として利用する方法を検討した。
また、歩様特徴量を深層学習で推論にかけ、走破速度など（実際のレースで各馬の調子の参考になる項目）が平均より上になるか下になるかも予測した。

今回のPoCでは馬に関する専門家に馬の調子の指標として参考になる歩様解析内容をヒアリング。足の角度、歩幅、腹回り、尻尾の毛先の動き、体高などの特定の動きを歩様解析した。今後はこれらの指標をどのようにユーザーフレンドリーに提供していくかを検討していく予定。

公共施設や商業施設などに設置したデジタルサイネージ(広告)への視聴者の視線データを、カメラと独自のAI視線推定エンジンを用いて集計する。
表示されるサイネージは15秒のループ再生で、広告のどの位置(視線の座標)を誰(性別・年齢)がどのくらいの長さ(何秒間)見ていたかを集計することが可能。集計内容は管理画面で確認することが出来る。

視線推定エンジンで検出した視線の位置をヒートマップ表示する他、秒単位の瞬間視聴数と、動画全体での累計視聴数を数値とグラフで表示。また全体の視聴数から各視聴者区分(C〜M3)が占める割合の結果を円グラフと数値で表示することが出来る。

深層学習を利用し、現存する画像認識トラッキングより精度高く姿勢視線推定を行い、検出したデータを元にアバターを動作させ遠隔会議システムへの実装が可能かの検証。
PCのインカメラから眼球の強膜及び角膜、各面積を独自計算モデルで画面のどの位置を見ているか視線を推定。今後は更に全体的な認識スピード、認識精度の向上を目指していく予定。最終的な目標としては、低容量のデータ通信かつ、発信者の表情や仕草から、人らしい思考の示唆が読み取れるようなコミュニケーションツールを目標としている。