富士通、「正しい手洗い」を自動監視するシステム

富士通研究所と富士通研究開発中心は、カメラで撮影した映像から、複雑な手洗い動作を認識するAI「行動分析技術Actlyzer(アクトライザー)手洗い動作認識」を開発した。

正しい手洗いの動作をAIが認識することで、食品事業者など、衛生管理が必要な現場での手洗い実施漏れ防止や、監視員による目視確認の手間を省く。

厚生労働省が推奨する正しい手の洗い方6ステップの実施と、各ステップにおける手を擦った回数を自動で正確に認識。95％以上の精度で動作認識ができ、手をこすった回数の判定制度は90％以上という。

正しい手の洗い方6ステップ

行動分析技術Actlyzerは、映像から人間の様々な行動を認識するAI。今回は手指動作の認識機能を拡張し、手洗い時の複雑な手指の動作を、両手の全体形状と手洗いの一連の動きから自動で認識するようにした。

6月から施行される「食品衛生法等の一部を改正する法律」により、先進国で義務化が進んでいる衛生管理法「HACCP(ハサップ)」に沿った衛生管理を実施することが義務づけられることから、手洗いが正しい方法で実施されているかを確認できる体制作りが急務となっているという。

従来の手指の動作認識としては、ディープラーニング(DL)を使ったハンドジェスチャ認識技術があり、手が写った画像から指の関節や指先といった手に含まれる複数の特徴点を検出し、その位置関係をもとにハンドジェスチャを判定していた。しかし、手洗い動作は両手が重なったり、手の上に泡があるなど特徴点を正確に検出できない問題があった。

従来のハンドトラッキング技術

今回の技術では、両手の複雑な手指動作を、両手の全体形状と動きの反復パターンを認識する2つのDLエンジンで実現している。

両手形状認識エンジンでは、両手全体の形状に着目することで、手の重なりや泡で特徴点が正しく検出できない問題を解決。富士通独自のAI技術「High Durability Learning」を適用することで、現場で運用中に変化するカメラ位置や照明などの影響があっても高精度を保つという。

動き認識エンジンは、連続するフレームから周期的に変化する動きを検出することで、反復回数をこすり回数としてカウントする。

また、これらのエンジンを相互フィードバックすることで認識精度を向上している。

本技術を活用することで、医療や教育現場、宿泊・イベント施設など様々な現場における衛生管理や、インフルエンザ、新型ウイルスなどの感染症予防にも貢献が可能という。

今後は、様々な現場での実証を進めていくとともに、富士通のAI技術「FUJITSU Human Centric AI Zinrai(ジンライ)」の重要技術として研究開発を進めていく。