Research Center for Advanced Science and Technology, The University of Tokyo

指の動きを認識している様子の図

重度重複障害のある子どもの支援

巖淵研究室は中邑研究室と連携し,重度重複障害ある人の随意運動を引き出すことのできる支援技術に関する研究を行っています。筋緊張に伴う手足の震えなど,様々な不随意運動のためにこれまで機器利用が困難な人に対して,本研究では,マイクロソフト社のKINECTを応用したシステムを開発しています。

画像処理とパターン認識技術により体の動きを認識し,不随意運動に伴うブレを補正,随意的な運動のみを取り出します。さらに,取り出された運動に対する反応として,光や音などを用いたフィードバックを返すことで利用者と外界とのインタラクションをわかりやすく提示します。重度重複障害ある人(特に子ども達)の因果関係の理解や能動的な運動の促進を目指します。日本マイクロソフト社の協力を得ながら開発を進めています。

手の追跡および指の動きの認識
KINECTの深度情報の分析とともに,手を追跡して指の動きを認識します。重度重複障害のある人向けのシングルスイッチとしての利用や,マウスポインタの操作が可能です。

唇,舌,目の動きの認識
唇,目の領域を特定し,RGB空間の情報を分析して特徴を抽出し,唇や舌,目の動きを認識します。それらの動きでスイッチ動作を代替することができます。

> 開発されたスイッチソフト「OAK」についてはこちら
> 「OAK」を利用した社会活動についてはこちら
> 「OAK Cam」の入手はこちら