HP社から発売されたHP Reverb G2 Omnicept Editionが届きましたので、このVRヘッドセットで特に特徴的な瞳孔・視線・心拍数・口の動きの検出等の動作確認をしてみた。

VRヘッドセット（HMD）を用いたシステム開発が進化する過程で、HMDを使用するユーザの情報取得ニーズが増えてきている。ウェブサイトを作った後に、そのウェブに訪問してくるユーザ解析をGoogle Analytics等の解析ツールを用いてするように、HMDを通してアプリケーションを体験するユーザがどういう感想・感情を抱きながらコンテンツを楽しんでいるかを知りたいのだ。たとえば以下のような具体的な使用例が考えられる。

１、エンターテイメント系コンテンツを体験しているときに、どの時間、どの場所でユーザは楽しんでくれているのか、つまらないと思っているのか？
２、研修系VRアプリを使っているときに、研修者は集中したり緊張しているのか？見るべきところをしっかり見てくれているのだろうか？
３、医療系アプリケーションを使用しているときに、医師が患者の生体情報を取れないのだろうか？

従来のVR HMDではユーザの頭部や手の動きはトラッキングできたものの、それ以上の生体情報の取得はできなかった。しかし2021年末から日本でも販売開始されているHP Reverb G2 Omnicept Editionを持ちいれば、瞳孔・視線・心拍数・口の動きを検出でき、それらデータからユーザの感情、集中度、心身の状況などが推定できるようになりつつある。

この記事では、HP Reverb G2 Omnicept Editionを使用した初期実験として、取れるとされている各種生体情報の取得を試した記録を記載する。

Heart Rate (BPM: Beats Per Minute)：心拍センサーによる心拍数の取得

このHMDのおでこに当たる部分に、心拍センサーが付いている。この心拍センサーにより、リアルタイムにユーザの心拍数を取得できる。HMDを被りながら、腕を動かしたり、スクワットをすることで、実際に心拍数が上がったことが確認できた。

Face Camera & Mouth Tracking：フェイスカメラを用いた口の動きのセンシング

このHMDの鼻の下・口の前の部分に、フェイスカメラが付いている。このフェイスカメラは赤外線カメラのため、RGBのうちR（赤）一色での動画出力になっており口周辺の肌の色の解析には使えず、主に口の動きに使う想定になっている。たとえばアバターの口の動きを、実際の演者（HMDをかぶったユーザ）に合わせてリップシンクさせることが可能だ。

Eye Opening / Closing & Eye Direction：アイトラッキングカメラによる瞬きや視線検出

両眼のレンズの周りにアイトラッキングセンサーがついており、それらによりユーザの瞬きや視線（上下左右どちらを見ているか）を検出できる。このアイトラッキングと次の瞳孔測定センサーはTobii社の技術を使っているそうで、Tobii社のウェブサイトには以下のような説明があった。

（Tobii社ウェブサイトより引用）角膜上に光の反射点を生じさせ、その画像をカメラで撮影します。撮影された眼球の画像から、角膜上の光の反射点と瞳孔を識別します。光の反射点やその他の幾何学的特徴を基に眼球の方向が算出されます。

Eye Pupil：瞳孔測定センサーによる瞳孔の大きさ測定

アイトラッキングセンサー・瞳孔測定センサーを用いて、瞳孔の大きさの測定が可能だ。瞳孔とは目の中心部の最も黒くなっているところであり、瞳孔の大きさの変化は網膜に当社する光量を調整するためにある。（Wikipediaによると）瞳孔径は2mmから8mm程度の間で変化する。明所では縮瞳が生じ、瞳孔径は小さくなる。暗所では散瞳が生じ、瞳孔径は大きくなる。これはカメラの絞りに似た動きである。実際にサンプルアプリでも明るい空間と暗い空間を作ることで、瞳孔の大きさが変化したことが確認できた。

Eye Exam：視力検査

これはおまけ的な機能だとは思うが、視力検査もできた。片目ずつ真っ暗になり、視力検査によくあるCの文字が上下左右に向きを変えて、その開いてる方を応えるアプリだ。一説によると、HMDを使うことで視力が上がる？という説もあるようなので、HMD使用前後でこの機能で視力を測ってみたら面白い結果が得られるかもしれない。

Eye Vignette (Field of View)：視野角制限

VRの根源的な問題の一つにHMDを使うことでVR酔いすることがある。しかしこのVR酔いは視野角を制限することである程度予防できることも研究によりわかってきている。アプリケーションを開発する過程や提供する過程で、VR酔いをしやすいユーザにはこのような視野角制限機能を提供するのもありだろう。

以上の通り、HP Reverb G2 Omnicept Editionの各種生体情報取得を試しにやってみた。今後は、当社が関係している、エンタメ、研修、医療系の各種アプリケーションの上記のような機能を追加したり、またはこれら生体情報取得により可能になる新たなアプリケーション創出を考えていきたいと思う。