【Depthセンサを活用した3Dセンシング・配信技術開発】

30.10.2018

Depthセンサを活用した3Dセンシング・配信技術開発


Pocket

カディンチェ株式会社では、Depthセンサを活用した、各種開発を行っています。Depthセンサを利用することで、画像と3Dデータを同時に取得することができ、従来よりも幅広い表現が可能になることから、単体のDepthセンサの処理だけでなく、複数台の同期処理や、デプスライブストリーミングの開発を行っています。

これまで試したDepth(深度)センサー

これまで試したのは以下のセンサーで、エンジニアによって好みは分かれるようですが、Intel RealSense D435やStereo LabsのZED Mini等をよく使っているようです。
Intel RealSense デプスカメラ D415
Intel RealSense デプスカメラ D435
Stereolabs ZED Stereo Camera
Stereolabs ZED Mini Stereo Camera
ASUS Xtion2

複数台の3D Depthセンサの同期処理

単体のDepthセンサでは、人の動きを取得しようとした場合、手が前にあると、後ろの体部分の3D情報は取得できない、という問題がありました。そのため、複数台のDepthセンサを配置し、同期して情報を取得することで、手の後ろなど、1台だけでは影が出来てしまう場合でも、他のDepthセンサの情報を組み合わせることで、3D情報の取得を行うシステムの開発を行っています。
 

3D Depthライブストリーミング

現在、動画の配信にはいくつかのプロトコルが利用されています。その中でも、HTTPを利用したストリーミングプロトコルの利用が増えており、HTTP Live Streaming(以下HLS)が、Youtube等、大規模配信のプトロコルとして利用されています。しかし、Depth情報を組み合わせた動画の配信方法はまだ一般的には確立されていません。そこで、現在、配信で一般的に利用されている、HLSを利用した、3D Depth LiveStreamingを開発しました。一般的なHLSを利用していることから、配信サーバーは既存の仕組みを利用したままで、配信ソフトウェアと視聴アプリを3D Depth情報に対応させることで、3D Depth LiveStreamingを手軽に行うことが可能です。

視聴環境としては、Oculus RiftやHTC VIVEのようなVR用ヘッドマウントディスプレイや、HololensのようなARゴーグルで、3D映像の視聴が可能です。これまでは平面で視聴していた、講演や音楽ライブ、スポーツ等の映像コンテンツが、3D映像で視聴することで、立体的な映像として、自由な視点からの視聴が可能となります。現在は1台のDepthセンサでの配信ですが、複数台のDepthセンサを組み合わせた情報のライブ配信にも取り組んでいきます。また、HLS以外にもWebSocketを活用した3D Depth情報のリアルタイムライブストリーミングの開発も行っています。

 

目指すところ:Microsoft Research Holoportation

マイクロソフトがHololensを使用したプロトタイプのデモとして、”holoportation: virtual 3D teleportation in real-time (Microsoft Research)”という動画を公開しています。デプスライブストリーミング技術やそれらを見るためのデバイスが整備されてくると、遠隔にいる人、アスリート、ミュージシャン、芸人さんの形状や動きを3次元で見られるようになります。このような世界観を目指して引き続き研究開発や社会実装を進めます。

 

Social Medias

Support our social medias, will you.