【AR & MR Cloud: ARクラウド技術】

16.6.2020

AR & MR Cloud: ARクラウド技術


Pocket

World Wide Web (WWW)が1989年に発明され、検索エンジンを開発するGoogleは1998年に設立された。世界中の無数のサーバー上に存在するHTML等のデータをインデックス化し、各ページの重要度を評価する手法として被リンク数を評価軸とするPageRankというアルゴリズムが開発され、ウェブサイトの検索がとても便利になった。Social Networking Service (SNS)は1995年頃からオンラインコミュニケーションという形態で出現したが、2004年に開設されたFacebookが2020年現在では約26億人のユーザ数を抱えるまでに成長した。WWWがハイパーテキストというファイル間の関係性を利用したのに対して、SNSはソーシャルグラフと呼ばれる人間関係をWeb上に持ってきた。

そして2020年代より今度は現実世界の建物やオブジェクトがインターネット上に取り込まれたり、また反対にデジタルなデータを現実空間に重畳して表示できるようになりつつある。このWWW・SNSに次ぐ第3の波が、ARクラウドと呼ばれる技術群である。ARクラウド業界にはGoogleやFacebookといった一人勝ちのサービスはまだ誕生しておらず、PageRankやSocialGraphといった強力なアルゴリズムも確定していないため、今後の世界的な研究開発競争も予想されている。なお、少しずつ意味は異なるが概して似た技術群を指す用語として、ミラーワールドやデジタルツインもある。現実空間そっくりなものを、仮想空間にコピーしてきて、その上で各種アプリケーションを実現するといったコンセプトだ。現実空間(AR,MR)よりなのか仮想空間(VR)よりなのかによっても意味や技術は異なってくる。

ARクラウド技術構成

いくつかの文献を見ていると、多くが米国のベンチャーキャピタリストであるOri Inbar氏の以下の定義をARクラウドの定義として使用しているので、本稿でもそれにそって記載する。
AR Cloud: “Realtime Spatial Map of the World” by Ori Inbar
A persistent point cloud aligned with real world coordinates — a shared soft-copy of the world
The ability to instantly localize (align the world’s soft-copy with the world itself) from anywhere and on multi devices
The ability to place virtual content in the world’s soft-copy and interact with it in realtime, on-device and remotely

Point Cloud: 3Dスキャン・点群

上記の定義を直訳すると、「実世界の座標に紐付いた持続的な点群:共有された世界のソフトコピー」。ARやMRのアプリを実現するために、事前や常時、実空間の3次元形状情報をデータ化して、クラウド上で共有可能なフォーマットで保存しておくこと。たとえばGoogleがStreet Viewの撮影時に同時に3Dスキャンも実施していたり、地図会社もLiDAR等を搭載した自動車で町の3D情報を計測していたり、はたまた今後はCGM(Consumer Generated Media)的に、一般市民の撮影データが集まることで実現されたり。公共空間はこのように計測できるが、私有地などでは所有者の許可が必要で、このあたりにB2Bビジネスチャンスがありそう。

Localization: 位置推定・地図作成

上記の定義を直訳すると、「どこからでも即座にデジタル3次元空間と現実空間をマッチングできること」。ユーザがある空間に来たときに、 自分(のデバイス)の自己位置推定と環境地図作成を行うこと。現状のGPSだけだとユーザの位置は緯度経度の点としてしかわからないため、ユーザがその位置からどちらの何が見えているかまでは詳細には推定ができなかった。そのため、ユーザのもつカメラのデータから見えている建物等を推定して、いまどういう3次元空間の中で何を見たり・操作したりしようとしているかまで推定できる必要がある。またその過程でユーザもつ端末内に3次元の地図を作成することで、より迅速に自己位置推定が可能となったり、推定精度が高くなったりする。

Interaction: 配置と操作

上記の定義を直訳すると、「実世界のソフトコピー上にバーチャルなコンテンツを配置して、遠隔・デバイス上で・リアルタイムに操作・交流できること」。スマホやヘッドセットの画面にデジタルオブジェクトを表示して、そのオブジェクトは実空間の凸凹に沿って動いたり、ユーザはそのオブジェクトを触ったり操作できたり。たとえば博物館では、既存の展示物だけでなく、バーチャルな解説者を登場させることで、その解説者と会話をしたり、解説者が展示物を指差しながら説明してくれたりも可能となるだろう。操作方法も、これまでのPCやスマホでの指やタッチ操作だけでなく、視線・音声・ジェスチャーなどのNUI(ナチュラルユーザインターフェース)などもより多くなると予想されている。

カディンチェの取り組み:観光業界向けARクラウド

当社ではARクラウド/MRクラウドの研究開発として、「日本の観光体験用XR・通信基盤技術の開発」に取り組んでいます。これは、観光地で訪問者がスマホやヘッドセットを使うことで、これまでにはない立地な観光体験を味わえるように、そういったアプリケーションの開発が用意になるように、基盤技術を開発できればと企画しています。この取組みは、東京都中小企業振興公社による「令和元年度次世代イノベーション創出プロジェクト2020助成事業」に採択され、2020年から2022年の3年間に渡り東京都の支援を受けながら研究開発を進めています。採択が決まったのが2020年2月であり、その後新型コロナウィルスにより日本の観光産業は大打撃を受けてしまいました。まだ感染症による観光産業復活の糸口は見えていない状況ですが、XRにより少しでもお手伝いをできればと考えています。

技術動向

リモートレンダリング: Azure Remote Rendering等

ARクラウドを補完するために、いくつかの新規技術が登場しました。一つのは、リモートレンダリングがあります。 5Gネットワ​​ークとエッジサーバーを活用することで、複雑で写実的な3DモデルをARデバイスに表示できます。 MicrosoftのサービスであるAzure Remote Renderingは、開発者によるテストが可能です。他のいくつかの企業も、独自のリモートレンダリングソリューションの開発に取り組んでいます。

MRアプリ開発環境:Unity MARS等

Unity3Dが提供するもう1つの有望なテクノロジーはMARS(Mixed & Augmented Reality Studio)です。世界に関する重要な情報を提示することで、スマートなAR体験を作れるようになります。表面検出、ナビゲーションメッシュを作成する機能、およびARオブジェクトを動的にオクルード(非表示)する機能などが、MARSに入っています。その結果、ARエクスペリエンスは自動的に環境に適応することができます。

5Gノードの導入が増えるにつれて、ARコンテンツの品質も向上します。 5Gネットワ​​ークはレイテンシが非常に低く、速度が速いため、コンテンツをARデバイスにストリーミングできます。処理をMEC(Mobile Edge Computing)ノードからオフロードすることもでき、その結果、デバイスが小さくなり、バッテリーが長持ちします。

B2B向けARクラウドの可能性

観光においては、屋外(自然遺産や神社仏閣)での見どころや歴史の案内をAR/MRで実現したり、屋内においては博物館・美術館・劇場等で展示品のデジタル的強化を行ったりできます。また観光以外の産業においても、工場、病院、農業、エンタメ等でもARクラウドを利用したアプリケーションは考えられます。カディンチェでは、主にB2Bをターゲットとして、同技術の研究開発を進め、業界の発展に寄与できればと思っています。

Social Medias

Support our social medias, will you.