BLOG

国内外のVR/AR情報に関して
積極的に配信しています

2015年9月1日

Ladybugを用いたパノラマ動画ライブストリーミング検証

  • AokiSoko
  • vr-device-review

360度映像を撮影可能なPoint Grey社のLadybug 3を使用して、ライブストリーミングの検証を行いました。ハードウェア構成→使用機材、ソフトウェアの概要→配信→表示の流れに沿って、以下で説明します。 ハードウェア構成 まずはライブストリーミングの撮影・送出に必要なハードウェアを準備します。当ブログの「VahanaVRによるパノラマ動画ライブストリーミング検証」を参考にして、以下の様なハードウェア構成にしました。 ・LadyBug 3 : Point Grey社 ・IEEE1394 ケーブル ・PC:マウスコンピュータ MDV ADVANCE GX シリーズ MDV-GX9530X2-SH ・インターフェースボード : Ti社製 XIO2213搭載 IEEE1394B-PCIE 使用機材、ソフトウェアの概要 ・LadyBug3 LadyBug3は、6台の1600×1200ピクセルカメラが搭載されており、販売元のPoint Grey社から配布されているSDKを使用することによって6枚の画像をスティッチし2048×1024ピクセルの1枚の画像にすることが可能です。 ・ffmpeg ffmpegは動画のエンコードツールです。動画を指定したコーデックや解像度に変更したり、画像から動画を作成することが可能です。またOutput先をRTMPサーバーのアドレスにすることによってRTMPストリーミング配信も可能です。 配信 LadyBug3で連続撮影し、ffmpegにピクセルデータを渡すことによってエンコードしRTMP配信を行います。ネット環境は無線では配信が不安定な状態となるため、有線での配信が必要となります。また、PCに外部マイクを接続することによって音声も同時に配信が可能です。なおffmpegは入力データから推測しある程度自動で適当なフォーマットにエンコードしてくれますが、推測できない場合や自分で指定したい場合はオプションで指定することでエンコードが可能です。 ・コーデック : H264 ・フォーマット : flv ・Output Size : 2048×1024 (pixel) ・Outputファイル名 : ここで配信先のサーバーのURLを入力します ・FPS : LadyBug3で画像を取得できる最大FPSが15FPSとなっているので、15FPSを指定します 表示・ビュワー 上記できるのはパノラマライブストリーミングの配信(送出)までで、受信(表示)するビュワーは自分で用意する必要があります。当社ではまずはパノラマ動画共有プラットフォームであるPanoPlaza Movieのビューワーに対して配信を行うことで、パノラマ動画の表示を実現しました。将来的にはスマートフォンやOculus Riftのようなヘッドマウントディスプレイ(HMD)でも見られるように対応していきたいと思っています。 評価・まとめ Ladybug3でのリアルタイムストリーミング配信をした場合、LadyBug3の仕様からFPSが15FPSが限界となっています。最近のカメラからすると少しFPSが低いように感じられますが、実際の映像を見た限りリアルタイムストリーミング映像としては十分なFPSだと感じられました。 公開実験: 本システムを利用した公開実験をVRコンソーシアムの2015年9月11日(金) 19:00〜21:00に開催予定のVRCクリエイターズ・トーク vol.2「VR時々放談 〜360°動画技術の現状と展望〜」の配信に利用予定です。配信URLはこちらからアナウンスがある予定ですので、是非ご覧頂ければと思います。 (執筆:柴原直也)

more
2015年8月25日

Entaniya FisheyeレンズとPanoPlaza Movieの使い方

  • AokiSoko
  • Uncategorized

アクションカメラGoproとEntaniya Fisheye 280を組み合わせて利用すると、底面に穴は開くもの全天球に近いパノラマ動画を撮影できます。ここではEntaniya Fisheye 280での撮影方法、射影変換、PanoPlaza Movieへのアップロード方法をご紹介します。 1. Entaniya Fisheye 280の準備と撮影 Entaniya Fisheyeレンズとは、GoProに対応した日本製の魚眼レンズであり、220度・250度・280度の3種類が販売されています。レンズを単体で購入してBack Bone(バックボーン社)のRIBCAGE(リブケージ)と呼ばれる改造キットとともにGoProに自分で取り付ける方法と、それらの改造をすでに施してある即撮セットを購入する方法があります。レンズ取り付け後の撮影は通常のGoProを利用した撮影と同じになりますが、例えばGoPro Hero4だと2.7Kモードでの撮影がアスペクト比が4:3で最も解像度が高い設定のため、より高画質なパノラマ動画を得られます。 2. Entapano Video V280を利用した射影変換 Entaniya Fisheyeレンズで撮影した動画は以下のように魚眼レンズで撮影した円形の円周魚眼動画になります。この形式だとPanoPlaza Movieにはアップロード出来ないので、Entaniya社のウェブサイトで無料で配布されているEntapano Video V280を利用して、円周魚眼からエクレクタンギュラーに射影変換します。この際にWidthやBitrateを設定するのですが、2.7Kモードで撮影している場合はWidthは3000、Bitrateは1000K-5000Kぐらいにすると画質とファイルサイズのバランスが取れるかと思います。 3. PanoPlaza Movieへのアップロード エクレクタンギュラー形式に変換したパノラマ動画のファイルをPanoPlaza Movieにアップロードすれば、撮影したパノラマ動画を回転させながら視聴できます。以下に試験撮影をした際の動画を掲載しましたが、280度のレンズにより底面の撮影できない部分が少なくなっているかがわかるかと思います。 パノラマカメラといえばRicoh ThetaやKodak SP360がまずは思い浮かびますが、このようにGoPro + Entaniyaレンズというのもキレイに撮れていますよね。

more
2015年8月7日

Launching PanoPlaza Live Streaming Service

  • tanaka
  • en

We have started providing PanoPlaza Live panorama live streaming service for events, music concerts, and sports games. For more details please visit our service page here.

more
2015年8月7日

VahanaVRによるパノラマ動画ライブストリーミング検証

  • AokiSoko
  • vr-device-review

360度映像をリアルタイムに配信可能なVahanaVR(VideoStitch社)を使用して、ライブストリーングの検証を行っています。VahanaVRを使ったライブストリーミングではどんな事が可能なのか検証を進める中でわかってきた内容をご紹介したいと思います。 VahanaVRによる配信までの一連の流れ ハードウェア接続→事前準備(スティッチ)→配信→表示の流れに沿って、以下で説明します。 ハードウェア構成 まずはライブストリーミングの撮影・送出に必要なハードウェアを準備します。パノラマ専門ブログであるPanoramania Diaryの「VideoStitch Vahana VR 1.0正式リリース – 世界初の360videoライブ配信ソリューション」を参考にして、当社では以下の様なハードウェア構成にしました。GoPro Hero3+ 6台:Hero3だと原因不明のプチプチ音のノイズが乗りました GoPro 6台用リグ:F360 Broadcaster Micro HDMI – HDMIケーブル 6本:カメラとPCを離すための5mの延長ケーブルも Mini USB – USBケーブル 6本:GoProに給電するため、USBハブとともに PC:マウスコンピュータ MDV ADVANCE GX シリーズ MDV-GX9530X2-SH HDMIキャプチャボード 2つ:Magewell XI400DE-HDMI なお、講演のストリーミングのためにGoProに外部マイクを使用する場合は、USBインターフェイスを使うことになるためGoProへの電源供給はできなくなります VahanaVRでの事前準備 リアルタイム配信するためには、事前に6台の映像を1つの360度動画にするスティッチする事前準備が必要になります。スティッチ自体はVahana VRにて自動で行われますが、設置環境によっては、スティチがエラーとなる場合があり、その場合は、カメラを置く位置を変えたり、地面や壁など平面になっている場所に物を設置したりして空間に特徴を出し、スティッチしやすい環境を用意します。 配信 Vahana VRでは、360度全方位のリアルタイム映像をローカルPC上に保存したり、RTMP配信・CDNサーバを使用してインターネット上に配信する事が可能です。ネット環境は無線では配信が不安定な状態となるため、有線での配信が必要となります。なおVahana VRで配信する映像フォーマットや変更可能なパラメータは以下のとおりです。 映像はH264、音声はAACでエンコーディングされます Output Size:1920 x 960 (pixel)で使用しています Stream URL:配信先のサーバーを設定します Bitrate:送受信両側の帯域と画質のバランスから500btis/sにしてます FPS: 30FPSにしてます 表示・ビューワー Vahana VRでできるのはパノラマライブストリーミングの配信(送出)までで、受信(表示)するビュワーは自分で用意する必要があります。当社ではまずはパノラマ動画共有プラットフォームであるPanoPlaza Movieのビューワーに対して配信を行うことで、パノラマ動画の表示を実現しました。将来的にはスマートフォンやOculus Riftのようなヘッドマウントディスプレイ(HMD)でも見られるように対応していきたいと思っています。 VahanaVRを使うにあたり検討が必要な事(2015年8月現在) GoPro内部のマイクでRTMP配信を行うと音声が小さく出力されます。弊社では、音声を増幅する外部マイクを使用して配信先でも音声が聞こえる様に検討を行っております。また、RTMP配信では、映像と音声が同期しない場合があり、映像が数秒遅れて再生されます。 VahanaVRで欲しい内容 現状はスティッチが自動でしか行えず、カメラの設置環境によってはカメラの繋ぎ目がハッキリと確認できるためスティッチ状態を微調整できる機能が欲しいところです。また、画面全体の明るさ補正を行う機能がないため、今後のバージョンアップで機能追加を期待したいところです。 パノラマライブストリーミングの今後 最近では、360camや超広角レンズを搭載したGoPro1台などでもライブストリーミングが可能になりつつあります。ここで紹介したGoProを6台使用する以外のもっとシンプルなカメラ構成でのストリーミングも実現されていくでしょう。また受信側も徐々にスマートフォンやヘッドマウントディスプレイでも表示できるようになりより一般化が近くなってくると思います。そうなるとパノラマライブストリーミングの応用先も講演系イベント、音楽系イベント、スポーツイベント、定点ストリーミングなどいろいろな例が出てくると思います。生中継は固定画角映像ではなく、全方位系バーチャルリアリティで見る時代が到来しそうです。

more
2015年6月25日

GearVRへのVR動画アップロード方法

  • AokiSoko
  • Uncategorized

前回はGear VRの基本的な閲覧方法についてご紹介致しました。今回は、自作したVR動画をGear VRで閲覧するための方法についてご紹介したいと思います。 VR動画をGalaxy S6に配置 VR動画への配置方法はWindowsとMacで多少異なります。 Windowsでの配置方法 ・PCとGalaxy S6 / S7をUSB接続します。 ・Galaxy側にてAllow access to device dataと表示されるので「Allow」ボタンを押して、PC側からGalaxyにアクセスできる許可を与えます。 Macでの配置方法 ・MacでAndroid端末のファイル転送ができるAndroid File Transferをインストールします。 ・Galaxy側にてAllow access to device dataと表示されるので「Allow」ボタンを押して、PC側からGalaxyにアクセスできる許可を与えます。 保存先フォルダ ・GalaxyをPC/Macに接続するとOculus/360videosというフォルダが見つかると思いますので、そちらにファイルを配置します。Oculus/Moviesというフォルダに配置するのでも問題ないようです。 ・ファイル名はxxxxx_360.mp4のようにファイル名の最後に「_360」をつけるとGear VR側で360度動画として認識しやすくなるようです。 GearVRでの閲覧 ・Oculus Home(GalaxyをGear VRに装着して最初に表示されるメニュー画面)にて、紫色背景の「Video」を選択します。 ・その後、左側に「My Video(マイ動画)」がありますので、それを選択すると、さきほど保存した動画が見つかりますので、見たい動画を選択すれば、再生が開始されます。

more
2015年6月24日

Jaguar Land Rover Virtual Driveのメイキング

  • AokiSoko
  • vr-movie

2015年6月6日から全国のジャガー・ランドローバーのディーラーで体験開始されたジャガー・ランドローバーのバーチャルドライブシステムについて、4月の撮影から6月の納品にいたるまでの様子を記録に残しておく。なお、ジャガーバーチャルドライブの公式ページはこちら。 スペインとイギリスでのパノラマ動画撮影 当初は、ジャガーのアンバサダーであるテニスプレーヤーの錦織圭さんのスケジュールがスペイン・バルセロナで1日取れ、その日にWeb用のCM動画や雑誌撮影に加えて、バーチャルドライブ用のパノラマ動画撮影も合わせてできないかということだった。バルセロナでの撮影が決定後、ヨーロッパに撮影出張に行くのならば、グループ会社であるランドローバー社用の撮影もしようということになり、渡航直前にイギリスでの撮影も決まった。これが結果的にコンテンツの充実につながった。 ランドローバーの撮影は、イギリスに何箇所かあるランドローバーエクスペリエンスという一般の方がランドローバー各車でオフロードコースを走れる施設にて行った。ランドローバーエクスペリエンスでも最もバリエーション豊かなコースのあるイースナーにて、ランドローバー専属のプロドライバーとともに撮影をした。水中、デコボコ、急な上り、急な下りといったコースでの走行で、特にカメラの固定について気を配った。テーマパークのライド系アトラクションに乗っているかのような体験ができると思う。 ジャガーの撮影はバルセロナで錦織さんとともに行った。錦織さんには日本で9月から発売される新車種Jaguar XEを運転してもらい、私はその錦織さんを先導する形でJaguar F-Typeというスポーツカーを運転した。錦織さんはテレビでは多くの外国人選手に比べると小柄な印象があったが、やはり実物はがっしりと大きく、また前日にバルセロナオープンにて優勝していたこともあり、撮影現場を通りかかったスペインの一般の人にサインや写真を頼まれて紳士に対応していたのが印象に残っている。ジャガーバーチャルドライブでは錦織さんとバルセロナをドライブデートしているような体験をできると思う。 パノラマ動画編集とWindows用パノラマ動画プレーヤー開発 バーチャルドライブシステムでは、当初の6月公開版ではJaguar XE with 錦織さんと、Land Rover Discovery Sportsの2コンテンツを体験頂ける。今後それ以外の車種も順次追加予定である(公開された時点で、その車種の話も是非追記していきたい。素晴らしい車で稀有なドライビング体験だった)。今回のパノラマ動画では撮影ディレクションや動画編集にはスリーイズアマジックナンバーさんに担当して頂き、疾走感のある気持ちのよい動画に仕上がっている。 全国約40店のディーラーで最高の体験を提供するために、パノラマ動画視聴環境としてはヘッドマウントディスプレイOculus Rift DK2とそれ専用の独自パノラマ動画プレーヤーを開発した。Oculus Rift DK2の駆動には強力なグラフィックエンジンが必要なため、ゲーミングPCと合わせて使用するようにした。PC、Oculus、プレーヤー、動画のそれぞれの性能ぎりぎりとシステム安定性のバランスを考慮しての画質設定を行った。 約40台のヘッドマウントディスプレイOculus Rift DK2運用 バーチャルドライブ開発後半の山場はなんといっても40セットのパソコンとOculus Rift DK2のセッティングだった。狭い当社のオフィスにこれらがうず高く積まれ、すべてのセットでWindowsの初期設定、動画プレーヤーと動画のインストール、Oculus Rift DK2とヘッドフォンを繋げての接続テストを実施した。一通りの箱詰めを終え、全国各地のディーラーに発送した時には達成感とオフィスのすっきり感を味わえた。 自動車の購入においては実車を試乗するのが最も効果的だと思うが、今回のバーチャルドライブシステムでは以下の2点に特に価値を発揮できたと考えている。 ・XE: ディーラーに実車が配置する前に体験できる。しかも話題の錦織さんと。 ・Discovery Sports: 日本にはないランドローバーエクスペリエンスを体験できる。 今後追加されるコンテンツもあるので、ジャガー・ランドローバーのディーラーにてバーチャルドライブを体験していただきたいと思う。そして何人かの方には実車を購入頂けるとありがたい。

more

ソーシャルメディア

カディンチェのSNSをフォローして情報を受け取ろう