Metaverse System: Cloud-based private VR service

2019年10月

Kadinche Co. has been specializing in the development of live-action VR (virtual reality) systems using 360° panoramic photos and videos. Lately, with the increased demand for VR based applications, we helped with the development and consultation on the following projects:

Sony Music Entertainment:AnimeJapan 2019 22/7 Virtual Meet & Greet booth

Shochiku/Miecle:VR Haunted House

Based on our development experience, we have released a cloud-based personalized VR service. There are several social VR services for purposes such as online communication, events, games, etc., but we offer more specialized 3D virtual space for B2B purposes. Log in to your 3D virtual space via an HMD (Head Mounted Display) and take part in various activities, including real-time communication, entertainment, virtual reality based training, content preview, conferences, exhibition and others.

For more details, please refer to the following page: Metaverse System: Cloud-based private VR service.

「VRアトラクション:老婆の呪面」をDCEXPO2019にて展示

2019年10月

ミエクル株式会社として開発した「VRアトラクション:老婆の呪面」が、経済産業省令和元年度新コンテンツ創造環境整備事業(コンテンツ関連ビジネスマッチング事業)内デジタルコンテンツEXPO(DCEXPO)連携事業における支援対象者として決定しました。

支援対象者は、国内外の先端コンテンツ技術とクリエイターや開発パートナーのマッチングの場である「デジタルコンテンツEXPO2019(会期:11月13日(水)〜15日(金)、会場:幕張メッセ(Inter BEEと同時開催))において展示されるとともに、11月14日(木)12:50~14:45にDCEXPO 2019会場内のステージにて開催する「TechBiz Creation & Matchmaking ピッチセッション・ワークショップ」において技術のプレゼンテーションを予定しています。ぜひ、期間中に幕張メッセまでお越し頂ければと思います。

老婆の呪面概要:バーチャルリアリティ(VR)、複数のVRヘッドマウントディスプレイの同期制御、スピーカーやアクチュエータの統合制御を用いたVRを使用したアトラクション。今回は「老婆の呪面」と称して、日本式お化け屋敷をVRを用いて制作した。ミエクル株式会社は、松竹、カディンチェ、侍の合弁会社であり、お化け屋敷部分は松竹が、VR開発部分はカディンチェが主に担当した。

Metaverse System: クラウド型プライベートVRサービス

2019年7月

カディンチェはこれまで360度静止画・動画等の実写系VR(バーチャルリアリティ)のシステム開発を得意分野としてきました。その後、VRの社会的なニーズが増えるに従い、CG(コンピュータグラフィックス)を用いたVRシステム開発の相談も増えてきたこともあり、最近では以下のような開発を担当させて頂きました。

Sony Music Entertainment:AnimeJapan 2019 22/7ブース バーチャルチェキ会への技術協力
松竹/ミエクル:VRお化け屋敷開発

これらのシステム開発の経験を基に、このたびクラウド型プライベートVRサービス開発のページを公開いたしました。他社においては、オンラインコミュニケーション・イベント・ゲーム等を目的としたソーシャルVRサービスがいくつか出てきていますが、当社ではよりB2B(業務用)向けを想定とした目的特化型3D仮想空間のご提供をいたします。3D仮想空間にHMD(ヘッドマウントディスプレイ)を用いてログインし、リアルタイムコミュニケーションを実現し、エンタテインメント・研修・内見・会議・展示会等VR空間で実施できるようにします。

詳細は「Metaverse System: クラウド型プライベートVRサービス」のページをご覧ください。

VTuberライブ配信支援

2019年3月

VTuber (Motion Capture)系技術を利用したシステム開発について、当社が2018年春頃より取り組んでいることについては、以前のブログにて記載しました。本日は当社に構築した簡易スタジオからVTuberのライブ配信を行っている事例をご紹介します。

2種類のVTuber映像制作方法

Virtual YouTuber(バーチャルユーチューバー) = VTuberは、事前に録画・編集した映像をYouTube等の動画共有サイトにアップロードする方法と、スタジオからライブ配信をする方法の2種類の配信手段を持っています。

録画してからアップロードする方法では、事前に収録した映像を動画編集ソフト等で編集した上で、アップロードします。収録時に失敗した際に撮影のし直しが可能だったり、複雑なライブ配信システムが不必要だったりするメリットはありますが、後処理である編集にはそれなりの手間がかかります。

一方でライブ配信では後処理などは不要になるものの、一発本番のため演技や配信に失敗が許されず、不具合発生時の即時対応等も要求されるため、配信スタッフの同席や冗長なライブ配信機材の確保が必要になってきます。そこで当社ではVTuberライブ配信用簡易スタジオを構築し、配信スタッフが同席することで、VTuberのライブ配信を支援する体制をつくりました。

VTuberライブ配信用簡易スタジオ

VTuberのライブ配信を実施するには、いくつかの技術的な準備が必要になります。

スタジオスペースの確保

ライブ配信の現場には、演者さん、演者さんの関係者、配信スタッフなどが来場されます。演者さんにはヘッドマウントディスプレイを被った上で、コントローラを動かす(振り回す)ための数メートルx数メートルのスペースが必要になりますし、そこでの動きをキャプチャし配信をするための機材操作スペースも重要です。このような目的のために、当社では簡易スタジオを新設しました。

Unityや3Dモデルの取扱やヘッドマウントディスプレイやコントローラの操作

ライブ配信の事前準備として、演者さんが操作する3Dモデル(キャラクター)を事前にPC内に取り込んで、ヘッドマウントディスプレイやコントローラの動きに応じて、3Dモデルが動くことを確認します。この際に、3Dモデルが不自然な動き(手が取れてしまったり、首が通常はありえない方向に回転しまったり)にならないか、表情や口の動きを操作できるかなどの動作確認も行います。

動画ライブストリーミング

演者さんが3Dモデルの操作ができるようになったら、あとはその映像を通常の動画ライブストリーミングと同様に、インターネット向けにライブストリーミングをできればokです。配信先にはYoutubeのみならず、Virtual Cast、Showroom VRなども出てきており、各プラットフォームの独自機能に対応した準備も必要になります。また、音声の収音やミキシングができること、配信機材が安定した(帯域の出る)ネットワーク環境に置かれていることも重要です。

アメリカザリガニ平井さんの配信番組「VRadio〜ひらい・瑠璃のVtuberさんようこそ!〜」への協力

当社簡易スタジオを利用して、毎週の定期的なライブ配信をしてくださっているのがアメリカザリガニ平井善之さんとそのアシスタントの朝ノ瑠璃さんです。

(以下、ニコニコ生放送ウェブページより)
毎週平日20時よりお送りするバーチャルキャストレギュラー番組「VRadio」。木曜日を担当するのは「アメリカザリガニ 平井善之」と 「朝ノ瑠璃」。2人の面白トークに乞うご期待!!
視聴者の皆さんもコメントやVギフトを使って、一緒に番組を盛り上げよう!

VTuberプロデュースや関連事業支援も

カディンチェではVTuberに関して、主に上記のような技術支援を行っておりますが、昨年共同設立したミエクル株式会社ではVTuberのプロデュースや番組制作など、VTuber全般の支援事業も開始しています。ライブ配信に限らず、これらに関連した活動・事業にご関心のある方は、お気軽にお問い合わせ下さい。

AnimeJapan 2019 22/7ブース バーチャルチェキ会への技術協力

2019年3月

2019年3月23日(土)、24日(日)に東京ビッグサイト東1~8ホールで開催される日本最大級のアニメイベント「AnimeJapan 2019」。東6ホール・J62に出展される22/7(ナナブンノニジュウニ)ブースで実施される「世界初バーチャルチェキ会」に関して、カディンチェ株式会社が技術協力を行っていることをご報告いたします。

■22/7(ナナブンノニジュウニ)
秋元康総合プロデュース、Sony MusicとANIPLEXがタッグを組んだアイドルプロジェクト22/7(ナナブンノニジュウニ)。
日本を代表する有名クリエイターがてがけたキャラクターを演じる声優アイドルを募るオーディションで結成された。

■世界初バーチャルチェキ会
VRゴーグルを被ることで、22/7のキャラクター藤間桜のチェキをVR空間上で撮影することができる。さらに、VR空間で撮影したチェキはプリントアウトされ、実際にお持ち帰りできます。(チェキは2ショット撮影ではなく、藤間桜のみ撮影していただくかたちとなります)

詳細:「AnimeJapan 2019」の22/7ブースの詳細発表です!!

Co-founded Miecle Inc. with Shochiku & Samurai

2018年12月

Kadinche announced that it jointly established Miecle Inc. with Shochiku and Samurai on May 28, 2018

We have been working on technology development in areas such as Virtual Reality and Mixed Reality. These technologies can also be used in entertainment, and in the future we would like to deliver various technologies and services developed by our company through Miecle. Shochiku is a film maker and Kabuki performer and Deportare Partners is a strong company in the sports field. There is a wide range of possibilities for developing the possibilities of VR and MR, and I am pleased to be able to work together in three companies. Please look forward to Miecle Corporation in the future!

Co-founded Miecle Inc. with Shochiku & Samurai

2018年12月

Kadinche announced that it jointly established Miecle Inc. with Shochiku and Samurai on May 28, 2018

We have been working on technology development in areas such as Virtual Reality and Mixed Reality. These technologies can also be used in entertainment, and in the future we would like to deliver various technologies and services developed by our company through Miecle. Shochiku is a film maker and Kabuki performer and Deportare Partners is a strong company in the sports field. There is a wide range of possibilities for developing the possibilities of VR and MR, and I am pleased to be able to work together in three companies. Please look forward to Miecle Corporation in the future!

エンタメVR/AR/MR/AIコンテンツ制作のミエクル株式会社を合同設立

2018年12月

カディンチェ株式会社は、2018年5月28日に松竹株式会社株式会社侍とともに、ミエクル株式会社(Miecle Inc.)を共同で設立したことをご報告いたします。

会社名: ミエクル株式会社(Miecle Inc.)
設立: 2018年5月28日
資本金: 500万円
株主: 松竹㈱51%、カディンチェ(株)39%、(株)侍10%
所在地: 〒108-8422 東京都中央区築地4-1-1
役員:
・代表取締役社長:井上貴弘(松竹㈱ 取締役事業副本部長)
・取締役副社長:青木崇行(カディンチェ(株) 代表取締役社長)
・チーフマーケティングオフィサー:為末大((株)侍 代表取締役社長)
・取締役(非常勤):尾崎啓成 (松竹㈱ 執行役員経理部長)
・監査役(非常勤):腰高正登志(松竹㈱ 経理部主計課長/公認会計士)
事業内容:最新技術を活用し、新しいエンタテインメント(コンテンツ/サービス)の開発を目指す

当社ではこれまでVirtual RealityやMixed Realityといった分野にて技術開発に取り組んできました。これらの技術はエンターテインメントにおいても利用可能であり、今後は当社開発の各種技術やサービスについて、ミエクルを通して社会に届けたいと思っています。松竹は映画制作や歌舞伎興行に、侍(Deportare Partners)はスポーツ分野に強い会社です。VRやMRの可能性を展開する先としては幅広い可能性があり、3社で協働に進められることを嬉しく思っております。今後のミエクル株式会社にご期待下さい!

関連記事:
・松竹株式会社プレスリリース「松竹株式会社が研究開発型ベンチャー・カディンチェ㈱及び為末大氏と“次世代のエンタテインメント”を見据えた新会社を設立し、プロジェクトを本格始動
・日本経済新聞「VRで歌舞伎身近に 松竹、若者や外国人ファン開拓

VRテレビ会議システムでOculusGo対応しました。

2018年12月

カディンチェ株式会社(以下「カディンチェ」)では、以前より360度映像を利用したブラウザベースの低遅延VR(バーチャルリアリティ)テレビ会議システムを提供しています。

これまでは、PCやタブレット、スマホのブラウザでの視聴を中心としてきましたが、
OculusGoの発売により安価にHMDが購入できるようになり、OculusGoのブラウザ視聴がしやすいことから、
低遅延VRテレビ会議システムでも、OculusGoにブラウザ対応しました。

低遅延VRテレビ会議システムでは、複数人が出席する会議室に360度ライブカメラを設置して、その会議室の様子を遠隔地にいるテレビ会議参加者のスマホ、タブレットやヘッドマウントディスプレイに表示し、映像と音声での通話を可能としました。本システムでは、リアルタイムコミュニケーションを実現するWebRTCと360度映像ライブストリーミングを組み合わせることで、低遅延で通話可能なVRテレビ会議システムを実現しています。

スマホ、タブレットを利用した場合、手軽に視聴はできたものの、没入感が低かったのですが、OculusGoのブラウザに対応したことで、没入感の高いVR視聴が可能になりました。

VTuber (Motion Capture)系技術を利用したシステム開発

2018年10月

最近の研究開発状況をご紹介します。キーワードは、VTuber、モーションキャプチャ、ライブストリーミング、3D仮想空間です。

VTuberやモーションキャプチャ

人間の動きをカメラやセンサによりセンシングし(モーションキャプチャ)、その動きを画面内の2次元・3次元のCGキャラクターの動きに反映させることで、生身の人間ではなくバーチャルなキャラクターがYoutubeに登場して喋ったり踊ったりするバーチャルなYoutuberであるVTuberが、2017年夏頃より人気を集めています。昔から映画制作の現場などでは同様の技術は使われていたものの、それらを利用するには高額かつ大型の装置を利用しなければなりませんでした。数十万円のモーションキャプチャスーツや数万円のヘッドマウントディスプレイ(HMD)+センサーを利用することで一般ユーザも家庭でできるようになってきたというのが最近の特徴になります。このセンシングにVR用のHMDが利用されることが多いことから、バーチャルリアリティ業界のエンジニアが積極的に技術開発やコンテンツ制作に参加していることも流れを加速させている要因の一つかと思います。

当社では、これまでもスポーツVRなどに取り組んでいたように、アスリートなどのプロフェッショナルの動きを計測できないかということで、バレエの踊りから研究開発を進めています。上の画像では、バレリーナの方にPerception Neuronというモーショントラッキング用センサーを装着してもらい、その動きを計測しています。

通信システムとの融合

VTuberによる映像制作の現場では、モーションキャプチャを実現したスタジオで、演者をセンシングしながら画面内のキャラクターを動かします。そしてその画面を録画することでCGキャラクターが動いたり喋ったりするのを映像コンテンツ化するというのが大まかな流れになります。このままでも映像制作の新手法として面白いのですが、当社では以前よりVRライブストリーミングに取り組んでいることから、モーションデータや3次元データをライブストリーミングするための研究開発を進めてきました。人やキャラクターの映像をライブで遠隔地に届けたいときに、映像そのものだとデータ容量が大きくなりますが、予め受信側がキャラクターのCGデータを持っていれば、モーションデータを送り、受け側でキャラクターを動かせば、動きや表情のあるライブストリーミングが可能になります。具体的にはWebRTCのような低遅延なプロトコルを使用すれば双方向のコミュニケーションが実現できますし、RTMP/RTSPのようなライブストリーミングプロトコルを使用すれば多人数への大規模配信も可能になります。


ユニティちゃんライセンス

この作品はユニティちゃんライセンス条項の元に提供されています

上記のプロトタイプのスクリーンショット画像では、バーチャルなコンサートホールで3人のバーチャルアイドルが歌っています。このような空間に、視聴者もアバターとなって入り込み、時空間を共有できるようになるのです。

バーチャルエンターテイメント時代

これまでスポーツ、演劇、コンサートなどのエンターテイメントの多くは、スタジアムや劇場などリアルな空間に集い、みんなで楽しさを共有するようなユーザ体験を提供していました。しかしリアル空間でのエンターテイメントでは、空間のキャパシティによる参加者数の制限や、地理的な理由から必ずしも参加しやすいわけではないといった弱点もありました。ライブな体験ではあるが、バーチャルな空間で実施されるバーチャルエンターテイメントでは、空間的な制約はなくなり(その代わりサーバー的キャパシティはあるが)地球上のどこからでもアクセスできるようになります。スポーツの場合は選手の位置情報や動きをセンシングしてアバター化したり、演劇の場合は演者の踊りや歌をキャプチャしてバーチャル演劇に仕立てたり、そしてそういった鑑賞対象を他のユーザとバーチャル空間を共有し言語的・非言語的なコミュニケーションを取りながら共有できるようになります。

当社ではこれまで培ってきた360度動画をベースにした実写系バーチャルリアリティ技術に加えて、リアルタイムストリーミング技術も利用したコンピュータグラフィックス(CG)ベースのバーチャルリアリティシステムの開発も進めてまいります。お気軽にご連絡下さい。