「Oculus Quest のパススルーAPIを使うとどんなことができるんだろう」のメモ。

まずは Unity の Oculus Integration にあるパススルー関連のシーンを一通り試してみました。

AugmentedObjects

パススルーで現実世界が見える状態の所にオブジェクトを配置するデモ。
コントローラーで移動や回転といった操作もできる。

AugmentedObjects

オブジェクトは前後移動もできるけど、現実世界のモノの大きさや位置が認識されているわけではないので、現実世界のモノとぶつかったり隠れたりはしない。ということであまり遠くに動かすと「壁の向こうにあるはずなのに見えている」という違和感バリバリな状況になってしまいます。

Hololens 等だとそのあたりは自然にできてしまうんですが、やはり Oculus ではそこまでは難しいのかな。

Lighting

懐中電灯っぽく現実世界を照らすデモ。

Lighting

こんな感じで「現実世界の見せ方を変える」のができるのはビデオシースルー型(カメラで現実世界をとらえるタイプ)のHMDならではって感じですね。 光学シースルー型の Hololens のようにありのままの現実世界と重ね合わせるタイプのHMDだと実現はかなり難しいはず。

Overlay Passthrough

現実世界と仮想世界の見せ方の濃度(ミックスのさせ方)を切り替えるデモ。

Overlay Passthrough

完全に現実世界を見せることもできるし、仮想世界だけを見せることもできる。 こちらも光学シースルー型では難しいタイプの表現ですね。

Surface Projected Passthrough

こちらは現実世界と仮想世界の範囲を自由に変えるデモ。
現実世界を切り取る場所をコントローラーで指定できます。

Surface Projected Passthrough

Horizon Workrooms に机の一部だけパススルー表示させる機能がありますが、あれですね。

Selective Passthrough

こちらはコントローラーでなぞった部分から現実世界が現れてきます。

Selective Passthrough

Passthrough Styles

現実世界の見せ方を変えるデモ。

Passthrough Styles

現実世界の映像をリアルタイムに画像処理して見せるデモなんですが、要するに「現実世界の改変」ができちまうってことで、なんかもう(いい意味でも悪い意味でも)ヤバさしか感じません。

Passthough Hands

ヤバいと言えばこれ。見慣れた自分の手(の形)さえも改変の対象です。

Passthough Hands

まとめ

「現実世界を改変する力」すごいですねー。
普及したら法規制が入ってきそうなくらい悪用できそうな技術な気もしますが。

Meta Quest の Mixed Reality 機能に関連する記事

  1. Oculus Quest のパススルー API を試す
  2. Oculus Quest のパススルーでARものさしを作る
  3. Meta Quest の Mixed Reality 機能
  4. Meta Quest の パススルーとオクルージョン
  5. Meta Quest の パススルー表示とSkyboxの共存
  6. Meta Quest 3 の Global Mesh を試す
  7. バーチャル3Dコントローラによるドローン操作
  8. ドローン仮想コックピットTyDroneリリース

かわかみしんいち。島根県津和野町在住のフリーランスエンジニア。複合現実(Mixed Reality)と3DUXでおもちゃを作るのが趣味。 https://github.com/ototadana