「Oculus Quest のパススルーAPIを使うとどんなことができるんだろう」のメモ。
まずは Unity の Oculus Integration にあるパススルー関連のシーンを一通り試してみました。
AugmentedObjects
パススルーで現実世界が見える状態の所にオブジェクトを配置するデモ。
コントローラーで移動や回転といった操作もできる。
オブジェクトは前後移動もできるけど、現実世界のモノの大きさや位置が認識されているわけではないので、現実世界のモノとぶつかったり隠れたりはしない。ということであまり遠くに動かすと「壁の向こうにあるはずなのに見えている」という違和感バリバリな状況になってしまいます。
Hololens 等だとそのあたりは自然にできてしまうんですが、やはり Oculus ではそこまでは難しいのかな。
Lighting
懐中電灯っぽく現実世界を照らすデモ。
こんな感じで「現実世界の見せ方を変える」のができるのはビデオシースルー型（カメラで現実世界をとらえるタイプ）のHMDならではって感じですね。 光学シースルー型の Hololens のようにありのままの現実世界と重ね合わせるタイプのHMDだと実現はかなり難しいはず。
Overlay Passthrough
現実世界と仮想世界の見せ方の濃度（ミックスのさせ方）を切り替えるデモ。
完全に現実世界を見せることもできるし、仮想世界だけを見せることもできる。 こちらも光学シースルー型では難しいタイプの表現ですね。
Surface Projected Passthrough
こちらは現実世界と仮想世界の範囲を自由に変えるデモ。
現実世界を切り取る場所をコントローラーで指定できます。
Horizon Workrooms に机の一部だけパススルー表示させる機能がありますが、あれですね。
Selective Passthrough
こちらはコントローラーでなぞった部分から現実世界が現れてきます。
Passthrough Styles
現実世界の見せ方を変えるデモ。
現実世界の映像をリアルタイムに画像処理して見せるデモなんですが、要するに「現実世界の改変」ができちまうってことで、なんかもう（いい意味でも悪い意味でも）ヤバさしか感じません。
Passthough Hands
ヤバいと言えばこれ。見慣れた自分の手（の形）さえも改変の対象です。
まとめ
「現実世界を改変する力」すごいですねー。
普及したら法規制が入ってきそうなくらい悪用できそうな技術な気もしますが。