3DUX, 3DUI, MR, Mixed Reality, tello, oculus quest, Meta Quest, ハンドトラッキング

お題

Meta Quest 3 等の複合現実をサポートするヘッドセット上に表示された 仮想コックピット でドローン (Tello) を操作するためのソフトウェア TyDrone を GitHub でリリースしました。

飛行デモ

この記事では TyDrone 利用者マニュアルの日本語版を掲載します。

TyDrone 利用者マニュアル

重要なお知らせ：保証の免責事項

このソフトウェアは「現状のまま」全てのユーザーが自由に利用できるよう提供されていますが、その使用に関するいかなる種類の保証もありません。このソフトウェアの使用により不都合や損害が発生した場合――予測不可能なドローンの動作による損害や、ドローン自体の故障など――開発者は責任を負いません。ユーザーはソフトウェアを使用する際にこれらのリスクを認識し、自己の責任で使用するものとします。

1. Meta Questへのインストール

  1. Meta Questで開発者モードを有効にする： Meta Questで開発者モードが有効になっていることを確認してください。
  2. TyDrone APKをダウンロードする： リリースページにアクセスして、最新のAPKファイルをダウンロードしてください。
  3. TyDrone APKをインストールする： Meta Questが開発者モードの状態で、SideQuestやADBツール等を使用してダウンロードしたAPKをインストールしてください。

2. アプリケーションの起動

TelloドローンとTyDroneアプリケーションを使用するには、以下の手順に従ってください：

  1. Telloドローンの電源を入れる： Telloドローンの電源を入れます。
  2. ヘッドセットを着用する： Mixed Realityヘッドセットをかぶります。
  3. MRデバイスでTelloのWiFiに接続する： MRデバイスのWiFi設定を開き、Telloドローンのネットワークに接続します。
  4. TyDroneアプリケーションを起動する： MRデバイスのメニューから TyDrone アプリを探して起動します。
  5. 仮想コックピット表示： TyDroneアプリケーションを起動すると、仮想コックピットが表示されます。

仮想コックピット

TyDroneアプリケーションの仮想コックピットには、両サイドにスイッチパネルがあり、実際のTelloドローンを操作するための3Dモデルが中央にあります。

右側のスイッチパネル

右側のスイッチパネル

  • Takeoff、 Landボタン：これらを使用して離陸や着陸を行います。
  • FPV スイッチ：一人称視点 (First Person View) の制御モードに切り替えます。
  • Monitor スイッチ：Telloドローンから送信される動画の表示位置を切り替えます。
  • Calibrate スイッチ：ドローンの向きを仮想モデルに合わせて調整します。
  • インジケーター類： ドローンのバッテリー残量等が確認できます。

左側のスイッチパネル

左側のスイッチパネル

  • Fastスイッチ：ドローンの移動や回転スピードを上げます。
  • Simpleスイッチ：仮想コックピットを簡素化します。
  • Recordingスイッチ：Telloの搭載カメラでキャプチャされた映像の録画を開始・停止します。

3. 角度あわせ

Telloドローンを正確に制御するためには、実機ドローンの向きを仮想モデルに合わせる必要があります：

  1. 方向チェック： 初めに、実機ドローンとその3Dモデルが仮想環境の中で同じ方向を向いていることを確認します。
  2. 角度あわせの開始： もし方向が合っていない場合は、Calibrateスイッチをタップして調整プロセスを開始します。
  3. 角度あわせの終了： 実機ドローンを手で回転させて、仮想モデルの向きに合わせます。一致したら、Calibrateスイッチを再度タップして向きを確定します。
角度あわせ操作例を見る角度あわせ操作例

4. 基本操作

離陸と着陸

右側のスイッチパネルにあるTakeoffボタンを押すと離陸します。ドローンを着陸させるには、Landボタンを押すと、地面に降下します。

離着陸のデモを見る離着陸デモ

移動

仮想空間上の3Dモデルを動かすと、実機ドローンも同じように動きます。3Dモデルから手を離すと、実機はホバリング状態になります。

移動移動デモ 1移動デモ 2

回転

3Dモデルの近くにある球体に触れるとドローンが回転します。右側の球体に触れると時計回りに、左側の球体に触れると反時計回りに回転します。

回転回転デモ 1回転デモ 2

5. 仮想コックピットの召喚

顔の方に右手のひらを向けると、Call Cockpitスイッチが表示されます。このボタンをタップすると仮想コックピットが目の前に現れます。

コックピット呼び出しデモを見るコックピット呼び出しデモ

6. FPVモード

右側のスイッチパネルにあるFPVスイッチをオンにすると、一人称視点(FPV)モードに切り替わります。これにより、Telloから送信される動画を表示するモニターが拡大され、パイロットの視点で操作できるようになります。実機を見ながらTelloを操縦する標準の操作モードとは異なり、FPVモードではまるでドローンのパイロットになったかのような没入感のある飛行体験を味わえます。

FPVモードでの飛行FPVデモ

7. 撮影動画の記録

Recordingスイッチをオンにすると、Telloから送信される動画の録画が開始されます。録画の終了はRecordingスイッチを再度タップしてオフに切り替えます。この操作により、録画された動画はMP4ファイルとしてダウンロードフォルダに保存されます。アプリケーションを終了する前には必ずスイッチをオフにしてください。オフにし忘れてアプリケーションを終了すると録画の保存がされません。

Tello 関連記事

かわかみしんいち。島根県津和野町在住のフリーランスエンジニア。複合現実(Mixed Reality)と3DUXでおもちゃを作るのが趣味。 https://github.com/ototadana