Tellのビデオを受信する(1)

pip install opencv-python

# "command" と "streamon" を送信する
sock.sendto("command".encode(), ("192.168.10.1", 8889))
sock.recvfrom(1024)
sock.sendto("streamon".encode(), ("192.168.10.1", 8889))
sock.recvfrom(1024)

(...)

# 動画受信処理
def receive_video():
    # OpenCV を用いて UDP 11111番ポートで動画を待ち受ける
    cap = cv2.VideoCapture("udp://0.0.0.0:11111?overrun_nonfatal=1")

    while info.is_active():
        # 動画の1フレーム (1枚分の画像) を取得する
        success, image = cap.read()
        if not success:
            continue

        # OpenCVの画像形式(BGR)をRGBに変換する
        image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

        # 画像を info に設定する
        info.set_image(image)

    cap.release()

# 動画受信用のスレッドを開始する
video_receive_thread = threading.Thread(target=receive_video)
video_receive_thread.start()

pip install Pillow

# PC画面上の動画表示領域のサイズ(幅・高さ)
DISPLAY_SIZE = (800, 600)

layout = [
    # 動画表示領域
    [sg.Image(filename="", key="image", size=DISPLAY_SIZE)],
    (...)

while True:
    (...)

    # infoから画像を取得
    image = info.get_image()
    if image is None:
        continue

    # 取り出した画像をPC画面上の動画表示領域のサイズにあわせる (縮小する)
    h, w, _ = np.shape(image)
    r = DISPLAY_SIZE[0] / w
    image = cv2.resize(image, (int(w * r), int(h * r)))

    # PILを使って画像形式をGUI表示可能な形式に変換する
    photoImage = ImageTk.PhotoImage(Image.fromarray(image))
    window["image"].update(data=photoImage)