画像認識を使ったドローンによる箱のピックアップ

カメラ画像を使って箱を検出し、ドローンの位置と向きを合わせてピックアップするシミュレーションを作成。

動画では、左側にドローンカメラの映像と画像認識の結果、右側にドローンを外部から見た俯瞰映像を表示。左側にはBounding Box、キーポイント、推定した位置のずれなどを重ねて表示し、画像処理の結果と実際のドローンの動きを同時に確認可能。

箱への接近中は、カメラ画像から箱に対する相対的な位置と向きを推定しながら位置合わせを実施。ピックアップ直前には、現在の箱の輪郭と基準となる輪郭を比較して、さらに細かな位置合わせを行う。その後、箱をピックアップし、指定されたGateまで運搬。

今回のシミュレーションでは、箱0、1、2を番号順にピックアップし、それぞれGate W、E、Sへ配送。

実際のシミュレーション時間は約7分22秒だが、動画では全体の流れを確認しやすいように8倍速にし、約55秒にまとめた。

次のステップでは箱の数を増やし、単純に番号順で運ぶのではなく、箱を運ぶ順番と移動距離を考慮した配送最適化を組み込む予定。