概要

• 任意の物体を取ってくるマニュピレーター

特徴

• 音声認識によって物体の指定ができる
• 把持した後，画像から認識した人の手に置くことができる

仕様

• 言語: Python，C++
• OS: Ubuntu，Windows

使用ハード

• intel REALSENSE DEPTH CAMERA D415i
• CRANE+

コンポーネント群

新規作成

• 文字処理
• 画像処理
• 統括
• マニピレーター制御

再利用

• 音声文字起こし

概要

• ペットロボット「ポンポン」は、人を認識し、ペットのように主人を迎え入れ、親しみのある仕草を見せるロボットシステムである。
• メインタスクは3つあり：
  1. 1. センサーを用いて障害物を自動的に回避し主人を探すこと。
  2. 2. YOLOや物体検出モデルによる人の検出および顔認識によって主人を識別すること。
  3. 3. ロボットアームを用いて尾を振るような動きを再現し、感情表現を行うことである。
• メインタスクに加え、主人が特定のハンドジェスチャを行った場合、手を振る動作や芸を披露するなど追加のインタラクションを実現できる。
• 本システムは移動プラットフォームとセンサーを組み合わせることで、安全に障害物を回避しつつ、自然にペットのような迎え入れ動作を可能とし、親和的なヒューマン・ロボットインタラクションを創出する。