随時更新していきます．(Windowsに対応しました．)

概要

近年サービスロボットが発展してきており，サービスロボットが人間の日常環境で動作するためには人間とロボットのインタラクション方法は重要な課題である．この課題に対して，本システムでは，直接的なインタラクションとしての音声認識技術と，サービスロボットに必要な能力の1つの物体認識を組み合わせたシステムを構築した．本システムは，公開されているRTコンポーネントをベースに構築しており，音声認識コンポーネントの群のOpenHRI，さらにアピアランスベース物体認識コンポーネントや，共通カメラインタフェースに基づくカメラコンポーネントなどから構成されており，幅広いロボットシステムへの応用可能なシステムとなっている．

特徴

• 音声認識コンポーネントとしてOpenHRIのコンポーネント群の利用
• 共通カメラインターフェイス(参考サイト)に基づいた認識系コンポーネント
• 認識のアルゴリズムとして，SIFT特徴量やテンプレートマッチングを用意

コンポーネント群

• RecognitionManager 音声認識の結果から，物体認識のモデルを指定
• ObjectSensor　SIFT特徴量を用いた物体位置姿勢推定
• CameraCapture USBカメラコンポーネント
• Viewer 画像表示
• TemplateMatching テンプレートマッチング
• PulseAudioInput 音声入力
• PulseAudioOutput 音声出力
• JuliusRTC 音声認識
• SEAT 対話コンポーネント
• OpenJTalkRTC 音声合成　

動作環境

• 言語: C++, python
• OS: Ubuntu10.04, Windows7

依存パッケージ

• OpenCV2.3
• CUDA4.0 (ObjectSensor使用時)
• rtshell(スクリプトファイル使用時)

システム概要

TemplateMatchingとObjectSensorを入れ替えるだけで，簡単に認識のアルゴリズムの変更が可能

ソースコード

• カメラ系とビューワーのコンポーネント
• ObjectSensorのコンポーネント
• その他のソースとスクリプトファイル

マニュアル

詳しくはこちらのWikiを参照