TITLE:VVV를 이용한 시각 인식·추적 컴퍼넌트

VVV를 이용한 시각 인식·추적 컴퍼넌트

VVV는 산업기술 종합연구소가 개발한 「고기능 3 차원 시각 시스템」입니다. 이 시스템은 예를 들어 산업기술 종합연구소의 2족 보행 로봇 HRP-2의 머리 부분에도 탑재되어 3 차원 공간의 계측이나 대상물의 탐색·식별을 가능하게 했습니다. 옥내외를 불문하고 많은 분야에서 이용 되기 시작하고 있습니다. 현재 산업기술 종합연구소에서는 보다 높은 기능을 실현하기 위한 연구하고, 산업기술 종합연구소발 벤처기업을 통해서 여러가지 분야에의 기술의 제공과 이용을 진행시키고 있습니다.

1. 다양한 환경이나 목적으로 이용할 수 있는 범용 시스템.
2. 임의의 형상의 물체를 대상으로 할 수 있음.
3. 3 차원 거리계측, 3 차원 형상 표현, 3 차원 물체 인식, 3 차원 운동 추적의 3 차원 화상 처리로서 필요한 모든 기능탑재.
4. 고정밀도의 계측 / 인식. 등을 들 수 있습니다.

VVV의 상세

개발의 배경

실용적인 로봇을 개발하기 위해서는 임의의 형상의 물체를 대상으로 3 차원 물체 인식, 3 차원 운동 추적의 3 차원 화상 처리등의 기능이 필요 하다고 생각할 수 있습니다. 이 인식·추적의 기능을 RT컴퍼넌트로서 실현될 수 있으면, 넓게 로봇의 개발에 이용하여 로봇의 능력을 비약적으로 향상시킬 수 있습니다.

인식·운동 추적이란?

화상을 사용한 대상물의 인식이나 운동 추적은 컴퓨터 비전이나 패턴 인식이라고 하는 분야에서 넓게 연구되고 있습니다. VVV에서는 인식·운동 추적을 다음과 같이 생각하고 있습니다.

인식

실공간에 있는 것을 스테레오 카메라로부터의 화상을 이용하여 그것이 「무엇으로 있을까」나 「3 차원 공간안의 어느 위치에 어떤 자세나 상태로 있을까」를 요구하는 것.

운동 추적

리얼타임으로 인식할 수 있던 대상물의 3 차원에서의 운동을 계측하는 것.

인식·추적 컴퍼넌트가 생기는 것

인식·추적 컴퍼넌트는 VVV가 가지는 기능중에서 이하와 같은 인식과 운동 추적을 실시할 수 있습니다.

인식 동작

인식 컴퍼넌트에, 인식 대상물의 CAD 데이터를 주고, 그 3 차원 위치와 자세를 정확하게 요구합니다.VVV에서는 선베이스 스테레오법에 따라 인식에 적절한 CAD에 유사한, 구조화 된 3 차원 데이터를 실화상으로부터 만드는 것이로, 이것과 CAD 데이터를 조합하는 것에 의해서, 인식 기능이 실현되고 있습니다. 인식에 필요한 대상물의 CAD 데이터는, 현시점에서는 전용의 모델러로서 제공되고 있습니다.장래는, 스테레오 카메라에 의한 3 차원 형상 계측으로의 데이터로부터 생성하거나 대상물의 설계에 사용한 다른 포맷의 CAD 데이터로부터 변환하거나 할 수 있도록(듯이) 생각되고 있습니다.

운동 추적 동작

VVV가 대상물을 한 번 인식할 수 있으면, 비디오 레이트로, 회전과 이동을 포함한 대상물의 운동을 계측할 수 있습니다.이것은 연속한 스테레오 화상으로, 직전의 위치나 자세의 계측 결과로부터, 현재의 대체로의 화상중에서의 보이는 방법을 알므로, 화상중의 근방만을 탐색하는 것으로 고속의 처리가 실현되고 있습니다.움직임이 빠른 경우나 숨었을 경우에는, 대상물을 잃는 일이 있습니다만, 그 경우에는 자동적으로 추적을 정지해 반복 발견과 추적의 프로세스를 반복할 수 있으므로, 강건한 추적 기능이 실현되고 있습니다.

인식·추적 컴퍼넌트는, 어떤 경우에 도움이 되는 거야?

VVV에서는 구조 해석에 의한 특징으로서 그 형상을 인식의 열쇠로 하고 있습니다.이 때문에, 인식 컴퍼넌트는, 원리적으로 배경이 어떠한 상황이어도, 조명이 차이가 나도 대응할 수 있습니다(그림 좌상, 다면체의 모델 데이터를 주어 인식시켰을 경우.인식 결과를 공창 지역에서 거듭해 써 하고 있다).또, 표면의 광택은 물론, 표면의 texture나 색에는 의존하지 않습니다.예를 들면, 그림(좌하)과 같이, 캔의 형상 데이터를 주면, 같은 형태의 캔이면 메이커나 품종이 달라도 인식합니다.또, 인식 자체가 완전한 필요는 없기 때문에, 일부가 숨어 있어도 인식할 수 있다(그림, 우상).VVV의 모델 데이터로서 기술할 수 있으면 모두 인식이 가능하고, 다면체나 자유 곡면으로부터 구성되는 대상물도 인식할 수 있습니다(그림：우하).

또, 추적 컴퍼넌트를 이용하면, 그림과 같이 대상물을 인간이 조작하고 있는 모습을, 리얼타임에 관측하는 것이 가능하게 되어, 로봇에게의 교시 시스템(동작을 보여 학습시키는 시스템( Teaching-by-Showing ))의 구성에 응용하는 것도 가능합니다.

컴퍼넌트의 사용 이미지(자세한 것은 메뉴얼을 봐 주세요)

컴퍼넌트 사용을 위한 샘플 컴퍼넌트(VVVtest) 인식 컴퍼넌트 VVVision 및 추적 컴퍼넌트 VVVtrack 를 조작하기 위한 컴퍼넌트의 샘플로서 VVVtest 컴퍼넌트를 준비했습니다.결과 표시 컴퍼넌트 VVVDisplay 는, 인식 컴퍼넌트로부터 모델 데이터, 인식 화상, 인식 결과를 받아, 결과 화상을 표시합니다.

인식·추적 컴퍼넌트

• 원시 코드(tar.gz)
• 유저 메뉴얼(pdf)

비고

인식·추적 컴퍼넌트

인식·추적 컴퍼넌트는, 독립 행정법인 산업기술 종합 연구소(이하 「산업기술 종합연구소」) 지능 시스템 연구부문 3 차원 시각 시스템 연구 그룹이 연구 개발 한 소프트웨어를, 같은 부문태스크·인텔리젼스 그룹에 대해 RT미들 웨어상에서 동작하도록(듯이), RT컴퍼넌트로서 실장한 것입니다. 또 본컴퍼넌트로 사용하고 있는 인식·추적에 걸리는 API(라이브러리) 부분은 주식회사 등에 놀이 기구·비전·시스템즈가 산업기술 종합연구소의 허락을 받아 개량해 판매하고 있는 것을 사용하고 있습니다.

재배포의 제한

이 배포 패키지에는 RT컴퍼넌트로서의 실장 부분만이 포함됩니다.이 부분의 저작권은 산업기술 종합 연구소에 귀속합니다.

이 배포 패키지는 어떠한 보증도 수반하지 않고”현상인 채(AS IS)”로 제공되고 있습니다.배포 패키지의 원시 코드를 이용하고, 독자적인 화상 인식 및 추적 프로그램등을 짜넣은 RT컴퍼넌트를 개발해 주시는 것은 대환영입니다.그것들이 공개되는 경우는, 이 배포 패키지를 이용해 개발한 것을 명시해 주세요.또, 산업기술 종합연구소까지 연락을 받을 수 있으면, 산업기술 종합연구소의 RT미들 웨어의 홈 페이지에서도 소개하겠습니다.

이 배포 패키지의 원시 코드를 이용하고, 독자적인 컴퍼넌트를 개발해, 상용 이용을 위해서 개변 부분의 원시 코드를 공개하지 않고 사용, 판매, 배포되는 경우에는 코머셜 라이센스가 필요합니다.그 경우는 산업기술 종합 연구소 태스크 인텔리젼스 연구 그룹에 상담해 주십시오.

배포 패키지에 포함되지 않는 인식 및 운동 추적 API 부분과 그 관련 기술 자료에 대해서는, (주) 등에 놀이 기구·비전·시스템즈에 의해 구입하시도록 부탁드리겠습니다.또, 사용 라이센스 그 외에 대한 문의도 동사까지 연락해 주십시오.

연락처

배포 패키지에 관한 연락처

 (우)305-8568　이바라키현 츠쿠바시 매화나무 정원 1－1－1　중앙 제 2
 독립 행정법인 산업기술 종합 연구소 지능 시스템 연구부문
 태스크·인텔리젼스 연구 그룹
 TEL: 029-861-5952 FAX: 029-861-5971
 URL: http://unit.aist.go.jp/is/taskint/html/

VVV의 개발 및, 전반에 관한 소개

 (우)305-8568　이바라키현 츠쿠바시 매화나무 정원 1－1－1　중앙 제 2
 독립 행정법인 산업기술 종합 연구소 지능 시스템 연구부문
 3 차원 시각 시스템 연구 그룹
 URL：　http://unit.aist.go.jp/is/vvv/index_j.html

VVV API 부분에 관한 연락처

 (우)305-8568　이바라키현 츠쿠바시 매화나무 정원 1－1－1　중앙 제 2
 주식회사 등에 놀이 기구·비전·시스템즈
 TEL: 029-855-7652 FAX: 029-855-7659
 URL: http://avsc.jp/