[openrtm-users 01796] About image processing data/interface definition

5 posts / 0 new
Last post
root
Offline
Last seen: 7 hours 43 min ago
Joined: 2009-06-23 14:31
[openrtm-users 01796] About image processing data/interface definition

Dear OpenRTM-aist users
#日本語は下の方にあります

Now we are discussing image processing and its related data
types and interface types with ECCEROBOT (http://eccerobot.org/) people
in TUM.

From OpenRTM-aist ver 1.0, new data types and interface types are
included in ExtendedDataTypes.idl, InterfaceDataTypes.idl.
However, detailed specification including semantics are not defined clearly.
If you use them for actual RTCs, more clear specification should be defined.

A lot of image processing RTCs have been developed by many developers.
From the interoperability point of view, it is important to define
common data types and interface types definition.

I would like to start discussion to define these common data types
and interface types for image processing with developers who are
interested in them and have experiences for them.

I appreciate it if you could agree to that and join to the discussion.
Thank you in advance for your participation.

OpenRTM MLの皆さま

産総研 安藤です

現在、ミュンヘン工科大(TUM)のECCEROBOT (http://eccerobot.org/)
の人たちと、画像処理系のコンポーネント、データ型、インターフェースについて
ディスカッションをしています。

OpenRTM-aist 1.0から ExtendedDataTypes.idl, InterfaceDataTypes.idl
といった新たなデータ型群とインターフェース群が含まれるようになりましたが、
セマンティクス等については未定義の部分が多いので、実際に利用するには
もう少し仕様を明確に決めてあげる必要が有ります。

すでに、画像処理系のコンポーネントについては、様々な方が開発されて
いると思いますが、相互運用線の観点からもデータ型、インターフェースの
共通化を図ることは重要です。

そこで、MLやWeb上のフォーラムで、画像処理系のこうした仕様について
興味のある方に参加していただき、お互いに知見を持ち寄って、
共通データ型、インターフェース型を決めたいと思います。

ご意見などあればレスをいただければ幸いです。
よろしくお願いいたします。

Undefined
Kei Okada
Offline
Last seen: Never ago
Joined: 2011-05-17 20:20
[openrtm-users 01800] About image processing data/interface def

Hi,
It's off topic but just a comment and idea.
interoperability is very important and we already have many components
build on the different interface.
Thus, the tools that easily convert one data to another may very useful.
My idea is to design tool that convert by on-liner, Here is pseudo
lisp-like code
rtconvert "(on-openrtm-execute "inport" "output" #'(lambda (in out)
(setq (out . data) (in . value)) out))"
Of course, designing common interface is very important.

岡田です.
話題から外れるのですが,
相互運用性はとても重要で,かつ,既にいろいろなコンポーネントが存在します.
したがって,あるデータから別のデータ形式に簡単に変更できるツールが有ると
便利だな,と思いました.
例えば一行でデータを変換できるツールで,Lispっぽいコードで描くと
rtconvert "(on-openrtm-execute "inport" "output" #'(lambda (in out)
(setq (out . data) (in . value)))"
と言う風になるでしょうか.

もちろん,共通のインターフェースをインターフェースを作るのは重要に思っております.
特に画像系はいろいろご意見がありそうですね.ぜひ,議論を盛り上げましょう!

2011/6/16 Ando Noriaki :
> Dear OpenRTM-aist users
> #日本語は下の方にあります
>
> Now we are discussing image processing and its related data
> types and interface types with ECCEROBOT (http://eccerobot.org/) people
> in TUM.
>
> From OpenRTM-aist ver 1.0, new data types and interface types are
> included in ExtendedDataTypes.idl, InterfaceDataTypes.idl.
> However, detailed specification including semantics are not defined clearly.
> If you use them for actual RTCs, more clear specification should be defined.
>
> A lot of image processing RTCs have been developed by many developers.
> From the interoperability point of view, it is important to define
> common data types and interface types definition.
>
> I would like to start discussion to define these common data types
> and interface types for image processing with developers who are
> interested in them and have experiences for them.
>
> I appreciate it if you could agree to that and join to the discussion.
> Thank you in advance for your participation.
>
>
> OpenRTM MLの皆さま
>
> 産総研 安藤です
>
> 現在、ミュンヘン工科大(TUM)のECCEROBOT (http://eccerobot.org/)
> の人たちと、画像処理系のコンポーネント、データ型、インターフェースについて
> ディスカッションをしています。
>
> OpenRTM-aist 1.0から ExtendedDataTypes.idl, InterfaceDataTypes.idl
> といった新たなデータ型群とインターフェース群が含まれるようになりましたが、
> セマンティクス等については未定義の部分が多いので、実際に利用するには
> もう少し仕様を明確に決めてあげる必要が有ります。
>
> すでに、画像処理系のコンポーネントについては、様々な方が開発されて
> いると思いますが、相互運用線の観点からもデータ型、インターフェースの
> 共通化を図ることは重要です。
>
> そこで、MLやWeb上のフォーラムで、画像処理系のこうした仕様について
> 興味のある方に参加していただき、お互いに知見を持ち寄って、
> 共通データ型、インターフェース型を決めたいと思います。
>
> ご意見などあればレスをいただければ幸いです。
> よろしくお願いいたします。
>
>
>
>

k-oohara
Offline
Last seen: 4 months 3 weeks ago
Joined: 2010-09-22 01:38
[openrtm-users 01802] About image processing data/interface def

ML登録の皆様

大阪大学の大原と申します.

安藤様より話題提供のございました画像系のインタフェースについてでございますが,
カメラコンポーネント ー 画像処理コンポーネント間のインタフェースについて,
NEDO知能化PJの中の標準という形で策定し,一般への公開を目指して活動をしております.

まだ公開に十分なコンポーネントがそろっておりませんので,話題提供だけになってしまいますが,
1〜2ヶ月をめどに一般向けにサンプルコンポーネントや利用マニュアルを含めて公開できるように進めておりますので,
少々お待ちいただければと思います.

ご興味お持ちいただける方にはIDLや簡単な使い方についてお伝えできる資料はございますので,
お問い合わせいただければと思います.

どうぞよろしくお願いいたします.

2011年6月21日0:22 Kei Okada :
> Hi,
> It's off topic but just a comment and idea.
> interoperability is very important and we already have many components
> build on the different interface.
> Thus, the tools that easily convert one data to another may very useful.
> My idea is to design tool that convert by on-liner, Here is pseudo
> lisp-like code
> rtconvert "(on-openrtm-execute "inport" "output" #'(lambda (in out)
> (setq (out . data) (in . value)) out))"
> Of course, designing common interface is very important.
>
> 岡田です.
> 話題から外れるのですが,
> 相互運用性はとても重要で,かつ,既にいろいろなコンポーネントが存在します.
> したがって,あるデータから別のデータ形式に簡単に変更できるツールが有ると
> 便利だな,と思いました.
> 例えば一行でデータを変換できるツールで,Lispっぽいコードで描くと
> rtconvert "(on-openrtm-execute "inport" "output" #'(lambda (in out)
> (setq (out . data) (in . value)))"
> と言う風になるでしょうか.
>
> もちろん,共通のインターフェースをインターフェースを作るのは重要に思っております.
> 特に画像系はいろいろご意見がありそうですね.ぜひ,議論を盛り上げましょう!
>
> 2011/6/16 Ando Noriaki :
>> Dear OpenRTM-aist users
>> #日本語は下の方にあります
>>
>> Now we are discussing image processing and its related data
>> types and interface types with ECCEROBOT (http://eccerobot.org/) people
>> in TUM.
>>
>> From OpenRTM-aist ver 1.0, new data types and interface types are
>> included in ExtendedDataTypes.idl, InterfaceDataTypes.idl.
>> However, detailed specification including semantics are not defined clearly.
>> If you use them for actual RTCs, more clear specification should be defined.
>>
>> A lot of image processing RTCs have been developed by many developers.
>> From the interoperability point of view, it is important to define
>> common data types and interface types definition.
>>
>> I would like to start discussion to define these common data types
>> and interface types for image processing with developers who are
>> interested in them and have experiences for them.
>>
>> I appreciate it if you could agree to that and join to the discussion.
>> Thank you in advance for your participation.
>>
>>
>> OpenRTM MLの皆さま
>>
>> 産総研 安藤です
>>
>> 現在、ミュンヘン工科大(TUM)のECCEROBOT (http://eccerobot.org/)
>> の人たちと、画像処理系のコンポーネント、データ型、インターフェースについて
>> ディスカッションをしています。
>>
>> OpenRTM-aist 1.0から ExtendedDataTypes.idl, InterfaceDataTypes.idl
>> といった新たなデータ型群とインターフェース群が含まれるようになりましたが、
>> セマンティクス等については未定義の部分が多いので、実際に利用するには
>> もう少し仕様を明確に決めてあげる必要が有ります。
>>
>> すでに、画像処理系のコンポーネントについては、様々な方が開発されて
>> いると思いますが、相互運用線の観点からもデータ型、インターフェースの
>> 共通化を図ることは重要です。
>>
>> そこで、MLやWeb上のフォーラムで、画像処理系のこうした仕様について
>> 興味のある方に参加していただき、お互いに知見を持ち寄って、
>> 共通データ型、インターフェース型を決めたいと思います。
>>
>> ご意見などあればレスをいただければ幸いです。
>> よろしくお願いいたします。
>>
>>
>>
>>

gbiggs
Offline
Last seen: 6 years 8 months ago
Joined: 2010-08-02 07:51
[openrtm-users 01812] About image processing data/interface def

I have attached the two interfaces that Player uses for camera images
and stereo camera images.

Player's interfaces are very simple. They only support basic image
information. No information about the camera that captured the image is
carried. This means that, for example, calibration is not possible.

Player's stereo camera interface is made by combining two camera images
with a disparity image and a point cloud created by processing the two
images. This is quite a restrictive interface: it can only handle camera
pairs, not other arrangements (such as three or more cameras), and it
does not provide any information to calculate the depth information from
the two images after receiving them, such as the distance between the
two cameras.

Geoff

On 16/06/11 20:41, Ando Noriaki wrote:
> Dear OpenRTM-aist users
> #日本語は下の方にあります
>
> Now we are discussing image processing and its related data
> types and interface types with ECCEROBOT (http://eccerobot.org/) people
> in TUM.
>
> From OpenRTM-aist ver 1.0, new data types and interface types are
> included in ExtendedDataTypes.idl, InterfaceDataTypes.idl.
> However, detailed specification including semantics are not defined clearly.
> If you use them for actual RTCs, more clear specification should be defined.
>
> A lot of image processing RTCs have been developed by many developers.
> From the interoperability point of view, it is important to define
> common data types and interface types definition.
>
> I would like to start discussion to define these common data types
> and interface types for image processing with developers who are
> interested in them and have experiences for them.
>
> I appreciate it if you could agree to that and join to the discussion.
> Thank you in advance for your participation.
>
>
> OpenRTM MLの皆さま
>
> 産総研 安藤です
>
> 現在、ミュンヘン工科大(TUM)のECCEROBOT (http://eccerobot.org/)
> の人たちと、画像処理系のコンポーネント、データ型、インターフェースについて
> ディスカッションをしています。
>
> OpenRTM-aist 1.0から ExtendedDataTypes.idl, InterfaceDataTypes.idl
> といった新たなデータ型群とインターフェース群が含まれるようになりましたが、
> セマンティクス等については未定義の部分が多いので、実際に利用するには
> もう少し仕様を明確に決めてあげる必要が有ります。
>
> すでに、画像処理系のコンポーネントについては、様々な方が開発されて
> いると思いますが、相互運用線の観点からもデータ型、インターフェースの
> 共通化を図ることは重要です。
>
> そこで、MLやWeb上のフォーラムで、画像処理系のこうした仕様について
> 興味のある方に参加していただき、お互いに知見を持ち寄って、
> 共通データ型、インターフェース型を決めたいと思います。
>
> ご意見などあればレスをいただければ幸いです。
> よろしくお願いいたします。
>
>
>
>

gbiggs
Offline
Last seen: 6 years 8 months ago
Joined: 2010-08-02 07:51
[openrtm-users 01813] About image processing data/interface def

I have attached the interfaces that ROS uses for cameras, images and
related topics.

ROS separates camera information from image data. This increases the
flexibility of the topics, allowing camera information to be sent only
when needed. ROS's image and camera messages are quite advanced.

The Image message solely focuses on containing an image's data along
with an encoding, width and height. The "step" value is used to make
reading easier (you can use it to skip an entire row of pixels in the
raw data at a time without having to calculate the size of a row first).

The CameraInfo message provides a significant level of detail about the
camera that is providing images. All the information from calibrating
the camera and necessary to remove distortion from or rectify images is
provided. It also contains information about regions of interest the
camera is providing, i.e. if the camera is outputting only a subwindow
of its full resolution, or if it is down-sampling its sensor.

The DisparityImage message is one of the possible outputs of a stereo
processing component. It contains the disparity image itself (using an
Image message) as well as the information about that disparity.

ROS doesn't contain (that I can find) a special message for multi-camera
arrays such as stereo cameras. Instead the common practice is to create
a topic for each camera in the array.

Geoff

On 16/06/11 20:41, Ando Noriaki wrote:
> Dear OpenRTM-aist users
> #日本語は下の方にあります
>
> Now we are discussing image processing and its related data
> types and interface types with ECCEROBOT (http://eccerobot.org/) people
> in TUM.
>
> From OpenRTM-aist ver 1.0, new data types and interface types are
> included in ExtendedDataTypes.idl, InterfaceDataTypes.idl.
> However, detailed specification including semantics are not defined clearly.
> If you use them for actual RTCs, more clear specification should be defined.
>
> A lot of image processing RTCs have been developed by many developers.
> From the interoperability point of view, it is important to define
> common data types and interface types definition.
>
> I would like to start discussion to define these common data types
> and interface types for image processing with developers who are
> interested in them and have experiences for them.
>
> I appreciate it if you could agree to that and join to the discussion.
> Thank you in advance for your participation.
>
>
> OpenRTM MLの皆さま
>
> 産総研 安藤です
>
> 現在、ミュンヘン工科大(TUM)のECCEROBOT (http://eccerobot.org/)
> の人たちと、画像処理系のコンポーネント、データ型、インターフェースについて
> ディスカッションをしています。
>
> OpenRTM-aist 1.0から ExtendedDataTypes.idl, InterfaceDataTypes.idl
> といった新たなデータ型群とインターフェース群が含まれるようになりましたが、
> セマンティクス等については未定義の部分が多いので、実際に利用するには
> もう少し仕様を明確に決めてあげる必要が有ります。
>
> すでに、画像処理系のコンポーネントについては、様々な方が開発されて
> いると思いますが、相互運用線の観点からもデータ型、インターフェースの
> 共通化を図ることは重要です。
>
> そこで、MLやWeb上のフォーラムで、画像処理系のこうした仕様について
> 興味のある方に参加していただき、お互いに知見を持ち寄って、
> 共通データ型、インターフェース型を決めたいと思います。
>
> ご意見などあればレスをいただければ幸いです。
> よろしくお願いいたします。
>
>
>
>

Log in or register to post comments

Download

latest Releases : 2.0.0-RELESE

2.0.0-RELESE Download page

Number of Projects

Choreonoid

Motion editor/Dynamics simulator

OpenHRP3

Dynamics simulator

OpenRTP

Integrated Development Platform

AIST RTC collection

RT-Components collection by AIST

TORK

Tokyo Opensource Robotics Association

DAQ-Middleware

Middleware for DAQ (Data Aquisition) by KEK