お問い合わせ

03-5677-3930初診受付

ブログ

2019年12月19日

11392:蜘蛛の「眼」に学ぶ超小型深度センサー開発:PNAS記事紹介

今日の眼の話題です:2019年12月19日 [山下裕毅,ITmedia] およびhttps://www.pnas.org/content/116/46/22959から。Innovative Tech:

 ハーバード大学他の研究チームが11月に発表した新技術は、蜘蛛にヒントを得たコンパクトな深度センサーだ。

 一般的な深度センサーは、 Time-of-flight(ToF) という方式が多い。デバイスから光やパルスを飛ばして、物体からの跳ね返り時間を測定し距離を計算する方式だ。自動運転車によく用いられるLIDARや、Xbox向けに開発されたMicrosoft Kinectなどで採用されている。iPhoneのFace IDも、赤外線ドットの跳ね返りを使用して顔の輪郭をマッピングする。

 しかしながら、この方式はバッテリーや高速コンピュータ用のスペースを確保できる大きなデバイスが必要なため、スマートウォッチやマイクロロボットなど、電力と計算能力が限られる小さなデバイスでは非常に困難だ。

 そこで研究チームは、小さなデバイスでも機能する深度センサーを開発した。これは、大きな脳を持たないハエトリグモの深度認識に触発された。ハエトリグモは、離れた場所から獲物に向かってジャンプし捕獲するが、獲物までの奥行きを正確に知覚している。

F1.medium

ハエトリグモとメタレンズ深度センサー。 (A)ハエトリグモは、正面の2つの主眼のうちの1つ(強調表示)を使用して深度を感知できます。人間の目で見られる単一の網膜とは異なり、ハエトリグモは、層状で半透明の複数の網膜を持っています。層状網膜構造は、異なる量のデフォーカスで同じシーンの複数の画像を同時に測定することができ、行動証拠は、クモがこれらの画像で利用可能なデフォーカスキューを使用して深度を測定することを示唆しています。 (B)メタレンズ深度センサーは、ハエトリグモを模倣して深度を推定します。メタレンズを使用して異なるデフォーカスの2つの画像を同時に捕捉し、効率的な計算を使用してこれらの画像から深度を生成します。ハエトリグモの深度知覚は緑色光の下で正常に動作します。また、532 nmの波長で動作するようにメタレンズを同様に設計しました。メタレンズをスペクトルフィルターと結合してスペクトル帯域幅を制限し、長方形の開口部を使用して2つの隣接する画像間の重なりを防ぎました。光センサーに描かれた画像は実験から取られたもので、異なる距離にある2匹のミバエを示しています。センサーによって計算された対応する深度マップが右側に表示され、色は対象の距離を表します。近いハエと遠いハエは、それぞれ赤と青の色で表示されます。

ハエトリグモがジャンプして、ショウジョウバエを捕獲する様子

 ハエトリグモの各主眼には、層状に配置する複数の半透明な網膜が備わっており、それぞれ異なる量のボケ画像(デフォーカス画像)を複数枚取得できる。物体をシャープに捉える網膜、ボケて捉える網膜など、ぼかしを変化させた画像を一度に捉えることで、距離を計算する。

 ハエトリグモの深度認識をまねるために、異なる情報を含む複数の画像を同時に生成可能な「メタレンズ」(Metalens)を採用。 一般的な湾曲レンズではなく、フラットレンズであること、白色を含む全可視光スペクトルを集光可能なシングルレンズであることが特徴だ。フラットでありながら色収差補正で多数のレンズを重ねる必要がないため、小型のままデバイスに組み込める。

 このメタレンズを用いて、深度センサーを設計。異なる2枚のボケ画像をリアルタイムに生成し、物体までの距離を表す深度マップを構築する。

2匹のハエの奥行をキャプチャーする概要図。A:ハエトリグモがハエまでの深度を認識する図、B: メタレンズ深度センサー を用いてハエまでの深度マップを生成する図

photo

左から入力画像、2枚の異なるデフォーカス画像、深度マップ

 この深度センサーを使用することで、小型デバイスでも深度計算が容易になる。メガネ型ARデバイスやワイヤレスイヤフォンなどへの搭載が期待される。

F5.medium

「入力画像と出力深度マップ。 センサーは、毎秒100フレームを超える400×400ピクセルのリアルタイム深度と信頼マップを生成します。 (AおよびB)2つの画像(I +、I-)は経時的に連続するのではなく、単一のショットでキャプチャされるため、ショウジョウバエ(A)や水流(B)などの動きの速い物体を測定できます。 (BおよびC)制御された光源からの反射ではなく、周囲の光のみに依存するため、水流(B)や炎(C)などの半透明の構造も測定できます。 (D)テキスト付きの傾斜面は、2つの画像(I +、I−)間の焦点ぼけの違いを表します。 カラーバーはメートル単位です。 シーンA、B、およびDの画像と深度マップは、シーンを緑色のLEDで照らすことによって作成されました。 デプスマップは、0.5を超える信頼度でしきい値設定されました。これは、図4Bで0.3〜0.4 mのオブジェクト距離の平均偏差が約5%になるしきい値です。 その他の画像とビデオは、SI付録で入手できます。」

Copyright © ITmedia, Inc. All Rights Reserved.

Categorised in: 神経眼科