3次元形状復元、深度合成

Top / Coding / 画像処理 / 3次元形状復元、深度合成
 

ページ構成
−Top
  • −Coding
    • +.NET
    • +CUDA
    • +JavaScript
    • +MSOffice
    • +PHP
    • +PowerShell
    • +Python
    • +Ruby
    • +VBA
    • +misc
    • −画像処理
      • ・2値化
      • ・3次元形状復元、深度合成
      • ・アンチエイリアシング
      • ・ステレオカメラ、視差など(未整理)
      • ・パターンマッチング
      • ・ベクタデータとラスタデータ
      • ・特徴的形状の検出
      • ・文字認識
  • +Server
  • +memo
  • +misc
  • +カメラ
  • +科学技術
  • +記事
  • +数値解析
最新の10件
2018-01-16 更新
  • misc/Hardware/各種プロセッサの倍精度演算性能
2017-11-27 更新
  • Coding/misc/raspberrypi
2017-11-02 更新
  • Coding/.NET/NuGetパッケージの作成
2017-10-19 更新
  • Coding/MSOffice/VSTO/ThisAddin_Startupに処理を書く問題が起きる
2017-06-16 更新
  • Coding/.NET/VisualStudioビルドイベント
2017-05-28 更新
  • misc/Hardware/タブレット向けCPU/複製
2017-05-25 更新
  • Coding/Python/CloudVision
2017-05-24 更新
  • misc/ロードバイク/サイクルロード/奈良
2017-05-11 更新
  • misc/ソフトウェア/文章/文章校正、作成支援ツール
2017-03-15 更新
  • misc/ソフトウェア/プロジェクト管理ツール

Powered By

b_pukiwiki.official.png

edit

画像から3次元形状(深度情報)を復元する方法についてまとめてみた
  • 1枚の画像から3次元形状を復元
  • 複数枚の深度の異なる画像から深度情報を作成
    • 3次元形状を復元
      • 点対応(特徴点追跡)を用いた合成
      • 単純に合焦位置の画像を積層(合成)
      • 深度情報、色情報を複数枚から推定
    • 2次元画像を作成
      • 焦点合成 (Focus Stacking, )
  • 多視点画像から3次元情報復元
IMGP9239.JPG

 

1枚の画像から3次元形状を復元 †

一枚の2次元画像から、そこに写っている物体の3次元形状を推測して計算し、
復元する方法としては、大別すれば以下のような方法がある。

  • 長方形物体の見え方から位置を計算する (shape from perspective)
  • 模様を物体に投影し、そこから形状を計算する (光切断法)
  • 物体の肌理の密度分布などから、奥行き情報を求める (shape from texture)
  • 物体表面での光の反射の強さから法線方向を計算する (照度差ステレオ、 shape from shading)

このうち、Shape from Shadingによる解法の1つには、
「ランバート反射モデル」を用いて解く方法がある。
(これはCGの作成時に、法線マッピングを用いて影をつけるのと逆の計算、と思われる。)

参考資料:

  • 2次元画像からの3次元物体形状復元
    • https://netfiles.uiuc.edu/sinagawa/www/perspective-j.html
  • 奈良女子大学理学部情報科学科 教員 森井 藤樹
    • http://www.ics.nara-wu.ac.jp/jp/staff/morii.html
  • ランバート反射 - Wikipedia
    • http://ja.wikipedia.org/wiki/ランバート反射

参考文献:

  • Shape from ShadingのSurvey論文
    Numerical methods for shape-from-shading: A new survey with benchmarks
    JD Durou, M Falcone… - Computer Vision and Image …, 2008 - Elsevier
    • http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.187.8600&rep=rep1&type=pdf
  • 領域分割に基づく回帰による三次元形状復
    • http://www.ipsj.or.jp/sibu/kansai/ipsj-kansai/hyoshou/document/h21/H21_C-04.pdf
  • CiNii 論文 -  物体の明度と法線ベクトルの関係学習による3次元形状復元(一般セッション6,三次元画像,多視点画像)
    • http://ci.nii.ac.jp/naid/110006937645
  • CiNii 論文 -  イメージスキャナを用いた書籍表面の3次元形状復元(1) : 近接照明下でのShape from Shading
    • http://ci.nii.ac.jp/naid/110003228432

応用例:

  • hirax.net::オッパイ星人の力学 「胸の谷間」編::(2002.09.26)
    • http://www.hirax.net/dekirukana6/bust10/index.html
  • Make3D:2D画像から3Dモデルを作る
    • http://jp.techcrunch.com/archives/make3d-turn-a-2d-picture-into-a-3d-model/
↑

複数枚の深度の異なる画像から深度情報を作成 †

↑

3次元形状を復元 †

↑

点対応(特徴点追跡)を用いた合成 †

  • Microsoft 学習コンテンツ: Photosynth の世界とは | アカデミック ポータル
    • http://msdn.microsoft.com/ja-jp/academic/hh528459
  • 点対応を用いた 複数の2次元画像からの3次元形状復元
    • http://www.ism.ac.jp/editsec/toukei/pdf/49-1-077.pdf
  • 未校正カメラによる2画像からの3次元復元とその信頼性評
    • http://www.suri.cs.okayama-u.ac.jp/~kanatani/papers/ipreconst.pdf
↑

単純に合焦位置の画像を積層(合成) †

  1. 各画像ごとにピントの合っている領域を抜き出す(例えば、高周波数領域を切り出す、高コントラスト領域を抜き出す)
  2. 各ピントの合っている領域の深度情報を積み重ねる

要調べ
領域の境界面や、複数の画像間で重なる領域はどう扱うのか

応用例:

  • 走査型顕微鏡(ただし、以下は用いる画像が通常の可視光画像ではない)
    • SEM
    • 白色光干渉 (たとえば、Zygo社のNewView)
    • 共焦点レーザー
↑

深度情報、色情報を複数枚から推定 †

  1. 被写界深度に基づいて、PSF(point spread function) を決定
  2. 複数画像から、色・深度情報を決定

要調べ
色、深度情報の決定に際しては、Deconvolutionを繰り返しやる(iterationする)?
位相回復計算のようなことをする(適当においた3次元形状から始めて、理想的な3次元形状を反復計算で追い込んでいく)?

↑

2次元画像を作成 †

↑

焦点合成 (Focus Stacking, ) †

高倍率の顕微鏡の世界で盛んに用いられている。
また、写真表現の1つとして使われていることもある。
被写界深度の浅い高倍率画像を複数合成して、焦点深度の深い画像を作成。

参考文献:

  • 顕微鏡焦点系列画像からの焦点深度伸長像合成法
    • http://oelab.cs.kitami-it.ac.jp/archive/abstract/2005/CS2005_Watanabe_resume.pdf
  • 顕微鏡のDeconvolutionに関して:Kbi DeConvolution
    • http://hasezawa.ib.k.u-tokyo.ac.jp/zp/Kbi/DeConvolution
  • Focus stacking - Wikipedia, the free encyclopedia
    • http://en.wikipedia.org/wiki/Focus_stacking

応用例(ソフトウェア):

  • CombineZM News
    • http://hadleyweb.pwp.blueyonder.co.uk/CZM/News.htm
  • ImageJ
  • Adobe Photoshop
  • など多数あり

ソフトウェアの使い方:

  • Image Jを用いた多焦点画像作製
    • http://www.frontier.kyoto-u.ac.jp/rc03/omake/focused.html

余談:
EOSで、FOcus Stacking撮影を補助するためのアイテム(Arudinoを用いて自作)

  • Focus stacking assistant for EOS cameras
    • http://www.circuitsathome.com/camera-control/focus-stacking-assistant-for-eos-cameras
↑

多視点画像から3次元情報復元 †

最も基本的手法

  • light filed rendering

参考資料:

  • 合焦判定に基づく全焦点Light Field Viewer
    • http://www.ipsj.or.jp/01kyotsu/award/fit_young/2004_pdf/J_010.pdf

添付ファイル: fileIMGP9239.JPG 862件 [詳細]

トップ   編集 凍結 差分 添付 複製 名前変更 リロード   新規 一覧 単語検索   ヘルプ   最終更新のRSS
Last-modified: 2012-01-07 (土) (3298d)
Site admin: D*isuke YAMAKAWA

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.29. HTML convert time: 0.066 sec.