３次元形状復元、深度合成

Top / Coding / 画像処理 / ３次元形状復元、深度合成

 

ページ構成

最新の10件

---

Powered By

---

edit

　

１枚の画像から３次元形状を復元 †

一枚の2次元画像から、そこに写っている物体の3次元形状を推測して計算し、
復元する方法としては、大別すれば以下のような方法がある。

• 長方形物体の見え方から位置を計算する (shape from perspective)
• 模様を物体に投影し、そこから形状を計算する (光切断法)
• 物体の肌理の密度分布などから、奥行き情報を求める (shape from texture)
• 物体表面での光の反射の強さから法線方向を計算する (照度差ステレオ、 shape from shading)

このうち、Shape from Shadingによる解法の１つには、
「ランバート反射モデル」を用いて解く方法がある。
（これはCGの作成時に、法線マッピングを用いて影をつけるのと逆の計算、と思われる。）

参考資料：

• 2次元画像からの3次元物体形状復元
  • https://netfiles.uiuc.edu/sinagawa/www/perspective-j.html
• 奈良女子大学理学部情報科学科 教員 森井 藤樹
  • http://www.ics.nara-wu.ac.jp/jp/staff/morii.html
• ランバート反射 - Wikipedia
  • http://ja.wikipedia.org/wiki/ランバート反射

参考文献：

• Shape from ShadingのSurvey論文
  Numerical methods for shape-from-shading: A new survey with benchmarks
  JD Durou, M Falcone… - Computer Vision and Image …, 2008 - Elsevier
  • http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.187.8600&rep=rep1&type=pdf
• 領域分割に基づく回帰による三次元形状復
  • http://www.ipsj.or.jp/sibu/kansai/ipsj-kansai/hyoshou/document/h21/H21_C-04.pdf
• CiNii 論文 -  物体の明度と法線ベクトルの関係学習による3次元形状復元(一般セッション6,三次元画像,多視点画像)
  • http://ci.nii.ac.jp/naid/110006937645
• CiNii 論文 -  イメージスキャナを用いた書籍表面の3次元形状復元(1) : 近接照明下でのShape from Shading
  • http://ci.nii.ac.jp/naid/110003228432

応用例：

• hirax.net::オッパイ星人の力学　「胸の谷間」編::(2002.09.26)
  • http://www.hirax.net/dekirukana6/bust10/index.html
• Make3D：2D画像から3Dモデルを作る
  • http://jp.techcrunch.com/archives/make3d-turn-a-2d-picture-into-a-3d-model/

複数枚の深度の異なる画像から深度情報を作成 †

３次元形状を復元 †

点対応(特徴点追跡)を用いた合成 †

• Microsoft 学習コンテンツ: Photosynth の世界とは | アカデミック ポータル
  • http://msdn.microsoft.com/ja-jp/academic/hh528459
• 点対応を用いた 複数の2次元画像からの3次元形状復元
  • http://www.ism.ac.jp/editsec/toukei/pdf/49-1-077.pdf
• 未校正カメラによる２画像からの３次元復元とその信頼性評
  • http://www.suri.cs.okayama-u.ac.jp/~kanatani/papers/ipreconst.pdf

単純に合焦位置の画像を積層（合成） †

1. 各画像ごとにピントの合っている領域を抜き出す（例えば、高周波数領域を切り出す、高コントラスト領域を抜き出す）
2. 各ピントの合っている領域の深度情報を積み重ねる

要調べ
領域の境界面や、複数の画像間で重なる領域はどう扱うのか

応用例：

• 走査型顕微鏡（ただし、以下は用いる画像が通常の可視光画像ではない）
  • SEM
  • 白色光干渉 (たとえば、Zygo社のNewView）
  • 共焦点レーザー

深度情報、色情報を複数枚から推定 †

1. 被写界深度に基づいて、PSF(point spread function) を決定
2. 複数画像から、色・深度情報を決定

要調べ
色、深度情報の決定に際しては、Deconvolutionを繰り返しやる(iterationする)？
位相回復計算のようなことをする（適当においた３次元形状から始めて、理想的な3次元形状を反復計算で追い込んでいく）？

2次元画像を作成 †

焦点合成 (Focus Stacking, ) †

高倍率の顕微鏡の世界で盛んに用いられている。
また、写真表現の１つとして使われていることもある。
被写界深度の浅い高倍率画像を複数合成して、焦点深度の深い画像を作成。

参考文献：

• 顕微鏡焦点系列画像からの焦点深度伸長像合成法
  • http://oelab.cs.kitami-it.ac.jp/archive/abstract/2005/CS2005_Watanabe_resume.pdf
• 顕微鏡のDeconvolutionに関して：Kbi DeConvolution
  • http://hasezawa.ib.k.u-tokyo.ac.jp/zp/Kbi/DeConvolution
• Focus stacking - Wikipedia, the free encyclopedia
  • http://en.wikipedia.org/wiki/Focus_stacking

応用例（ソフトウェア）：

• CombineZM News
  • http://hadleyweb.pwp.blueyonder.co.uk/CZM/News.htm
• ImageJ
• Adobe Photoshop
• など多数あり

ソフトウェアの使い方：

• Image Jを用いた多焦点画像作製
  • http://www.frontier.kyoto-u.ac.jp/rc03/omake/focused.html

余談：
EOSで、FOcus Stacking撮影を補助するためのアイテム（Arudinoを用いて自作）

• Focus stacking assistant for EOS cameras
  • http://www.circuitsathome.com/camera-control/focus-stacking-assistant-for-eos-cameras

多視点画像から３次元情報復元 †

最も基本的手法

• light filed rendering

参考資料：

• 合焦判定に基づく全焦点Light Field Viewer
  • http://www.ipsj.or.jp/01kyotsu/award/fit_young/2004_pdf/J_010.pdf