一、如何建立圖片采集器和外部世界坐標(biāo)之間的關(guān)系
　　這里需要兩步：
　　1.確定內(nèi)參數(shù)。
　　2.確定外參數(shù)。
　　其中內(nèi)參數(shù)用來描述圖片采集器在小孔成像過程中的一些重要參數(shù)值（焦距、主點(diǎn)、畸變...）。
　　外參數(shù)用來描述相機(jī)怎么擺在外部世界坐標(biāo)系里（三個(gè)旋角組成的旋轉(zhuǎn)矩陣，三個(gè)線元素組成的相機(jī)中心在世界坐標(biāo)系的位置）。

　　這個(gè)關(guān)系在攝影測量的共線方程和幾何計(jì)算機(jī)視覺的投影方程里得以表達(dá)，從這里可以衍生的一點(diǎn)是，如果你知道外部世界點(diǎn)坐標(biāo)，又能在影像上高精度定位出相應(yīng)的成像點(diǎn)坐標(biāo)，那么你就可以算出內(nèi)外參數(shù)了，從而完成相機(jī)標(biāo)定。
　　當(dāng)然，標(biāo)定方法還有更多變種，但萬變不離該宗。

　　二、通過相片來算世界點(diǎn)坐標(biāo)
　　可能你已經(jīng)發(fā)現(xiàn)，當(dāng)你的外部世界坐標(biāo)點(diǎn)在成像的光線上（即圖片采集器中心向像點(diǎn)發(fā)出的射線）來回竄動(dòng)的時(shí)候，它對應(yīng)的影像像點(diǎn)坐標(biāo)是不變的！這說明從物方點(diǎn)到像點(diǎn)的映射從線到點(diǎn)的對射，一條光線對應(yīng)一個(gè)像點(diǎn)，所以需要加入第二張影像來交會確定出世界點(diǎn)的坐標(biāo)。
　　這引入了兩個(gè)問題：
　　1.兩個(gè)相機(jī)之間的幾何關(guān)系怎么表達(dá)？
　　這是用相對定向模型（攝影測量）或者基礎(chǔ)矩陣（計(jì)算機(jī)視覺）來表達(dá)的；
　　2.怎么確定某個(gè)像點(diǎn)在另一張影像上的同源點(diǎn)（同名點(diǎn)/匹配點(diǎn)）？
　　這個(gè)通過影像匹配來獲取。當(dāng)幾何關(guān)系被確定之后，通過前方交會就可以算兩張影像上的同名點(diǎn)世界點(diǎn)的坐標(biāo)。

　　三、在上述的基礎(chǔ)上，要完成一片區(qū)域或者一個(gè)目標(biāo)（建筑物、雕塑）的攝影測量，需要多張影像來完成？
　　此時(shí)，可在剛才確定的相對定向的基礎(chǔ)上進(jìn)行連續(xù)的相對定向，即以某兩幅影像相對定向的初始圖片采集器坐標(biāo)系為參考坐標(biāo)系，不斷加入影像進(jìn)行相對定向并放在第一幅影像表達(dá)的初始圖片采集器坐標(biāo)系里面。
　　所以進(jìn)行完連續(xù)相對定向之后的坐標(biāo)系還是初始的圖片采集器坐標(biāo)系，由于相對定向的過程需要同名像點(diǎn)，所以實(shí)際上這個(gè)過程之后既得到了圖片采集器的姿態(tài)（位置、朝向），又得到了一部分用于定向的匹配同名像點(diǎn)在圖片采集器坐標(biāo)系下的三維坐標(biāo)（結(jié)構(gòu)）。
　　由于在這個(gè)過程中圖片采集器位置不斷變化，形成了motion，所以這個(gè)過程在計(jì)算機(jī)視覺里又稱為Structure From Motion（SFM）。把一系列影像都放在某個(gè)圖片采集器坐標(biāo)下之后，此時(shí)通過少量地面控制點(diǎn)就可以把它與物方世界坐標(biāo)之間的轉(zhuǎn)換關(guān)系解算出來，完成絕對定向。這種思路稱之為相對定向-絕對定向法。
　　通過以上的方法解算的過程中誤差會不斷積累和傳播，為了提高精度，在最后會進(jìn)行整體的再一次優(yōu)化，優(yōu)化的目標(biāo)可以是最小化重投影誤差。
　　由于成像模型里的旋轉(zhuǎn)矩陣是高度非線性的，這個(gè)優(yōu)化問題是非線性優(yōu)化問題，需要通過迭代來完成。
　　通過迭代來優(yōu)化的過程自然涉及到迭代過程中的更新步長和更新方向（梯度）的問題，迭代步長和更新方向的確定用到了介于牛頓法（二階梯度）和標(biāo)準(zhǔn)梯度下降（一階梯度）之間的LM算法來完成，我們稱這個(gè)過程叫光束法平差。當(dāng)然這里的優(yōu)化也可以是完成幾張連續(xù)定向后就進(jìn)行一次整體平差，以免太多的連續(xù)定向后的模型所算的定向值誤差太大，以至超出了光束法平差所采用的二階梯度下降優(yōu)化方法可以容忍的初值誤差范圍（這類方法初值需要在真值附近，否則容易出現(xiàn)數(shù)值問題）。

　　四、密集地恢復(fù)深度，密集地測出影像上的點(diǎn)位坐標(biāo)
　　至此，你完成了把多幅影像對應(yīng)的相機(jī)放到外部世界坐標(biāo)系里，并在此過程中得到了一部分用于定向的匹配像點(diǎn)的3D坐標(biāo)（稀疏定向點(diǎn)點(diǎn)云）。下一步就是密集地恢復(fù)深度，密集地測出影像上的點(diǎn)位坐標(biāo)。
　　以前我們叫立體匹配、多視立體匹配，現(xiàn)在匹配算法進(jìn)步了，能逐像素匹配，我們干脆就叫它密集匹配了（Dense Matching）。其過程如下：
　　1.先生成核線影像，讓視差集中到水平方向，也就是說一對核線影像上坐標(biāo)(x1,y1)來說，它在對應(yīng)的影像上的同名點(diǎn)坐標(biāo)(x2,y2)總滿足y1=y2. 所以你只需要去估計(jì)影像1上每個(gè)點(diǎn)的視差值x1-x2.注意，視差值決定深度（世界3D 點(diǎn)到成像平面的距離）。
　　2.每算一個(gè)可能的同名位置（一種可能的視差配置），都有一個(gè)匹配代價(jià)（交叉相關(guān)、互信息....），這樣就形成了一個(gè)視差代價(jià)函數(shù)空間，它對應(yīng)著影像1上每個(gè)像素取每個(gè)潛在可能視差值的匹配代價(jià)。
　　3.估計(jì)每個(gè)像素點(diǎn)的視差。這個(gè)估計(jì)的過程就是在取每一個(gè)視差值的時(shí)候，你就有一個(gè)匹配代價(jià)，這項(xiàng)稱為數(shù)據(jù)項(xiàng)。同時(shí)，你還得考慮鄰域的信息，也就是說當(dāng)某個(gè)像素的灰度值與鄰近像素相近時(shí)，我們也認(rèn)為它們的深度傾向于更相近，如果他們的深度不相近，我們就懲罰它們。
　　同理，當(dāng)鄰近像素的灰度值變化很大的，我們也認(rèn)為它們的深度值傾向于有更大的變化，那么就會對鄰域像素灰度值變化很大而視差值差別不大的情況進(jìn)行懲罰。完成這個(gè)懲罰設(shè)計(jì)出來的代價(jià)函數(shù)就是平滑項(xiàng)。平滑項(xiàng)和數(shù)據(jù)項(xiàng)一起構(gòu)成了匹配優(yōu)化的目標(biāo)函數(shù)，也稱作能量函數(shù)，最優(yōu)化求解這個(gè)函數(shù)使得代價(jià)（cost）最小的解就是求解的每個(gè)像素的視差值。
　　由于通過平滑項(xiàng)我們可以不斷的聯(lián)系鄰域像素，最后實(shí)際上我們聯(lián)系起了整幅影像，所以這也叫整體匹配方法，它解決了傳統(tǒng)攝影測量立體匹配到了邊界就干不了的問題。當(dāng)然，有一部分點(diǎn)可能不能同時(shí)被兩張影像看到（遮擋），這部分像素深度無法得到。
　　4.多個(gè)密集匹配的立體像對的結(jié)果進(jìn)行融合，得到整體的視差值和三維點(diǎn)云。

　　五、做完以上步驟，你可以開心的獲?。?/strong>
　　數(shù)字地表模型DSM
　　數(shù)字正射影像DOM
　　數(shù)字高程模型DEM
　　數(shù)字線劃圖DLG
　　真正射影像TDOM