摘
要：光照一致性是增強現(xiàn)實研究的一個重要組成部分，本文利用攝像機捕獲的放置在真實場景中的標定物和鏡面小球的視頻圖像，設計了一個增強現(xiàn)實光照系統(tǒng)模型。放置在真實場景中的標定物用來計算光源位置以及放置虛擬物體，鏡面小球用于記錄真實場景中的光照信息。此模型的實現(xiàn)過程表明，該文的方法實現(xiàn)相對簡單，不需要對場景及模型進行預處理，能夠達到虛實對象在動態(tài)增強現(xiàn)實場景中光照的一致性，并可進行實時交互。

　　關鍵詞：增強現(xiàn)實; 光照一致性; 實時交互

　　1 引 言

　　增強現(xiàn)實(Augmented Reality，簡稱AR)，又稱增強型虛擬現(xiàn)實(Augmented Virtual
Reality)，是虛擬現(xiàn)實技術的進一步拓展，它借助必要的設備使計算機生成的虛擬環(huán)境與客觀存在的真實環(huán)境(Real
Environment，簡稱RE)共存于同一個增強現(xiàn)實系統(tǒng)中，從感官和體驗效果上給用戶呈現(xiàn)出虛擬對象(Virtual
Object)與真實環(huán)境融為一體的增強現(xiàn)實環(huán)境。增強現(xiàn)實技術具有虛實結合、實時交互、三維注冊的新特點[1][2][3]
。在工業(yè)、教育、軍事、體育和娛樂等領域具有廣泛的應用前景。

　　為使計算機生成的虛擬對象具有真實感，讓用戶從感官上確信虛擬對象是周圍環(huán)境的組成部分，需解決幾何一致性、光照一致性和實時性的問題。光照一致性是指虛擬對象與真實場景的圖像應達到一致的光照效果，這就需要恢復出真實場景的光照模型，然后計算真實場景光照對虛擬對象的影響，如明暗、陰影、反射效果等。

　　為解決光照一致性問題Fournier[10]等人首先提出了利用基于圖像的光照技術將真實場景和虛擬對象融合在一起，進行統(tǒng)一的光照計算的框架，但產(chǎn)生的光照效果有偏差，且不支持實時交互。Debevec[8][9]利用環(huán)境映照技術，通過高動態(tài)范圍的恢復算法,
得到相應的輻射度圖。高動態(tài)范圍圖像對于基于圖像的光照問題來說具有非常重要的意義，但他的方法不適用于動態(tài)場景，而且由于沒有恢復出光源的位置因此不能產(chǎn)生虛實陰影效果。SATO[11]利用物體的影子來估計真實場景光源的分布，但是由于沒有恢復真實物體的材質，所以不能計算陰影以外的其它光照效果，而且虛擬物體的位置也受到限制。隨著圖形硬件的不斷發(fā)展，實時圖形技術離我們越來越近，本文將基于圖像的光照技術與增強現(xiàn)實注冊技術相結合，從而實現(xiàn)了點光源位置及真實場景光照信息的實時獲取與繪制。

　　2 光照模型的建立

　　光照模型是計算機圖形學中生成真實感圖形的基礎，它定義了光源的特性、光強在照射表面的幾何分布和表面對光照的反射特性。在三維圖形的繪制中，需要根據(jù)光照模型計算每一個像素上可見景物表面投向觀察者的光亮度[4]。

　　基于圖像的光照技術是近年來的一個研究熱點，它是利用真實場景的光照圖像來照明真實的或計算機生成的虛擬場景及物體的一種方法?；趫D像的光照模型是半整體的光照模型，它反映了真實場景中光照及物體對虛擬物體的影響，一般需要先獲取真實場景的光測圖(Light
Probe)來記錄場景的光輻射分布信息;然后將光照映射成一個場景環(huán)境的表示，并從環(huán)境中模擬光照，獲得真實的光照及環(huán)境映射圖像，照明計算機生成的虛擬三維物體。其中光測圖的生成方法是拍一幅光澤球面的照片，因為它捕捉到了球體位置處的光照環(huán)境，基于圖像的光照技術讓用戶在改變視點的前提下還可以改變場景本身，突破了靜態(tài)場景的限制，對于增強現(xiàn)實系統(tǒng)的光照一致性研究具有重要的意義，但它的缺點是不能恢復真實場景的光源位置信息。

　　光源位置信息是產(chǎn)生陰影的前提，將陰影加入增強現(xiàn)實場景中不僅可以增強虛擬物體的真實感，還可以為用戶提供場景中虛實物體的位置關系。真實場景中的光源可以分為單個點光源、多個光源和自然光源(即某一方向的平行光)。單個點光源為簡單，多個光源和自然光源相對來說較為復雜。本文只研究單個點光源情況下的光源位置信息恢復。

　　3 實現(xiàn)過程

　　3.1 環(huán)境光處理

　　首先，不考慮虛擬物體對真實場景的影響，利用基于圖像的光照技術采集真實場景中的光照信息，照明虛擬物體。在基于圖像的光照技術中環(huán)境貼圖(Environment
Mapping，EM)由于不需要對真實場景進行幾何重建，并且突破了靜態(tài)場景的限制，能讓用戶在改變視點的前提下還可以改變場景本身，在增強現(xiàn)實系統(tǒng)光照一致性和實時性的研究上有廣闊的應用前景。環(huán)境貼圖也稱為反射貼圖(Reflection
Mapping)，由Blinn和Newell[6]
[7]提出，他們采用球面及其經(jīng)、緯度來存儲物體周圍的環(huán)境信息(即環(huán)境映照)，環(huán)境映照中存儲了一點處從各個方向入射的光輻射。球面環(huán)境貼圖是環(huán)境貼圖的一種，也是商業(yè)化圖形硬件早支持的一種環(huán)境貼圖[4]。這里我們通過ARToolkit[5]軟件和一個放在真實場景中的鏡面小球采集真實場景的光照信息。ARToolkit軟件提供了視頻捕獲和模型視圖矩陣的計算，通過已計算出的模型視圖矩陣以及鏡面小球的大小，可以從視頻圖像中分離出鏡面小球所在的區(qū)域圖像，這一區(qū)域圖像包含了真實場景環(huán)境中的光照信息。

　　一旦鏡面小球可以從視頻圖像中分離出來，就可以將它作為球面環(huán)境貼圖的紋理存入紋理內存。由于OpenGL中紋理圖像尺寸必須是

個像素為了保證紋理圖像的完整性，我們對得到的鏡面小球區(qū)域圖像進行了縮放，使之等于固定值，這里我們定義紋理圖像的大小為32*32。

　　接著為模擬物體表面的不同粗糙程度，根據(jù)虛擬物體表面的BRDF值對環(huán)境圖預先進行濾波，并以查找表的方式進行存儲。這里我們采用了Ashikhmin
和Ghosh
[12]的方法，利用OpenGL中的mipmap技術，在生成環(huán)境圖紋理之前，自動快速地生成一系列已經(jīng)過濾的不同大小的紋理圖。通過在這一系列已經(jīng)過濾的從鏡面到漫反射效果紋理圖中選擇適當?shù)募y理圖進行混合，來近似的模擬物體表面的粗糙程度，物體的光亮度由混合的級別來決定。

　　當?shù)玫郊y理圖后，就可以計算適當?shù)募y理坐標得到環(huán)境映照，并照明虛擬對象了。結果如圖2所示。

　　3.2 點光源位置的確定

　　通過以上步驟我們得到了真實場景中的環(huán)境光，但并不能得到點光源位置信息，為確定點光源位置本文用一個與其位置一致的標定物來確定。

　　根據(jù)計算機視覺原理，攝像機攝取三維真實空間得到其二維圖像。圖像上每一點的亮度和色彩反映了真實空間中物體表面某一點對光的反射屬性，并且該點在圖像上的位置與其在真實空間中物體表面對應點的位置之間存在一定的幾何變換關系。即對空間中任何一點P，根據(jù)它在三維真實空間中的齊次坐標(Xw,Yw,Zw,1)T就可求出它在圖像上的成像位置，
根據(jù)這一原理，基于給定的標定物是能夠識別確定攝像機相對于標定物的方位，并結合已標定的攝像機內參數(shù)，可以確定點光源在圖像上的位置，但在這里我們還需要知道光源對于虛擬對象的相對位置，即需要知道在虛擬對象坐標系下光源的位置，這時需要計算兩個標定物之間的相對位置關系。

　　具體實現(xiàn)是，假設obj [0].trans是虛擬對象在相機坐標系中的轉換矩陣，obj
[1].trans是光源在相機坐標系中的轉換矩陣，那么光源在虛擬對象坐標系中的相對位置計算如公式(1)：

　　wmat即為光源在虛擬對象坐標系中的相對位置。

　　3.3 陰影處理

　　通過以上步驟我們得到了點光源位置信息，但并沒有將陰影效果加入到增強現(xiàn)實場景中。

　　增強現(xiàn)實系統(tǒng)中的陰影除了真實場景中的真實物體間的陰影，以及虛擬物體之間的陰影以外，還包括了真實物體對虛擬物體產(chǎn)生的陰影以及虛擬物體對真實物體產(chǎn)生的陰影。真實場景中真實物體對真實物體產(chǎn)生的陰影，不需要進行處理，虛擬物體之間產(chǎn)生的陰影可以直接使用虛擬現(xiàn)實中的技術，真實物體以虛擬物體以及虛擬物體對真實物體產(chǎn)生的陰影需要進行特別的處理。在這里我們除了考慮真實物體之間和虛擬物體之間的陰影之外，主要考慮了虛擬物體對真實物體產(chǎn)生的陰影。本文為滿足增強現(xiàn)實系統(tǒng)需要，對模板陰影生成技術進行了改進，算法流程如圖3所示。

　　4 實驗結果與分析

　　我們用VC++和OpenGL實現(xiàn)了系統(tǒng)的原型。系統(tǒng)運行過程如下：系統(tǒng)啟動后首先初始化讀取攝像機內參數(shù)，并根據(jù)標定物確定光源位置和鏡面小球區(qū)域。初始化結束后，將光源與鏡面小球放到指定的位置。執(zhí)行真實場景光照信息的獲取與虛擬物體及陰影的繪制。

　　運行結果表明，利用基于視頻圖像采集得到的光照信息可以成功的實現(xiàn)虛實環(huán)境的無縫結合，基本達到了增強現(xiàn)實場景中虛實物體的光照一致性，且不需要對場景和光照做預處理，可以在程序運行過程中改變場景或場景中的光照，刷新速度達到每秒24幀左右，基本達到了用戶與增強現(xiàn)實場景的實時交互。

　　5 結束語

　　增強現(xiàn)實技術要求能讓用戶從感官上確信虛擬對象是周圍環(huán)境的組成部分，因此需解決幾何一致性、光照一致性和實時性的問題。本文將基于圖像的光照技術、模板陰影生成技術以及三維注冊技術相結合，設計了一個增強現(xiàn)實系統(tǒng)模型，實驗表明該模型可以很好的將虛擬物體與周圍的光照環(huán)境相融合。

　　但是，由于球面環(huán)境貼圖本身會給結果圖像帶來一定的誤差，所繪制圖像的精度依賴于虛擬物體的大小和它與中介表面的相對位置，當虛擬物體較大或偏移中介表面的中心時，誤差會較大，且只對一個觀察方向有效，即使改變觀察方向，也依然會使用相同的紋理貼圖。同時由于沒有對真實場景進行完全建模，因此虛擬物體對真實物體產(chǎn)生的陰影受到投影平面的限制，這些都是下面要進一步要完善的工作。

　　參 考 文 獻

　　[1] 陳小武，趙沁平. 分布式虛擬環(huán)境的變化[R].
中國計算機科學技術發(fā)展報告([2]中國計算機學會2004年會)，2005年。中國計算機學會約稿。

　　[2] 王涌天，劉越，胡曉明. 戶外增強現(xiàn)實系統(tǒng)關鍵技術及其應用的研究[J]. 系統(tǒng)仿真學報 Vol.15，No.3, 3月2003年。

　　[3] Azuma, R.; Baillot, Y.; Behringer, R.; Feiner, S.;Julier, S.;
MacIntyre, B.; Recent Advances in Augmented Reality[J] . Computer Graphics and
Applications, IEEE Volume: 21, Issue: 6, Nov.-Dec. 2001 Pages: 34~47.

　　[4] 彭群生，鮑虎軍，金小剛編著：計算機真實感圖形的算法基礎[M]. 北京：科學出版社，1999

　　[5] http://www.hitl.washington.edu/artoolkit/

　　[6] Blinn J F, and M.E. Newell. Texture and reflection in computer
generated images [J]. Comm ACM, 1976, 19(10) Pages: 542~547.

　　[7] Blinn, James F. Models of light reflection for computer synthesized
pictures [J]. ACM Computer Graphic (SIGGRAPH’77 Proceedings), July 1977. Pages:
192~198

　　[8] Paul Debevec. Image-based lighting [J]. IEEE Computer Graphics and
Applications, 2002, 22(2) Pages:26~34.

　　[9] Paul Debevec. HDRI and image-based lighting[C]. San Diego: Proc
SIGGRAPH 2003, Course 19, 2003.

　　[10] Alain Fournier. Illumination Problems in Computer Augmented Reality
[A]. In Journee INRIA, Analyse/ Synthese. D’Images(JASI’94), 1994. Pages:
1~21

　　[11] Sato I , Sato Y, Ikeuchi K. Illumination from shadows. IEEE
Transactions on Pattern Analysis and Machine Intelligence [J]. 2003, vol. 25,
No. 3, Pages: 306~312

　　[12] Michael Ashikhmin , Abhijeet Ghosh. Simple blurry reflections with
environment maps [J]. Journal of Graphics Tools, 2002, vol. 7 n.4, Pages:
3~8

　　[13] 馬頌德，張正友：計算機視覺―計算理論與算法基礎[M].北京：科學出版社，1998. 52~67