一種改進的基于SFS原理SMT焊點表面三維重構技術

  摘要: 三維表面重構是計算機視覺的主要任務之一，目前已經發(fā)展了各種各樣的重構技術，其中利用單幅圖像中物體表面明暗變化來恢復其表面形狀的技術尤其引人注目，其主要特點是適用于各種其它方法難以應用的場合。
      smt 形成的電路模塊產品中焊點的組裝質量與可靠性是smt 產品的生命，焊點的三維形態(tài)重構是smt焊點形態(tài)研究與檢測中的重要領域。對焊點的三維形態(tài)重構研究，有利于指導改善smt焊點質量及其焊接工藝，提高smt 焊點質量自動檢測能力，同時推動智能鑒別技術的發(fā)展。本文對smt焊點表面三維重構技術進行研究，傳統(tǒng)的基于SFS原理的方法對一些不可接受焊點圖像重構出的圖像不夠理想。本文對傳統(tǒng)的方法進行了改進，編寫并實現(xiàn)改進后的算法。通過使用相關的圖像處理技術，先對smt焊點圖像進行處理，然后使用改進后的重構算法重構出smt焊點表面的三維圖像，重構出的圖像與采用傳統(tǒng)方法重構出的圖像進行比較，改進的結果比較令人滿意。研究過程表明，該方法簡便可行。
關鍵字：smt焊點；三維重構；圖像處理；SFS  


0 引言
      由表面組裝技術（smt） 形成的電路模塊產品(以下簡稱smt 產品) ,其表面組裝焊點(以下簡稱smt 焊點) 具有既要保障電氣性能暢通、又要保障機械連接可靠的特征,它的組裝質量與可靠性是smt 產品的生命。對smt焊點進行應力應變、使用壽命、以及采用相關技術對2D圖像3D重構分析研究，有利于指導改善smt焊點質量及其焊接工藝，提高smt 焊點質量自動檢測能力，同時推動智能鑒別技術的發(fā)展[1]。
根據(jù)單幅灰度圖像恢復物體的三維表面形狀是計算機視覺中的一個基本問題，相當于完成一個從二維空間到三維空間的映射，因此是病態(tài)的。解決這類問題的一個重要方法是明暗恢復形狀（Shaping from Shade 簡稱sfs）[2]，即根據(jù)一個確定的反射模型建立物體表面形狀與圖像亮度之間的約束關系，并根據(jù)對物體表面形狀的先驗知識建立物體表面形狀參數(shù)的約束關系，然后對這些約束關系聯(lián)立求解可得到物體表面的三維形狀[5]。近年來,內外的很多學者利用該方法實現(xiàn)了根據(jù)單幅圖像的三維重構,并將其應用到工業(yè)檢測與測量、逆向工程及自然景物模擬等領域[3][4]。

1 smt焊點表面三維重構過程
 
    對smt焊點圖像3D重構過程如圖1所示。通過CCD采集元器件焊點2D圖像開始。對元器件焊點進行圖像采集以后,得到彩色的BMP圖像。在本文的研究中，假設的焊點表面是光滑的（這點在現(xiàn)實中可以得到滿足）。
   圖像預處理的目的主要是把圖像轉換成灰度圖像,并通過相應的技術改善圖像質量,使圖像便于識別、易于處理，盡可能恢復焊點表面的光滑, 再通過焊點圖像三維重構算法，得到smt焊點三維圖像。
 
2 smt焊點圖像處理技術
    smt焊點圖像采集過程中,由于元器件和焊點上下不平整或者有很多的污點、光源上面有瑕疵等一系列原因,都會使采集到的圖像產生噪點。為了提高焊點三維重構的效果,采集的圖像并不直接使用,要采用相應的算法對原圖像消除噪聲,得到比較量想的smt焊點圖像。然后，再利用相應的濾波算法改進焊點圖像表面的光滑度[6]。
2.1 圖像處理技術
  （1）焊點灰度化 
     由于彩色圖像不能達到特定三維重構算法的要求,所以必須先將彩色圖像轉化為灰度圖像。對于彩色圖像的灰度化，可采用不同顏色表示方法之間的轉化來實現(xiàn)。由于通常對圖像顏色變換后的結果只關心它的灰度分量，而并不關心它的彩色分量部分。根據(jù)R、G、B的值求出灰度值后，就能給出灰度圖像的表示，即彩色圖像轉換為灰度圖像。
（2）低通濾波
     灰度化以后的圖像并不能消除smt焊點圖像上的噪點。一般來說，圖像的能量主要集中在其低頻部分，噪聲所在的頻段主要在高頻段，同時所要提取的圖像信息也主要
集中在其低頻部分，使用低通濾波算法去掉
高頻干擾又同時保持低頻信息。
（3）中值濾波
    中值濾波是一種非線性信號處理技術，其在消除噪聲的同時還能保持圖像中的細節(jié)部分，防止邊緣模糊，經典的中值濾波法是對窗口內所有像素點的灰度值進行排序，然后再取中間值作為窗口中心像素的灰度值。經過一次低通濾波去噪，圖像已經平滑,但是由于圖像可能存在比較大的噪點,這些噪點經過單次或者數(shù)次疊加低通濾波也無法去掉的,這時只能通過中值濾波完成。
2.2 圖像處理結果
    本文研究選取的測試對象2片0805片式電阻為例,通過CCD圖像采集設備，采集到的相應的smt焊點及電阻圖像的如圖2所示： 

 
通過利用上述的算法，對圖2中的圖像進行圖像處理, 分割出相應的焊點圖片,其結果如圖3所示：
 
3 SFS算法原理
     在本文的研究過程中，先對內外的一些SFS方法進行了充分的調研和分析，如小值化，梯度法[7] [8]等。下面簡單介紹一下SFS的基本原理。
在理想的成像下，圖像的灰度滿足反射圖函數(shù)[9]
 
其中,( p,q)為表面方向，n0 =(p0,q0 ,-1)為光源入射方向，E(x,y)表示圖像灰度，SFS方法就是從圖像灰度計算出物體的表面方向（p,q）。
    光的漫反射模型[6]中，假設光源的入射強度為I，物體表面反射率為常量ρ，在三維坐標軸中，光源矢量與物體表面法向量的夾角為傾角 ，光源矢量與X軸方向向量的夾角為偏角β（曲面高度方向為Z軸方向），測沿法方向的反射強度 E=Iρcosα。圖像中任意 點的反射強度為　Ei=Iρcosα；當α=0時，Emax =Iρ，此點的亮度必然大。則圖像中亮點的表面法向矢量與光源矢量方向相同，則圖像中亮點的表面法向量也隨即確定。以光源方向為Z軸建立坐標系統(tǒng)， 點與光源方向的夾角αi的值為：
 
由公式2.2，經過相應的數(shù)學計算，可得到偏角 的計算公式：
 
其中，Ex，Ey分別為表面法向矢量沿x, y 方向上的導數(shù)，αs，βs分別為光源方向的傾角和偏角。
    求得圖像中某一點的傾角αs和偏角βs以后，根據(jù)數(shù)學計算，得到該點的表面法向量。通過相應的轉換和求解，即可計算出每個點的表面法向矢量。根據(jù)表面法向矢量可以繪出焊點表面三維形貌,參考文獻[10]就是通過此原理重構出的焊點表面三維圖像。
從上述SFS原理分析可以看出，通過SFS原理重構出的圖像中，點亮，灰度值大，則此點高度高。但對于一些不可接受焊點，如焊料過少或是焊點焊接錯誤等圖像，由于焊盤暴露出來，這些點反射的亮度相比被覆有焊料的點要高，重構后的點高度相對要高，而焊點表面的高度卻比較低,重構出的圖像效果并不令人滿意。
3 改進的SFS算法及實現(xiàn)
    在本文的研究過程中，汲取已有SFS算法的原理優(yōu)勢，結合smt的技術特點，針對上述不可接受焊點三維重構的結果不理想的缺陷，設計了一種改進的根據(jù)單幅smt焊點圖像進行焊點表面三維重構的算法。
通過公式2.1計算出某一點表面法向矢量沿x, y 方向上的導數(shù)Ex，Ey，由公式2.2和2.3得到圖像中某一點的傾角αs和偏角βs，我們得到的在光源坐標下求得的表面法向量矢量，需要讓其轉換到焊點的坐標系。轉換后計算出每個點的表面法向矢量。為了得到表面法向矢量高度坐標值，先通過計算所有點的表面法向矢量的灰度值，得到灰度大值和小值。判斷灰度大值的位置，此點坐標不在圖像中心或分布在圖像邊緣,則些圖片為焊盤暴露點，則對此點及周邊的點做特殊處理，灰度值越大，數(shù)值轉換得到圖像中各點對應的相對高度值越小，對于其它的點灰度大，則此點高度高。數(shù)值轉換后得到圖像中各點對應的相對高度值，循環(huán)算出各點的相對高度值之后，即完成了焊點圖像的三維重構。
改進目的有二點：
(1)區(qū)分出焊盤暴露點的和焊點表面上的點；
(2)對焊盤暴露點及周邊點的高度重構時進行相應處理，按一定比例縮短化處理。
改進算法具體流程如下步驟：
(1)讀取焊點圖像，取得圖像的長、寬為:L,W，用于判斷大灰度值點的相對位置；
(2)獲取圖像的大的灰度值，并求出大的灰度值對應的x,y坐標，通過與W，H的對比，標記是否為焊盤暴露點，同時求出周邊8個相鄰點的坐標；
(3)計算光源傾角α和偏角β,計算出旋轉矩陣R，維數(shù)為size*size;初始化col=0,row=0；
(4)當col<size時轉到(5)否則轉到(12)；
(5)當row<size時轉到(6)否則轉到(11)；
(6)計算在x,y方向上的局部微分；
(7)計算光源三維坐標；
(8)轉換成物體三維坐標；
(9)計算當前點的高度，對于標記為焊盤暴露點及周圍的8個點點進行高度轉化處理；
(10)row=row+1；轉到(5) ；
(11)col=col+1；轉到(4)；
(12)輸出輸出3D圖像；
(13)算法結束。
4 改進的smt焊點三維重構方法實現(xiàn)與比較
我們以上述經過圖像處理后得到的焊點圖3（b）為例，分別利用傳統(tǒng)方法SFS方法和本文描述的改進的SFS方法重構出焊點圖3（b）的三維圖像，分別得到結果下圖所示。
由圖4與圖5比較可得，重構結果圖5優(yōu)于圖4，利用改進后的算法重構出的圖像結果比較令人滿意。
利用改進后的算法，對可接受焊點進行三維重構，檢驗對其它類型的焊點重構的效果，對圖3（a）進行重構，結果如下圖所示：

 
可見，對于可接受焊點，利用改進后的算法重構出的圖像不受影響,算法改進基本合理。
5 總結
smt焊點3D重構對焊點的檢測具有重要的幫助作用，同時根據(jù)重構后的smt焊點3D圖像，我們可通過數(shù)學形態(tài)學的方法得到焊點的面積、周長和焊點邊緣等一些信息，對smt焊點做更多的研究。同時將重構后的圖像引入3D測量技術，提取smt焊點質量信息，對改善smt焊點質量及其焊接工藝有一定的指導意義和參考價值。本文對基于SFS原理結合圖像處理技術的對smt焊點2D圖像重構3D圖像的方法進行改進，是對SFS原理重構3D圖像的一個新的應用拓展。通過與傳統(tǒng)方法重構smt焊點表面的三維圖像比較，重構效果要優(yōu)于傳統(tǒng)方法的結果，并解決了傳統(tǒng)方法對smt焊點 
中由于焊盤暴露出來而引起的重構出的三維圖像不理想的問題，后利用改進后的方法對其它可接受焊點表面圖像進行三維重構結果也比較令人滿意。