時間:2024-01-17 14:37:45
開篇:寫作不僅是一種記錄,更是一種創造,它讓我們能夠捕捉那些稍縱即逝的靈感,將它們永久地定格在紙上。下面是小編精心整理的12篇網絡的概率,希望這些內容能成為您創作過程中的良師益友,陪伴您不斷探索和進步。
關鍵詞: 概率神經網絡(PNN); 顏色識別; 生化分析
中圖分類號: TP 391.4文獻標識碼: Adoi: 10.3969/j.issn.10055630.2012.05.005
引言顏色識別在遙感技術、工業過程控制、材料分揀識別、圖像處理、產品質檢、機器人視覺系統等領域已得到廣泛應用。利用已有的彩色圖像處理設備,如彩色掃描儀、彩色數碼相機、攝像頭等,可以進行尿液的醫學生化分析[1]。但是,由于系統信號傳輸的非線性、硬件設備本身的局限性及其它各種外在因素的影響,不同設備間顏色信息的傳遞也不是線性的,而是非常復雜的。即使是同一彩色圖像,經不同的彩色圖像處理設備掃描或拍攝后再輸入到計算機中所得到的RGB數據文件在比例關系上和數量大小方面也會呈現明顯的失調和不一致[2]。概率神經網絡(PNN)是一種基于概率密度函數理論且泛化能力很強的神經網絡,并且能夠廣泛地應用于模式識別等領域。可以利用線性學習算法完成以往非線性算法的工作,又可以保持非線性算法的高精度特性[34]。現基于PNN,提出一種與尿液反應后尿試紙的顏色識別方法。針對顏空間轉換的非線性復雜關系,在獲取標準閾值顏度值后,進行歸一化處理,建立PNN,用于尿樣顏色的識別,并與顏差評價方法進行比對。1概率神經網絡(PNN)
1.1PNN特點PNN是統計方法與前饋神經網絡相結合的一種神經網絡模型。與多層前饋神經網絡(back propagation,BP)相比較,PNN的主要優勢為:(1)網絡收斂速度快。網絡結構僅有兩層,并且運算時不需要返回網絡再對權值進行修改;(2)無論多么復雜的分類問題,只要有足夠的訓練數據,PNN可以保證獲得貝葉斯準則下的最優解;(3)允許減少或增加訓練數據而無需進行長時間的訓練。
光學儀器第34卷
第5期王春紅,等:基于概率神經網絡的尿樣顏色識別
圖1概率神經網絡結構
Fig.1Schematic diagram of PNN structure1.2PNN結構PNN是一種能夠用于模式分類的徑向基神經網絡,實質是基于貝葉斯最小風險準則的一種并行算法[5]。PNN網絡結構如圖1所示,共三層:輸入層、隱含層和輸出層。第一層為輸入層,網絡第二層為隱含層,用徑向基函數作為激勵函數,一般為高斯函數(即exp(-n2),n為徑向基函數神經元輸入值);第三層為輸出層,即競爭層。圖1中Q為輸入向量的個數,R為輸入向量的維數,LW1,1為輸入權值向量,LW2,1為隱層權值向量,K為輸出神經元個數,C為擴展常數。C值越大,隱含層神經元對輸入向量的響應也越大。PNN分類方法:徑向基層計算輸入向量同樣本輸入向量間的距離dist,輸出一個距離向量。競爭層接受距離向量,計算各個模式出現的概率,通過競爭傳遞函數compet尋找輸入向量中的最大元素,把響應的神經元輸出設置為1,其余輸出設置為0。2樣本體系結構
2.1標準閾值尿液生化分析中每一具體項目分為正常(-)、臨界正常(-+)和非正常情況(+,++,+++)。將尿試紙與標準閾值實驗液作用,在規定的時間內,檢測尿試紙可見光譜反射率或用色度儀器測試顏色三刺激值XYZ。CIE1931顏色三刺激值XYZ計算公式為X=k∑λS(λ)R(λ)x―(λ)Δλ
Y=k∑λS(λ)R(λ)y―(λ)Δλ
Z=k∑λS(λ)R(λ)z―(λ)Δλ(1)式(1)中,S(λ)為照明光源相對光譜功率分布、R(λ)為物體可見光譜反射率、x―(λ)、y―(λ)和z―(λ)為CIE標準觀察者的光譜三刺激值函數,Δλ為采樣間隔,一般Δλ=10 nm。在Lambda 9紫外可見近紅外分光光度計上測試獲得光譜反射率數據,即可由式(1)得到光源下的顏色三刺激值XYZ。實驗中比對實驗所用光源和測試標準閾值顏色所用光源相同。為能更好地反映兩個顏色間色差大小與人眼感知程度的一致性,通常將物體顏色三刺激值XYZ轉換成CIE Lab勻色空間色度值[6],依據下式進行計算。L*=116×fYYn-16
a*=500×fXXn-fYYn
b*=200×fYYn-fZZn(2)式(2)中,L*為米制明度;a*、b*為米制色度。Xn,Yn,Zn為標準照明體的三刺激值。fXXn、fYYn、fZZn的計算公式為f(I)=I13I>0.008 856
f(I)=7.787×I+16116I≤0.008 856(3)實驗在A標準光源、D65標準光源下分別進行,尿膽素原(URO)標準閾值色度數據如表1所示。表2為標準光源A和標準光源D65下的相鄰標準閾值間的色差。由表1和表2中的色度數據可以看出,標準閾值間的色差遠遠超出了人眼分辨顏色差別的閾值。標準光源A和標準光源D65下的色差值較接近。D65標準光源下,對于尿膽素原測試,RGB空間色度值如表3所示。
2.2指標數據的量化、規范化處理為減少網絡的訓練難度,需要對輸入數據進行歸一化處理[7]。利用計算公式將輸入數據量化為閉區間[0.05,0.95]上的無量綱指標屬性值。當輸出越大分析結果越高時,效應系數計算公式為:Fj=0.9×(Xj-Xjmin)/(Xjmax-Xjmin)+0.05(4)當輸出越小分析結果越高時,效應系數計算公式為:Fj=1-[0.9×(Xj-Xjmin)/(Xjmax-Xjmin)+0.05](5)其中,Fj為目標值Xj的效應系數,Xjmin為第j個指標的最小值,Xjmax為第j個指標的最大值,j是評價指標數。將D65標準光源下標準閾值的RGB值經過上述處理后,便得到樣本數據。3用PNN進行尿液生化分析
3.1PNN的建立每項檢測項目中均有5個閾值,即共有5個訓練樣本,與待測尿液反應后的尿試紙顏色的RGB值為測試樣本。(1)輸入層神經元數的確定。輸入層神經元數的多少與評價指標數相對應。采用顏色RGB值對尿液生化分析結果進行模擬評價,因此,網絡輸入層神經元個數為3。(2)隱含層神經元數與訓練樣本數相同。共計5個,傳遞函數為高斯函數(radbas),加權函數設為歐氏距離加權函數(dist)。編程中設計輸人函數為netprod,輸出函數為compet,加權函數為dotprod。(3)輸出層神經元數的確定。網絡輸出結果共分5個等級,即-、-+、+、++、+++,因此輸出神經元個數取為5。
3.2PNN的訓練和預測用MATLAB神經網絡工具箱中newprm()函數設計PNN網絡,代碼:net=newpnn(P,t,spread),其中P為歸一化樣本向量,t為輸出目標向量,即評價等級,分別用1、2、3、4、5代表-、-+、+、++、+++五個等級,net為產生的PNN,spread為徑向基函數分布密度,設為0.1[8]。利用vec2ind函數可將分類結果轉換為容易識別的類別向量,亦可用ind2vec函數將類別向量轉化為PNN可以使用的目標向量。將驗證樣本數據輸入已訓練完成的PNN進行預測,測試函數Y=sim(net,X),Y為預測結果,X為歸一化驗證樣本矢量。網絡輸出:Y=1354212歸一化后的尿膽素原驗證樣本數據和網絡的預測結果如表4所示。
表4尿樣顏色分類結果
Tab.4The classification results of urine color
驗證樣本1234567R0.049 00.601 70.152 60.567 20.843 60.152 60.567 2G0.092 20.505 20.939 30.748 70.229 80.187 50.304 0B0.083 60.627 10.847 80.813 90.321 40.134 50.389 3期望輸出-++++++-+--+預測結果-++++++-+--+
4結論(1)與尿液生化分析顏差方法[1]進行了比對,預測值Y與計算顏差方法結果完全一致,說明網絡有較好的預測精度,概率神經網絡用于尿液生化分析中的尿樣顏色識別是完全有效的。(2)該方法無須進行色空間轉換,只利用設備原有RGB顏色空間RGB值即可實現,用MATLAB語言編程,結果直觀,具有良好的圖像界面支持,易于操作,具有一定的使用價值。(3)由于照明光源直接影響物體的顏色,因此尿樣檢測的照明光源要和提供檢測項目標準閾值的照明光源相同或相近。參考文獻:
[1]王春紅,周越,趙紅霞.基于色差評定理論的尿液生化分析方法研究[J].生物醫學工程學雜志,2008,25(1):77-82.
[2]蔡明杰,賈宏志,畢波,等.基于黑白攝像系統的偽彩色處理[J].光學儀器,2011,33(3):33-36.
[3]YOUNES C,SURANJAN P,RONALD M.Conjugate gradient and approximate newton methods for an optimal probabilistic neural network for food color classification[J].Optical Engineering.1998,37(11):3015-3023.
[4]LIU G.Remote sensing image segmentation with probabilistic neural networks[J].Geospatial Information Science,2005,8(1):28-32.
[5]柳松,王展.基于徑向基概率神經網絡的人臉識別方法[J].計算機工程與科學,2006,28(2):57-60.
[6]荊其誠,焦書蘭,俞柏林.色度學[M].北京:科學出版社,1979.
【關鍵詞】 芳基酰類化合物; 概率神經網絡; 抗癌活性; 模式識別
芳基酰類化合物能抑制核苷酸還原酶活性,從而抑制癌細胞生長。Elford等[1]測定了該類化合物抑制核苷酸還原酶的半抑制量PC及對于患L1210腫瘤小鼠經芳基酰類化合物治療后的平均壽命與未經治療小鼠的平均壽命的百分比T/C,T/C屬體內活性參數,T/C越大,則抗癌活性越強。但前人研究發現芳基酰類化合物藥物的電子結構指數與T/C沒有較好的定量構效關系。由于藥物對于體內抗癌活性的作用涉及藥物到達受體及藥物與受體作用等復雜過程,影響因素較多,研究起來較困難,而模式識別方法不需要精確的數學模型,需要的先驗知識較少[2],這為研究藥物抗癌活性提供了一個有力的工具。本研究將概率神經網絡(probabilistic neural network,PNN)用于芳酰類化合物抗癌活性的模式識別,結果滿意。
1 概率神經網絡原理與結構[3~5]
概率神經網絡PNN是徑向基網絡的一個分支,是前饋網絡的一種。它是一種有監督的網絡分類器,基于概率統計思想,由Bayes分類規則構成,采用parzen窗函數密度估計方法估算條件概率,進行分類模式識別。
PNN的結構如圖1所示。除輸入層外,它由兩層神經元構成。第一層采用徑向基神經元,其個數與輸入樣本矢量的個數相同,第二層為競爭層,其神經元個數等于訓練樣本數據的種類個數,每個神經元分別對應于訓練數據的一個類別。圖中的模塊C表示競爭傳遞函數,其功能是找出輸入矢量n2中各元素的最大值,并且使與最大值對應類別的神經元輸出為1,其它類別的神經元輸出為0,這種網絡得到的分類結果能夠達到最大的正確概率。圖1中P為輸入矢量,R為輸入矢量的維數,Q等于輸入/目標矢量對的個數,即徑向基層神經元個數,K為輸入數據種類的個數,即輸出層神經元的個數。圖中的||dist||模塊表示求取輸入矢量和權值矢量的距離,此模型中采用高斯函數radbas作為徑向基層神經元的傳遞函數。
圖1 概率神經網絡結構圖
2 芳基酰類化合物抗癌活性的概率神經網絡的建立
2.1 數據來源及預處理
根據量子化學計算得到30個芳基酰類化合物的量子化學參數和結構參數,再由相關分析計算結果選擇以下影響化合物抗癌活性的獨立變量:與金屬離子發生絡合的各原子上的靜電荷之和CQS,分子的最高占據分子軌道能EHOMO,最低空分子軌道能ELUMO,π電子的次HOMO軌道能SHEP,疏水參數Л,芳基酰類化合物抑制核苷酸還原酶的半抑制量PC。以活性參數T/C為指標將待研究的化合物分為兩類,即有抗癌活性的為第1類,無抗癌活性的為第2類,原始數據見表1。
2.2 網絡的建立與訓練
網絡由3層神經元組成。輸入層6個節點,對應于芳基酰類化合物的6個參數,隱含層神經元個數等于訓練樣本個數,輸出層2個節點。將表1的原始數據作歸一化處理,調用MATLAB語言工具箱中的函數net=newpnn(P,T,SPREAD)進行概率神經網絡設計[6],計算結果如表1。表1的計算結果表明:概率神經網對訓練樣本有很好的預測結果。 表1 芳酰基化合物的活性參數與結構參數注:* I=1 compound with antitumor activity; I=2 compound with antitumor activity # BHA: benzohydroxamic acid
2.3 概率神經網絡與普通判別分析的比較
嘗試從30個樣本中取出6個(表1中的5、10、15、20、25、30號樣本)作為預測集,其余24個樣本作為訓練集進行概率神經網絡預測,此時的網絡結構為6-24-2,計算結果見表2。為了驗證概率神經網絡的識別能力,將24個訓練樣本分別用概率神經網絡、Fisher判別和模糊k-均值聚類分析進行學習,然后對6個預測樣本進行預測,預測結果見表3。計算結果表明網絡對24個訓練樣本和6個預測樣本的識別正確率為100%。Fisher判別雖能正確識別6個預測樣本,但對24個訓練樣本的識別正確率只為91.7%。模糊k-均值聚類分析對24個訓練樣本和6個預測樣本的識別正確率都只有67%。表2 24個訓練樣本的計算結果 表3 不同方法的預測結果
3 結論
概率神經網絡綜合了徑向基函數神經網絡和競爭神經網絡的精華,對輸入樣本的非均勻性有較強的適應能力。網絡結構簡單,收斂速度快,網絡總收斂于Bayes優化解,穩定性高,訓練不需要太多的樣本,適合于藥物定量構效關系與活性識別研究。
【參考文獻】
1 Elford HL,Wampler GL.Regulation of ribonucleotide reductase in mammalian cell by chemotherapeutic agents.Adv Enzyme Regul,1980,19:151~154.
2 陳念貽,欽佩,陳瑞亮,等.模式識別方法在化學化工中的應用.北京:科學出版社,2000,22~25.
3 吳啟勛,李磊,安燕.鹽湖水化學類型的人工神經網絡判別方法.分析科學學報,2005,21(3):271~273.
4 童義平,林燕文.概率神經網絡和FTIR光譜用于食道癌的輔助分析.化學研究與應用,2006,18(5):498~501.
5 相玉紅,姚小軍,張瑞生,等.用概率神經網絡對多環芳烴的致癌性分類.蘭州大學學報(自然科學版),2002,38(3):55~59.
關鍵詞:概率圖模型;貝葉斯網絡;不確定性
中圖分類號:F253 文獻標識碼:A 文章編號:1005-5312(2013)14-0247-02
概率圖模型具有靈活的推理機制、強大的不確定知識表達能力,目前在眾多領域得到了廣泛的應用,如數據挖掘方面,將概率圖模型用于數據挖掘不但能夠充分利用領域知識和樣本數據的信息處理不完整數據,而且能夠對變量間的因果關系進行學習;故障診斷方面,根據經常發生的故障和系統現有的狀態,利用概率圖模型進行預測,制定故障預防機制;經濟領域方面,利用概率圖模型對石油價格、股票價格進行預測;工業方面,貝葉斯網絡系統已用于工程設計制造及產品質量控制,概率圖模型除了在上述幾個方面取得很好的應用外,還在交通管理、文化教育、醫療診斷等方面得到應用。上述各領域有個共同特性就是處理過程中存在不確定性,而概率圖模型能夠很好地根據上下文的因果關系進行預測,能很好地對在不確定性問題進行推理、決策。
一、概率圖模型概述
概率圖模型是近年來圖論與概率論相結合的產物。概率圖模型提供了直觀、靈活的拓撲結構圖,拓撲結構圖是一種很好的不確定問題的建模工具,從計算算法角度理解圖本身就是一種數據結構,因此概率圖模型中的圖為領域研究提供了算法,為問題的解決提供了思路;在使用概率圖模型進行領域研究的過程中,概率圖模型還提供了條件概率表,概率表中的條件概率為問題的研究提供了推理數據。因此概率圖模型的使用,為各種隨機不確定問題的建模和分析注入了新的活力。
概率圖模型之所以能在不確定性問題處理過程中得到很好的應用,主要是概率圖模型能夠很好地模擬收集不確定問題的初始信息和最終目標信息之間的關系,可以模擬不確定事件各節點之間的相互關系及依賴關系,可以通過概率推理的方法推理目標信息的信度或者說可能狀態的分布等。但在用概率圖模型來解決不確定性問題的過程中也可能會遇到很多因素制約,這些題制約因素增加了概率圖模型解決不確定問題的難度。制約因素包括很多,有外在的也有的是模型自身的。如環境變化、政策變化都會給概率圖模型的使用帶來影響。概率圖模型本身也存在一些問題,如在使用概率圖模型時,如何確定模型參數;如何確定參數概率及如何進行推理等,這些問題的解決有待于在實際應用過程去發現解決,如何處理概率圖模型本身的這些問題也是概率圖模型研究的一個重要方面。
二、貝葉斯網絡模型
貝葉斯網絡模型是貝葉斯網絡模型最主要的模型之一,在不確定問題研究方面取得了很好的應用。圖1就是一個簡單的貝葉斯網絡模型。從該模型可以知道,一個完整的貝葉斯網絡模型由兩部分組成:一個是反映節點依賴關系的拓撲結構圖,拓撲結構圖由節點和邊組成,節點表示了隨機變量的個數,該模型中有4個節點分別為A、B、C、D,若用V表示節點集,則V可記為V={A,B,C,D},隨機變量間的依賴關系在貝葉斯網絡就是通過有向邊來體現,如果用E來表示邊集,則E可以記為E={AB,AC,BD,CD},如果用T表示拓撲結構圖,則T可記為T={V,E};另一部分是為表示各節點依賴關系強弱的概率表,從表中可以知道各隨機變量依賴關系的強弱,如果用G表示概率表,若S表示貝葉斯網絡,則S可記為S={T,G}。
三、供應鏈不確定性問題決策系統的貝葉斯網絡建模
(一)貝葉斯網絡求解供應鏈不確定性決策問題的過程
供應鏈各級企業存在諸多不確定性,這些不確定性影響供應鏈的運作。為了實現供應鏈企業利潤的最大化,盡量減少供需矛盾的出現,供應鏈管理人員必須能及時把握供應鏈企業中的不確定性,對出現的不確定及時做出決策。如今的計算機技術正試圖結合概率論解決供應鏈中這些不確定性問題,而貝葉斯網絡模型是圖論與概率論的完美結合,是一種很好的處理供應鏈不確定性問題決策的工具,貝葉斯網絡中的圖能夠很好地描述供應鏈各環節不確定性問題中各事件的相互關系,而條件概率則體現了事件間的依賴程度,總之貝葉斯網絡能清楚展示供應鏈不確定性問題中各節點錯綜復雜的相互關系,且模型直觀易于理解,推理技術成熟,計算簡單。但用貝葉斯網絡解決供應鏈不確定性決策問題的有嚴格的過程,具體的過程如表2所列:
(二)貝葉斯網絡求解供應鏈不確定性決策問題的原則
從表2所列可知,用貝葉斯網絡求解供應鏈不確定性問題決策的過程簡單,但同時建模的過程中必須遵循一定的原則,具體的原則為:
1.模型簡單性原則
在能正確解決供應鏈不確定性問題的情況下,盡可能降低貝葉斯網絡的復雜度,使所建模型簡單化,這樣能節省建模時間及建模成本,降低模型結構學習的難度,簡化模型的推理過程。
2.模型整體性原則
貝葉斯網絡本身就是個整體,不是子模塊的簡單重組,因此,在對供應鏈不確定性問題建模的過程中,必須采用一定的策略及評價機制保證所建模型的整體性。常用的建模方法有“自上向下”及“自下向上”兩種。
3.反饋性原則
用貝葉斯網絡建立的供應鏈不確定性問題決策模型是否正確及符合要求,要反復進行驗證,要靠供應鏈管理人員把企業管理中遇到的各中不確定問題及時反饋給建模人員,建模人員應根據反饋信息,及時對模型進行學習、修正,保證供應鏈不確定性問題決策模型模型的正確性。
(三)基于貝葉斯網絡供應鏈不確定性問題決策的建模過程
用貝葉斯網絡對供應鏈不確定性問題決策系統進行建模,分為問題分析、模型設計和模型測試三個階段。首先是聘請領域專家,對復雜的問題進行任務分解;然后是分析不確定性問題的相關變量,建立網絡結構及確定節點的概率分布,構建模型;最后對模型進行學習、評價、測試、修正錯誤,直到模型較為準確為止。
1.問題分析
運用一定的方法對供應鏈不確定性問題進行分析和理解,明確建模的目標,在充分認識供應鏈不確定性問題的基礎上,確定建模方案。該過程要完成的任務有:先驗概率的確定、復雜性分析、專家選擇、任務的分解等。供應鏈不確定性問題的分析要通過建模人員、企業、客戶三方的反復溝通。同時,在建模過程中必須聘請專家,綜合專家的意見,確保所建模型的客觀性、正確性。
2.模型設計
該階段的任務主要是確定貝葉斯網絡模型的拓撲結構圖及概率分布。BN建模過程由一定性過程和一個定量階段組成,定性過程是確定拓撲結構;定量階段是確定概率參數。這兩項任務完全后,網絡模型也基本上確定。但實際中建立一個貝葉斯網絡模型往往是一個反復的過程。具體的步驟為:
(1) 確定節點集。根據供應鏈不確定性問題的歷史資料及領域專家提供的信息來確定變量數目。
(2) 確定條件概率表的條件概率。節點條件概率可以由三種方式來確定:一是用先驗歷史資料的記載和用戶的知識來確定;二是建模人員通過觀察和測試來確定;三是通過專家提供的信息來確定,也可以混合三種方式來確定條件概率。
3.模型優化
模型優化主要是完成對模型的測試,測試其模型結構是否合理、正確,結果是否理想,如果有問題則必須對所建模型進行修正,直到符合要求。通常使用的測試方法有模型結構的正確性測試方法、概率條件正確性測試方法、案例測試方法等。
四、總結
概率圖模型在不確定問題處理方面雖然得到很好的應用,但也有些方面必須在研究過程中繼續加強。特別要在以下兩個方面需要做進一步研究:
1.有些不確定性問題的參數數據在研究過程中是無法預先確定的,這就要求在研究過程中不斷地加強對所構建的模型進行參數學習的研究,這是在使用貝葉斯網絡對供應鏈不確定問題進行研究的過程中必須努力的一個方向。
2.推理算法的研究是貝葉斯網絡研究的另一個難題,因此研究出適合于供應鏈不確定性問題決策的貝葉斯網絡推理算法是今后研究的一個重點與難點。
參考文獻:
[1]Radu stefan niculescu, Tom M.Mitchell, R.Bharat Rao. Bayesian network lesrning with parameter constraints[J]. Journal of machine lesring research, 2006:7~10.
[2]Comaniciu D, Ramesh V,Meer P. Kernel based object tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5).
[3]Nummiaro K, Koller Meier E, Gool LV. An adaptive color??based particle filter[J]. Image and VisionComputing,2003,21(1):99~110.
[4]DN.Friedman.Probabilistie GraPhieal Models Princi Plesand Teehniques.theMITPress,2009.
[5] Rickard E,Neapolitan.Learning Bayesian networks[M].NortheasternlLinois University,Chica-go, Illinois,2004.
[6] Kevin B Korb.Ann E.Nicholson. Bayesian artificial intelligent[M]. Chapman&Hall/CRC press LLC,2004.
關鍵詞:操作風險;貝葉斯網絡;關鍵風險指標
文章編號:1003-4625(2008)01-0043-04 中圖分類號:F830.2 文獻標識碼:A
一、引言
國際銀行業監管的理論和實踐將銀行風險分為市場風險(Market Risk)、信用風險(Credit Risk)和操作風險(operational Risk)三類,新巴塞爾資本協議將操作風險也納入風險資本的計算和監管框架。
2003年4月公布的《新巴賽爾資本協議》征求意見稿(第三稿)中,商業銀行操作風險被定義為:指由不完善或有問題的內部程序、人員及系統或外部事件所造成損失的風險。委員會認為這一定義對于操作風險的度量和管理很合適,有利于金融機構對操作風險的管理。該定義包括法律風險,但不包括戰略風險和聲譽風險,而且,從風險所要求的資本配置來講,對策略風險和聲譽風險進行衡量并配置資本幾乎是不可能的。
現有研究表明,操作風險損失是銀行業風險的重要來源,其對風險資本要求的影響甚至可能超過市場風險。操作風險與市場風險、信用風險存在顯著的不同,其構成更復雜,難以結構化,風險暴露不清晰,不同個體間存在較大的差異,并且對風險發生的特定環境具有高度依賴性。另外,操作風險研究的歷史也不長,歷史數據與建模經驗都很少,而且操作風險事件發生頻率很低,但一旦發生易造成極大的損失,甚至會導致銀行破產。
鑒于操作風險的特點,致使其難以度量、管理。新巴塞爾資本協議要求用于計算監管資本的內部操作風險計量方法,必須基于對內部損失數據至少5年的觀測,但現實是多數銀行缺乏損失數據。如果沒有一個損失的歷史數據庫,大多計量工具和技術如損失分布法(Loss Distribution Approach,LDA)都無法應用。貝葉斯網絡模型是基于貝葉斯決策理論的因果建模技術,它是綜合定性和定量方法,能比較好地分析操作風險發生的原因并可建立操作風險度量系統,以作為操作風險度量的基礎,從而更便于操作風險管理。本文將較為詳細地給出貝葉斯網絡在操作風險管理上的應用。
二、貝葉斯網絡模型
貝葉斯網絡(Bayesian Networks,BN)又稱為概率因果網絡,是一種對概率關系的有向圖解描述,適用于不確定性和概率性事物及用于有條件的依賴多種控制因素的決策。
已有相關文獻給出貝葉斯網絡在操作風險管理方面的架構。Alexander、King將貝葉斯網絡引入金融領域,演示了一些在操作風險方面的應用,尤其在過程建模方面。Kwabena利用貝葉斯網絡對外匯與貨幣市場的操作風險進行建模與管理。Giudici則把貝葉斯網絡用來計算經濟資本。
(一)簡單的貝葉斯網絡模型
貝葉斯網絡模型是描述變量之間概率聯系的圖形模式,該模型使用貝葉斯法則對網絡傳播進行計算。其最基本、最簡單的結構是由有向無環圖(Di-rected Acyclic Graph,DAG)和一系列概率構成的。DAG由變量的節點及連接這些節點的有向邊構成,節點代表隨機變量,節點間的有向邊代表了節點間的相互關系(由母節點指向其子節點,表示母節點決定子節點)。一個母節點可以決定多個子節點,一個子節點也可同時由多個母節點決定,即只要存在因果關系,母子節點的數量不受限制。
母子節點之間用條件概率來表達關系強度。為了計算過程簡便,建議每個事件節點的母節點不超過兩個,根節點用先驗概率進行信息表達。節點變量可以是任何問題的抽象,如測試值、觀測現象、意見征詢等。對于兩個事件X和Y,由貝葉斯法則,P(X|Y)=P(X)P(Y|X)/P(Y)
貝葉斯網絡模型的特點是:如果網絡中任一節點狀態確定,就可以利用貝葉斯公式對網絡本身進行正向或者逆向計算,從而得出網絡中任一節點的概率,如圖2-1所示。
(二)具有多個節點的貝葉斯網絡模型
如圖2-2所示,圖中各節點代表隨機變量,節點間的有向邊代表了節點問的相互關聯關系。通常認為有向邊表示一種因果關系,因此貝葉斯網絡也叫做因果網絡。
假設各條件是獨立的,即圖中的各節點Xi條件獨立于由Xi.的母節點給定的非Xi后代節點構成的任何節點子集。如果用N(Xi)表示非Xi后代節點構成的任何節點子集,用P'(Xi)表示Xi的直接雙親節點,則:P(Xi|N(Xi),P'(Xi))=P(Xi|P'(Xi))。
(三)與各節點相關的條件概率
條件概率表可以用P(Xi\P(Xi))來描述,它表達了子節點同其母節點的相關關系。
如果要完全表示變量的聯合分布,則聯合分布表需要指數級的規模,n個節點需要2n個概率表。由獨立性假設,聯合分布可以分解為幾個局部分布的乘積:P(x1,x2,…xn)=∏xiP(xi|P'i)。需要的參數個數隨網絡中節點個數呈線性增長,而聯合分布的計算呈指數增長,假設有n個節點,每個節點的母節點數不超過k,則概率表個數為N?2k。由于貝葉斯網絡假定了條件獨立性,只需考慮與該變量相關的有限變量,可以大大簡化問題的求解難度。
因此,基于貝葉斯網絡的推理實際上是進行概率計算。由于條件獨立性假設,在信息獲取時,只需關心與節點相鄰的局部網絡圖,而在推理計算時,只需知道相關節點的狀態就可估計該節點的發生概率。另外,貝葉斯網絡可以綜合先驗信息和樣本信息,在樣本很少時也能發現數據之間的因果關系,適合處理不完整數據集,這是其他模型難以達到的。如果確定了網絡中任一節點的狀態,就可以利用貝葉斯規則在網絡中進行正向或逆向的計算,從而得出網絡中任一節點后來變化的概率。
三、貝葉斯網絡模型的應用
(一)關鍵風險指標與關鍵風險誘因的設計
關鍵風險指標(Key Risk Indicators,KRI)是指能夠給估計操作風險損失提供可靠基礎的一系列財務或者操作的指標體系。這些指標在一定風險管理框
架中,對業務活動和環境進行監控,有助于動態化的操作風險管理。實際工作中可以給這些指標分別設置一個閾值(Threshold),當指標超過或者低于這個閾值時,需要采取相應的干預措施。引起風險的隨機因素,可以用關鍵風險誘因來定義。關鍵風險誘因(Key Risk Drivers,KRD)就是一些風險特質,它們是KRI發生的主要誘因,這些誘因可以用來監測各具體業務單元和風險損失類型的KRI。管理者對業務深入了解后,可以通過控制關鍵風險誘因來控制風險。銀行操作風險的關鍵風險誘因與關鍵風險指標如表3-1所示。
(二)貝葉斯網絡模型框架的設計
關鍵風險指標在網絡中是目標節點,KRD作為母節點,通過貝葉斯公式就可以確定任一節點的概率和條件概率。在KRI超過預先設置的閾值時,管理者就能夠方便地找到影響具體風險指標變化的誘因排序,以采取相應手段控制排序中最重要的誘因,有效地控制風險。
框架結構如圖3-1所示。風險為內部欺詐,關鍵風險指標為前臺操作差錯率。前臺操作差錯導致了內部欺詐,造成巨大的操作風險損失。關鍵風險誘因可以設為員工培訓、薪酬制度、業務系統復雜程度、員工效率、日處理筆數。差錯率閾值如設為0.03%,當大于等于0.03%時,風險經理就要采取措施控制內部欺詐風險了。
貝葉斯網絡模型有正向和逆向兩種分析方法,即情景分析和因果分析。情景分析是一種多因素分析方法,結合設定的各種可能情景的概率,研究多種因素同時作用時可能產生的影響。實踐中可以假設其他條件不變,通過貝葉斯法則計算提高日工作量出差錯的概率是否發生顯著變化。如果明顯變大,說明日處理筆數過多造成了差錯率急劇增加,可以考慮增加柜員人數減少差錯率;如果不顯著,說明日處理筆數這個因素不起主要作用不用調整。通過情景分析,能找到多因素對差錯率的影響。因果分析和情景分析方向正好相反,它是假定一個結果情況概率,反過來確定哪個因素對它起到主要作用。
實踐中我們可以分別給出部分節點概率和條件概率,通過貝葉斯法則就可以正向或逆向推導出任何一個節點的條件概率。
(三)貝葉斯網絡模型應用實例
經營活動中由于人員所造成的損失通常叫做人員風險,這些可能歸因于員工缺少培訓、薪水過低、較差的工作氣氛、關鍵員工少等。人員風險的一些經營數據便于得到,如員工培訓費用、班次周轉頻率等,但是人員風險仍是最難以度量的,因為許多因素都是主觀的。
下面用一個定量分析人員風險的例子分析貝葉斯網絡模型在商業銀行操作風險管理上的應用。假設一個零售業務部門經理依經驗判斷,他的員工有25%的時間不努力工作,對客戶提供了不周到的服務,這意味著他們只有75%的時間能為客戶提供周到的服務(先驗概率)。在提供周到服務的條件下,有80%的客戶表示滿意并簽約(保持業務往來),即在顧客滿意的情況下不能簽約的概率是0.2。但由過去的經驗,當員工不努力工作時,顧客抱怨的次數會快速上升,這時不能簽約的概率從0.2上升到0.65。也就是說,在他們偷懶或者沒有全身投入的情況下,只有35%的客戶會依然青睞于該銀行(條件概率)。而目前的情況是客戶流失日益嚴重導致簽約數量急劇下降,該經理想知道除了金融環境的競爭越來越激烈外,團隊本身應該負多大的責任。換言之,他的團隊有多少時間提供了周到的服務(后驗概率)。
假設X為事件“提供服務”,Y為事件“簽約”。當Y=1,表示“成功簽約”;當Y=0,表示“簽約失敗”。同樣的,當X=1,表示“服務周到”;當X=0,表示“服務不周到”。如上所述,最先的判斷應該是P(X)=0.25,而且P(Y)=P(X)P(Y|X)+P(X)P(Y|X)=0.256*0.65+0.75*0.2=0.3125。而給出不滿意服務的事后概率后,通過貝葉斯規則計算顧客不簽約的概率為:P(X=0|Y=0)=P(Y=0|X=0)*P(X=0)|P(Y=0)=0.65*0.25/0.3125=0.52。
現在可以確定,當“簽約失敗”事件發生時,該零售業務部門不是只有25%的時間未提供令人滿意的服務,而是有52%的時間處于松散怠慢狀態,未能提供良好的服務。這與當初的判斷即25%的時間不能努力工作相差很大,原因在于“簽約失敗”這個信息的加入。
將上述案例擴展,增加一個隨機事件“金融環境(Market)”,DAG模型圖、先驗概率及條件概率數據分別如圖3-2、表3-2、3-3所示。
四、貝葉斯網絡模型的評價
貝葉斯網絡(BN)模型容易進行情景分析,有助于識別風險因子并確定相關關系,可用于度量一系列的操作風險,包括難以量化的人員風險等。它提高了風險管理的透明度,給分析者描繪了整個經營過程,對同一個問題可以建立無數個BN網絡框架,這種網絡框架的設計不僅對個人選擇開放,而且在某些問題上數據可以主觀選擇。另外,BN可以進行返回檢驗,因此就能夠判斷哪一個是最好的網絡設計,哪一個是對非量化變量最好的估計。
在銀行及其他金融機構中應用貝葉斯網絡進行操作風險管理有如下優點:
(一)貝葉斯網絡不僅給出了在證據確定情況下由先驗概率更新為后驗概率的方法,還給出了在證據不確定情況下更新先驗概率為后驗概率的方法,是一種比較實用又靈活的不確定性推理方法,已經成功應用在專家系統中。
(二)一個貝葉斯網絡與可能影響操作風險的因素(關鍵風險誘因)、風險度量以及企業風險指標相關,這種風險分析模型可以給出行為多樣化的確切原因,而且當一種關鍵風險指標作為目標節點后,貝葉斯網絡可以應用于確定“閾值”以評價風險控制的有效性。
(三)既可以對引致操作風險的因素進行分析,也可以對市場風險因素以及信用風險因素進行分析,風險經理可以集中精力關注那些對操作風險影響最大的風險因素,并且將操作風險的度量與市場風險和信用風險結合起來。
(四)貝葉斯網絡模型解決了操作風險管理中歷史數據缺乏的問題,通過情景分析和因果分析能得到影響關鍵風險指標的關鍵誘因排序,從而能有效進行風險控制。在當前銀行歷史損失數據比較匱乏的情況下,貝葉斯網絡模型是一個非常直觀、有用的操作風險管理工具。
同時,我們也應該看到,貝葉斯網絡模型實質上是一個多元化的概率分布模型,它要求領域專家在給出規則的同時,給出一定事件的先驗概率,這是比較困難的。另外,關于事件獨立性的要求使該方法的應用受到一定限制,這需要專家的經驗。運用其進行風險控制,不僅要具體考慮到企業因素,還要考慮到管理者的作用,需要真正有不數據后去驗證它的有效性。
五、結論
關鍵詞:貝葉斯網絡;營房;滲漏破壞;風險分析
長久以來,基建營房工程一直是部隊建設的基礎保證,與人員的生活息息相關,必須抓好營房質量建設。營房施工澆混凝土樓面時,容易產生裂縫,有關裂縫的技術處理比較難,經常發生滲漏破壞,因此營房滲漏破壞風險分析及治理是很有必要的。由于貝葉斯網絡可以根據概率表達定量地進行診斷推理,遂本文選用貝葉斯網絡分析營房滲漏破壞。
1 貝葉斯網絡概述
貝葉斯網絡(Bayesian Networks, BN)是用來表示變量間連接概率的圖形模式[1],它表示因果信息,由代表變量的節點,連接節點的有向弧線以及表示節點關系強度的條件概率組成。
貝葉斯網絡有貝葉斯理論支撐,用圖的形式描述變量間的關系,形象生動,便于分析理解;用概率測度的權重解決了變量狀態的不一致;刻畫了信任度隨證據的變化而更新,證據發生改變,會產生新的概率。圖1為BN示例。
圖1 BN示例
2 營房滲漏破壞現象成因分析
在機場營房使用中,多出現澆梁板裂縫,這是由于選擇的混凝土材料不合理,結構設計不規范,施工條件不滿足要求。施工時模板變形、支撐塌陷都會導致混凝土產生裂縫,有的施工方為了降低建筑的成本,摻入過量的粉煤灰,在使用過程中出現凝固收縮,導致營房結構裂縫。多數營房跨度很大約11m,屋面必須采用排水性能較好的結構找坡,但實際中經常出現找坡厚度太厚、坡度不足、坡向不清等問題。還有處理隔熱層時,設置的憎水材料影響屋頂排水。營房屋面經常暴漏在外面,較大的晝夜溫差會導致混凝土熱脹冷縮出現裂縫。營房樓長度較長,應設置伸縮縫,但實際中并沒有采取措施,收縮裂縫普遍存在[2]。
綜上所述,營房滲漏破壞成因主要有:梁板產生裂縫、屋面裂縫、屋面排水不暢。以BN網為依據,建立了BN網絡結構,如圖2所示。
圖2 BN網絡結構
3營房滲漏貝葉斯網絡模型
3.1確定節點狀態
營房滲漏破壞T采用五級劃分法,分為Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ級,值域{0,1,2,3,4 },分別表示“無或輕微滲漏水”、“較輕微滲漏水”、“中度滲漏水”、“較嚴重滲漏水”、“嚴重滲漏水”。
A1、A2、A3的值域為{0,1,2},分別表示屋面裂縫、屋面排水不暢、梁板產生裂縫對營房的滲漏破壞有“輕微影響”、“中度影響”、“嚴重影響”。
B1、B2、B3、B4、B5、B6、B7的值域為{0,1},分別表示各因素“性能好”、“性能不好”,對營房滲漏破壞“無影響”、“有影響”。
3.2確定網絡參數
為了進行貝葉斯網絡推理,需要建立節點的條件概率表,定量來描述節點之間的概率關系[3] 。根據營房設計資料、實測的滲漏破壞資料以及專家經驗,應用概率統計以及邀請專家確定了根節點的先驗概率和非根節點的條件概率表。以A1屋面裂縫為例,其條件概率表如表1所示。
3.3 構建貝葉斯網絡模型
將確定的網絡參數,輸入貝葉斯網絡中,即可得到網絡模型。本文使用貝葉斯網絡分析軟件GeNIe進行仿真,仿真結果如圖4所示。
圖4 BN模型
4 模型的應用與分析
貝葉斯網絡模型可以用來診斷推理以及進行因素的敏感性分析。假設滲漏破壞等級已確定,可以利用該模型分析各因素對營房滲漏的影響程度,由此診斷出對營房滲漏破壞最敏感的因素。比如,假定某營房發生Ⅳ級滲漏破壞,設定其發生概率為100%,對模型進行計算更新,比較設定前后各因素發生概率的變化。更新后的仿真結果如圖5所示。
圖5 更新后的BN模型
對比圖4、5,可以看出各因素發生概率都或大或小的變化,B1晝夜溫差從7%增到了14%,說明晝夜溫差變化引起的熱脹冷縮容易引發屋面裂縫,進而產生營房滲漏破壞;B4隔熱層憎水性變化最大,從25%增到49%,說明隔熱層憎水引起的屋面排水不暢,是營房滲漏破壞的關鍵成因;B5混凝土材料從13%增長到28%,說明混凝土材料質量不過關,種類不合適都會是梁板產生裂縫,引發營房滲漏;B7施工條件從13%增到27%,說明施工條件不良也是營房滲漏破壞的主要影響因素。綜上所述,隔熱層憎水性是營房滲漏破壞的最敏感性因素,在建筑營房時,必須要根據實際情況降低隔熱層的憎水性。
通過對營房滲漏破壞問題的分析,發現貝葉斯網絡的預測推理能力特別強大。尤其是當某些因素信息缺少時,可以利用已知的證據變量對營房滲漏破壞程度進行預測,也可以已知營房滲漏程度,對某些因素的狀態進行分析。該模型在這些方面的應用,還有待進一步研究。
參考文獻
[1] 曹士信. 基于貝葉斯網絡仿真的威懾信息傳遞效能評估[J]. 裝備指揮技術學院學報,2010,21(2):113~116
關鍵詞:通信效率;網絡結構;效應
1 模型
復雜網絡行為的另一種定義由Vito Latora和Massimo Marchiori[1]提出,該定義是基于一個網絡的效率。在全局和局部范圍內,網絡的特征是通過效率來有效傳遞信息,而不是用C和L。為了定義圖G[1]的效率,Vito Latora和Massimo Marchiori假設每個節點是通過網絡發送信息。一個加權網絡是由一個加權值與連接邊相關聯。加權網絡需要兩個矩陣來表示:一個是連接矩陣{aij},表明兩個節點直接是否存在一個連接邊(對于無權網絡,如果有一條邊直接連接節點i和j,其項aij為1,否則為0。);另一個表示物理距離的矩陣{lij}。數值lij可能是兩個頂點之間的空間距離或者是它們可能連接的長度:即使在圖G中兩個節點i和j之間沒有連接,lij也是被已知的[1]。例如,在傳輸網絡中lij可能是兩個站點之間的地理距離,可能是在英特網中兩個路由器之間信息包裹交換所花的時間,或者是生物系統中沿著一個直接的連接的化學反應的倒轉速率。在一個無權網絡的特殊情況下,lij=1,?坌i,j。兩個一般頂點i和j之間的最短路徑長度dij是從i到j的圖G中的曲線的所有可能的路徑的物理距離最小的總數和。因此,矩陣{dij}能通過矩陣{aij}和矩陣lij的信息計算出來,dij?叟lij,?坌i,j,當節點i和節點j之間有直接連接邊時等號成立。他們[1]假設每個頂點通過它的邊沿著整個網絡不斷的傳遞信息,在傳遞過程中兩個節點i和j之間的傳遞效率?著ij是最短路徑dij的倒數,即?著ij=1/dij,?坌i,j。基于這個定義,當圖G中的節點i和節點j之間沒有任何路徑連通時,dij=+∞,然而?著ij=0。
圖G的全局效率能夠被定義為:
(1)
而局部效率,類似于聚類系數C,能被定義為局部子圖效率的平均值:
其中Gi,如先前所定義的,是節點i鄰居節點所構成的子圖,子圖Gi由ki個節點和最多ki(ki-1)/2條邊組成。公式(2)中的數值d'lm是在圖Gi中節點l和m之間被計算出來的最短距離。上述給出的兩個定義有個重要的屬性:全局效率和局部效率已經被規范化,即:0?燮Eglob?燮1和0?燮Eloc?燮1。
我們試圖定量測量小世界效應,使用一般效率Egen去測量網絡的效率,Egen是全局效率和局部效率的平均值,定義為:
Egen=(Eglob+Eloc)/2。為了定量測量小世界效應,我們需要選擇基量。由于規則網絡的Egen是遠遠大于一個相應的稀疏的隨機網絡,我們選擇規則網絡的Egen作為測量的基礎,基點表示為E0。因此,我們可以使用一般效率的增加的百分比來測量小世界效應,它被定義為:
?酌sw=■ (3)
2 結果
我們首先構造一個與文獻[2]中所使用的相同的無權小世界網絡。構造一個有N=2000和K=60的規則網絡,然后通過重連概率prewire來構造小世界網絡,構造的小世界網絡的Egen對應于重連概率prewire繪制的曲線如圖1所示,Egen首先增加,隨著prewire的增加達到最佳值后然后開始下降,這就是所謂的小世界效應。另外,從圖1中我們可以發現,當重連概率prewire≈0.02時,Egen值達到最大值,而根據Egen的定義可知,如果要構造一個全局效率和局部效率均較大的小世界網絡,Egen值可以作為參考,即Egen最大值的點,其實可以看作是Eglob和Eloc均較大的小世界網絡。
構造一個有N=2000和K=60的規則網絡,然后通過重連概率prewire來構造小世界網絡。根據等式(3),我們計算小世界效應的定量測量值,?酌sw,對應于重連概率prewire,并且在圖2中顯示結果。從圖2中,我們能夠很清晰的發現小世界效應,?酌sw首先增加,隨著prewire的增加達到最大值后開始下降。誘導最大小世界效應的最近重連概率prewire大約是0.02,而且相應的?酌sw達到了19.2%。
對于一個小世界網絡,這兒有三個參數去測量這個網絡,節點的數量N,每個節點的平均連接邊數(K)和這個重連概率prewire。除了參數K,我們能夠用平均連接概率pave來測量網絡的連接,pave值近似等于K/N。對于一個固定節點數N,我們研究pave和prewire對?酌sw的影響。類似于圖2和圖3,我們也設置N=2000。對于N=2000和一個確定的pave,當重連概率prewire大約為0.02時?酌sw達到最大值。對于N=2000和prewire=0.02,?酌sw對應于pave曲線如圖3所示。隨著pave的增加,?酌sw開始增加,當pave在最佳值0.032時?酌sw開始下降。當pave等于0.032時,?酌sw達到最佳值而且高達20%。
根據上面的研究結果,我們試著找到最優pave和prewire去誘導對應與不同節點數N的最大值?酌sw,最優prewire的幾乎是一個常量,其值大約是0.02。與節點數N相對的最佳的pave被記錄在圖4中。隨著N的增加,最優pave單調下降。如果N=50,最優pave高達0.24,如果N增加到3000,最優pave減少到0.025。隨著最優pave和prewire,與節點數N相對的最大?酌sw被繪制在圖5中。如圖5所示,最大?酌sw隨著節點數的增加不斷的增加。當N=30,最大?酌sw等于0并沒有小世界效應;當N=50時,最大?酌sw只有0.01,小世界效應非常弱;對于N=100,1,000,2,000和3,000,最大?酌sw與N相對應的值分別為0.033,0.16,0.20和0.23。
3 結束語
我們的結果顯示小世界效應隨著節點數N的增加不斷增強。當節點數是30時,沒有小世界效應。當節點數是3,000時,綜合效率的日益增長的比率達到0.23。誘導最大小世界效應的最佳重連效率prewire幾乎一個常量0.02,而且最佳平均連接概率pave隨著節點數N的增加單調下降。當節點數N=3,000時,最佳pave只有0.025。因此,為了引起小世界效應,節點數應該是大的(>500),prewire應該是小的(≈0.02),并且網絡應該是稀疏的(pave
參考文獻
隨著網絡技術的應用與發展,網絡教育利用現代信息網絡工具所特有的開放、平等的無中心網狀環境為學生學習提供了一種全新的學習方式,從而實現以學生個體為本的的教學組織形式。為學生營造了探索與創造的空間,滿足了學生的個性化學習要求。網絡是一個優秀的教育信息貯存、遞送媒介,具有跨時空溝通、互動、信息共享等特點,在提供創新環境與創造性學習條件方面具有極大的優勢,充分利用網絡技術優勢,讓學生創造性地著手解決問題,可以使其協作能力、探索能力、創造能力得到提高,個性得以發展。網絡本身是動態的和開放的,為網絡課程提供了良好的平臺,可以使網絡課程得到不斷地充實、完善,能隨時作出調整來滿足各方面需求。這種開放、動態性充分體現了時展的特征和網絡教學的優勢,構建網絡課程結構,體現課程各知識點的關聯性,充分表達教學過程中人的活動,使網絡課程體系走向有序化和人性化。“軍隊院校網絡教學應用系統”是一個為在網上開展教學而構建的基礎平臺,系統提供了一個網絡課程通用開發平臺,具有強大的教學資源管理功能和系統的教學活動支持模塊以及配套使用的實用工具等[1][2]。《概率論與數理統計》網絡課程依托“軍隊院校網絡教學應用系統”操作平臺進行開發,經過幾年的建設,取得了重要成果,圓滿完成了各項建設目標,貫徹現代教育思想,滿足學生自主學習需要,為學生提供完全個性化、交互式的學習環境,充分發揮網絡教學優勢,拓展和補充現有教學資源,充分發揮軍隊網絡教學優勢,提高教學質量和教學管理效率。
1《概率論與數理統計》網絡課程的主要內容《概率論與數理統計》網絡課程的主要內容包含以下方面:
1.1課程教學系統以教學大綱為指導,以課程知識點為單元組成基本教學內容。課程教學系統構成網絡課程的主體,它由教師講解部分(教師講課的聲音和圖象)、文字說明部分以及多媒體動畫演示、圖片資料、配樂或視頻等各種形式的輔助資料共同組成。
1.2學習過程系統為學生提供知識結構圖、學習記錄、學習建議、智能提示等導航功能。通過同步練習,學生可以在學習完一個章節后,立即檢驗學習效果。通過例題分析,針對知識點給出相應的例題、題解和分析,也有助于學生對所學知識的深入理解。通過建模案例分析,有助于學生加深對課程內容的理解,擴展知識面。通過輔助閱讀,使的學生根據參考文獻提供的名錄查閱有關書籍、報刊,為學生提供和當前學習內容直接相關的各種資源,對某一知識領域展開深入的學習和研究。
1.3智能答疑討論系統教師根據以往的經驗,列出每一知識點的常見問題并整理出來并給出答案。學生可以通過"常見問題"直接得到答案;如果找不到自已想要問的問題,可以直接預留問題等待教師答疑。為學生設立的教師答疑專用信箱。學生在學習中遇到疑難問題,可以發向教師提問,教師會將問題的答案用電子郵件回復給學生。同時提供集中答疑時間,通過網絡聊天室的方式進行的實時答疑。教師根據學生需要,定期在課程聊天室與學生進行交流,學生可以通過文字或語音兩種方式直接向教師提問,教師即時回答,根據知識點特點,結合實際,教師就熱點、難點問題討論題,主持討論。
1.5模擬測試系統為學生提供自設參數自由組卷、全真模擬測試、單項強化訓練、自動判卷服務。在學習完整門課程后,學生可以通過模擬試題,檢測自己對所學知識的掌握程度及綜合運用能力,教師通過測試結果分析及時發現學生學習中存在的問題,反饋學生的學習情況,有針對性的開展下一步的教學與輔導。
1.6輔助資源系統包括數學軟件應用、數學考研知識講座、中外數學家、數學前沿探索、數學競賽知識講座、數學建模知識講座。
2《概率論與數理統計》網絡課程的主要特點
《概率論與數理統計》課程是軍隊工程院校本科教學中重要的基礎理論課程,是學生學習后續課程的理論基礎,對于培養學生抽象概括問題的能力、邏輯推理能力、自學能力具有重要意義,是學生進一步學習后續課程和的數學基礎。《概率論與數理統計》網絡課程在“軍隊院校網絡教學應用系統”操作平臺上開發,兼容性強,符合現代化教學改革的教學要求。《概率論與數理統計》網絡課程結構清晰,按照《概率論與數理統計》教材章節建立知識點,強大的導航系統,使所有內容一目了然。內容完整,有豐富的自主學習資源和自主測試功能,配有大量的練習題和試題庫。配有大量自行設計的交互式動畫,課件配有影像解說,可減輕學習過程中的視覺疲勞。在線答疑系統配有文字交流,畫板交流,語音交流,屏幕共享交流,能夠方便的完成對學生答疑解惑。軟件中教學資料都是存儲于數據庫中,可隨時根據需要進行添加,修改,更換,便于升級和進行二次開發。
基金項目:云南省自然科學基金(2009ZC128M).
作者簡介:楊華芬(1981-),女,碩士,講師.主要研究方向:神經網絡與遺傳算法.
摘要: 傳統遺傳算法優化神經網絡存在“近親繁殖”、“早熟收斂”、收斂速度慢和容易陷入局部極小等缺點.將適應度與相應的個體數目相聯系,提出一種自適應交叉變異概率,并將其用于遺傳操作,使得個體具有較強的多樣性,一定程度緩解種群“早熟”;將單純形法和遺傳算法結合到一起,使遺傳算法的搜索更具有方向性,提高遺傳算法的搜索能力,加快收斂速度.仿真實驗進一步證明本文提出的算法對加快收斂速度,防止“近親繁殖”,保持種群多樣性比較有效.
關鍵詞: 單純形法;交叉概率;變異概率;遺傳算法;神經網絡
中圖分類號:TP18
文獻標識碼:A文章編號:1672-8513(2010)04-0301-04
An Adaptive Neural Network Optimization Based on Hybrid Genetic Algorithms
YANG Huafen
(Department of Computer Science and Engineering, Qujing Normal University, Qujing 655000,China)
Abstract: There are such defects in the traditional genetic algorithms as “inbreeding”, “prematurity”, slow convergence speed and easy orientation to the local minimum. Through the improving of crossover probability and mutation probability, the diversity of the network could be maintained and it avoids prematurity to some extent. The combination of the simplex method and the genetic algorithm makes the genetic algorithm search more directional and improves the search ability of genetic algorithms. The experiments show that this approach of neural network avoids effectively “prematurity” and “inbreeding” while increasing the convergence speed and maintaining the diversity.
Key words: simplex method; crossover probability; mutation probability; genetic algorithms; neural network
神經網絡(Neural Network,NN)以其并行分布處理、自組織、自適應、自學習、具有魯棒性和容錯性等獨特的優良性質在模式識別、預測等方面得到廣泛應用.應用較為廣泛的就是BP網絡[1-2],但傳統的BP網絡學習時容易陷入局部極小,以及收斂速度慢等缺點.遺傳算法(Genetic Algorithms,GA)具有較好的全局搜索能力和魯棒性,將NN和GA結合可以優勢互補,但在進化過程中容易出現“早熟收斂”.出現這一現象的根本原因是種群經過進化以后,優勝劣汰,種群的適應度趨同,用這些個體進行遺傳操作難以產生優良個體[3].為改進GA的性能,國內外學者做了大量的研究,提出許多改進算法.文獻[4]對適應度進行變換;文獻[5]提出自適應交叉變異概率;文獻[6]采用自適應比例選擇策略,依據種群性狀的改變而動態地調整選擇壓力;文獻[7]提出了一種基于實數編碼的自適應多親遺傳算法;文獻[8]根據個體的最大適應度和平均適應度提出自適應交叉和變異概率.但種群的某一個個體的適應度大不能代表種群的整體適應度大,因此,文獻[8]提出的交叉/變異概率不能隨著種群個體適應度的變化而變化.
遺傳算法為指導性搜索算法,全局搜索能力較強,但其局部搜索能力較弱,導致優化解質量不高.單純形法(Simplex Method,SM)[9],也稱可變多面體搜索法,是確定性下降方法,局部搜索能力很強.將搜索機制上存在如此差異的2種算法進行混合,有利于豐富搜索行為,增強全局和局部意義下的搜索能力和效率.
本文提出一種基于混合算法的自適應神經網絡優化設計方法.首先,將個體適應度和相應的個體數目聯系,提出自適應交叉概率(pc)和變異概率(pm),讓pc和pm隨著個體適應度的變化而變化,既能開發優良個體又能保證算法收斂;其次,將單純型算法用于優化自適應遺傳算法得到的個體,指導遺傳算法進行尋優.該混合算法不僅具有遺傳算法通用、簡單、全局隨機搜索的優點,而且融入了局部搜索法的快速尋優并收斂的優點,在一定程度上保持種群的多樣性,防止“種群早熟”,提高學習速度.
1 改進遺傳算法
1.1 神經網絡的基因編碼
常見的神經網絡編碼有二進制和實數編碼,若采用二進制編碼,會造成編碼串太長,且需要再解碼為實數,影響網絡學習的精度.本文采用實數編碼,如圖1所示的網絡,編碼為:xij,θj,yjk,其中i,j,k分別
3.2 仿真實驗
本文以表1所給的的數據(番茄常見病害特征參數),作為所要構建的神經網絡的輸入,網絡的輸出作為診斷所得到病害.7個輸出參數:x1為發病部位;x2為病斑顏色;x3為病斑形狀;x4為霉層顏色;x5為霉層形狀;x6為生長特征;x7為其他特征.4個網絡輸出y1,y2,y3,y4為二值輸出,其輸出的16種狀態分別表示16種常見的病害(番茄莖基腐病、番茄白絹病、番茄斑枯病等).
在建立基于混合遺傳算法的BP神經網絡模型時網絡連接權的基本解空間初步設定為[-15,15],閾值解空間初步設定為[-10,13],隱節點個數為15.遺傳算法進化過程中初始種群數目L=50,總的進化代數為K=150,根據(2)和(3)式求取交叉變異概率.
Abstract: This paper uses the random network theory to analysis on invalid parts repair process of aviation products. With understanding of invalid parts repair process of aviation products, we point various of uncertain factors in the repair process. By using the random network theory, we construct a GERT network model to describe invalid parts repair process of aviation products and offer a way to solve the model. Based on a case of aviation products repair process, we get the probability, cycle time and variance of successful product repairing, these could be the useful results for leaders’ decision. Based on above studies, we finally make some further analysis on invalid parts repair process of aviation products and provide some effective ways to optimize the repair process.
關鍵詞: 航空產品返修;流程;GERT網絡
Key words: repair of aviation products;process;GERT network
中圖分類號:TH17 文獻標識碼:A文章編號:1006-4311(2010)32-0171-02
0引言
隨著現代科學技術在航空產品中的廣泛運用,航空產品的性能要求與結構復雜程度不斷提高,這一新的發展對航空產品從設計、制造、使用、維護等各個方面提出了更高的要求。其中,航空產品故障件返修作為保障航空產品使用可靠性、重復性、經濟性的重要環節,在整個航空產品生命周期中占有十分顯著的地位。然而,航空產品故障件的返修流程中存在著大量的不確定因素,如航空產品故障產生原因的不確定,航空產品返修工藝的不確定以及航空產品返修成功概率的不確定性等等。在面臨各種不確定因素的情況下,如何定量預測和估算航空產品故障件返修流程的概率和時間周期成為急需解決的重要問題。
本文利用隨機網絡理論,對航空產品故障件返修流程進行深入分析,確定返修流程的各個環節和活動,構建了航空產品故障件返修流程的GERT(Graphical Evaluation and Review Technique,即圖示評審技術)模型,并舉例求出了返修成功概率和流程平均時間周期的解析解,從而為航空產品故障件的返修流程提供了實際的數據支撐,對企業決策者制定返修計劃和實施返修決策都具有一定的實用價值。
1航空產品故障件返修流程GERT模型構建及求解
1.1 航空產品故障件返修流程分析航空產品故障件返修主要分為五個階段,包括:故障分析階段、原因分析階段、維修分析階段、維修實施階段和信息反饋階段。如圖1所示。具體來說航空產品故障件返廠后,由質量管理部門通知用戶代表,并召集設計師、工藝師等相關技術人員共同確認故障現象、分析故障原因,并通知責任部門對故障原因確認。故障原因明確后,由有關產品工藝員編制返修工藝,按返修工藝組織返修。在返修過程中如有報廢,則由檢驗開具報廢單,責任部門簽字。產品返修完成后,提交廠檢,檢驗人員按返修工藝要求進行檢驗驗收,合格后作好返修記錄。廠檢合格后,通知用戶代表對返修產品驗收,驗收合格后在由操作工、檢驗員、用戶代表簽字認可,辦理發貨手續。同時責任部門需填寫糾正/預防措施單等信息反饋表。
1.2 故障件返修流程GERT模型構建GERT網絡技術是網絡理論、概率論、模擬技術和信號流圖的結合,是一種新型的廣義隨機網絡技術,又被稱為決策網絡技術。它使用帶概率的有向網絡圖進行分析,可以用來分析研制性和情況復雜多變的項目計劃與控制問題。
依據航空產品故障件返修流程的分析結合GERT網絡技術,對于航空產品故障件返修流程而言,它的每一步都可以視為整個故障件返修系統狀態之間的概率轉移過程。我們用節點表示系統狀態,用連接各節點之間的箭線表示各狀態之間的概率轉移關系。該“返修流程”的GERT網絡模型如圖2所示,圖2中各流程活動的含義如表1所示。
1.3 故障件返修流程GERT模型求解根據梅森公式:W(s)=W(s)•H,式中H為GERT網絡的特征式。在此網絡中,共有一階環三個,二階環兩個。
由梅森公式可得,返修合格時:
W(s)=(1)
其中:
H=1-(W•W+W•W+W•W•W)+(W•W•W•W+W•W•W•W•W)(2)
由式1、2可得:
返修合格概率:p=W(0)(3)
返修不合格概率:p=1-W(0)(4)
返修流程時間周期:E[t]==(5)
返修流程時間周期方差:V[t]=E[t]-(E[t])=-(6)
2案例研究
本文以某航空產品生產企業接收外場航空產品故障件返修為例,依據航空產品故障件返修流程GERT模型,對模型中的各節點和活動進行分析,最終求解該航空產品故障件返修的合格概率和相關時間周期。其中活動分布類型、相關參數及實現的概率, 有歷史資料的由資料進行統計和分析后獲得,屬開創性作業而無歷史資料的由相關專業的專家進行主觀估計后加權獲得。模型中各活動參數如表2所示。
將各參數代入求解模型中,經過計算可得:
返修合格概率:p=W(0)=0.7910;
返修不合格概率:p=1-W(0)=0.2090;
返修流程時間周期:E[t]==11.76(天);
返修流程時間周期方差:V[t]=E[t]-(E[t])=1.40(天2);
返修流程時間周期標準差:σ==1.18(天)。
3航空產品故障件返修流程分析
3.1 由返修流程GERT模型及案例分析可知,航空產品故障件返修流程各個階段的關系可以進一步總結為一個概率轉移模型。從案例結果而言,該流程的返修合格概率僅為0.7910,即從概率上來說將有21.9%的故障件將由于返修不合格報廢,這一報廢概率相對較大。產生這一結果的原因主要是在返修流程GERT網絡中有可能產生報廢結果的活動較多,包括活動5-12、8-12、9-12。其中活動5-12是由于故障件返修前自身性質決定的,其發生的概率p512可稱為固有報廢概率;活動8-12、9-12是由于返修過程中由于返修能力等決定的,其發生的概率p812、p912可稱為能力報廢概率。
返修流程中系統最終產品報廢的概率是由本系統固有報廢概率和能力報廢概率這兩個方面因素共同決定的,因此應在提高產品質量、降低系統固有報廢概率以及提升返修能力、降低能力報廢概率這兩個方面入手,最終提高航空產品故障件返修的合格概率。
3.2 該返修流程GERT模型中,造成項目完成平均時間周期較長的主要原因在于很多活動需要多部門、多人員確認,最為明顯的是活動2-3和3-4,其中活動2-3為產品故障分析,需要主管分析師和主管設計師共同分析故障件的故障原因,活動3-4為產品故障確認,需要用戶、質量技術員和產品責任部門最終共同確認故障件的故障原因。多部門多人員的分析確認形式大大增加了產品返修平均周期,因此,應從提高部門人員工作效率及建立健全故障分析確認機制入手,建立統一的交叉職能小組,明確人員及分工,以此優化返修流程的平均周期。
3.3 在案例中該項目完成的平均時間周期為11.76天,標準差為1.18天,該項目完成的時間最大值與最小值之間相差為2.36天,相對于復雜的返修流程及大量的不確定條件來說時間周期相差的幅度不大,這說明該航空產品故障件返修流程受各種隨機因素的影響較小,流程穩定性較高。實際中的項目管理者通常更關心新產品研發項目能否按期完成,就案例本身而言,將故障件返修計劃完成時間定為13天,那么該返修流程延期的可能性幾乎不存在。
4結論
本文運用隨機網絡理論對航空產品故障件返修流程進行研究。首先明確了航空產品故障件返修流程,指出返修流程中多種不確定因素。其次運用隨機網絡理論,構建了航空產品故障件返修流程GERT網絡模型,給出模型求解方法。然后結合某航空產品返修流程,得到產品返修合格概率,產品返修周期及方差,為領導層決策提供了科學依據。在此基礎上,進一步對航空產品故障件返修流程進行了剖析,明確了產品返修流程合格率較低、平均周期較長的原因,相應提出了解決和鞏固的措施;同時指出該航空產品故障件返修流程較為穩定的特點,為流程優化提供了明確的方向和有效的方法。
參考文獻:
[1]馮允成,呂春蓮等編.隨機網絡及其應用[M].北京: 北京航空學院出版社,1987.
[2]方志耕,龔正,黃西林.公路軍事交通運輸勤務綜合演習項目GERT網絡模型研究與分析[J].系統工程理論與實踐,2000,(4):132-135.
[3]方志耕,龔正,黃西林.基于圖示評審技術GERT的高科技產品開發研究[J].系統工程,2005,23(11):112-115.
[4]屈保社,張衛星.GERT在科研課題研究管理中的應用[J].系統工程,1999,17(1):69-75.
[5]何正文,徐渝,朱少英,張靜文.新產品研發項目GERT 模型及其模擬求解[J].數學的實踐與認識,2003,33(11):45-50.
[6]Kenzo Kurihara, Nobuyuki Nishiuchi. Efficient Monte Carlo simulation Method of GERT-type network for project management[J]. Computer & Industrial Engineering, 2002, 42: 521-531.
[7]沙全友,王偉,韓毅,郝京輝.面向航空產品項目管理網絡計劃模型研究[J].計算機工程與應用,2007,43(6):99-101.
【關鍵詞】電力系統可靠性;蒙特卡洛法;貝葉斯網絡;關鍵線路識別
1.引言
電力作為清潔和方便的二次能源,在推進社會進步,提高人民生活質量方面發揮著越來越重要的作用。人們對電力的依賴程度也越來越高,凸顯出電力系統可靠性的重要[1]。經濟的發展,使用戶對供電可靠性和電能質量的要求也越來越高,因此需要找到一種能夠切實可行的電力系統可靠性評估方法,以促進供電可靠性的提高。
電力系統可靠性是指電網在符合一定約束條件下,能夠向用戶不間斷地提供滿足質量要求的電力的能力[2]。電力系統可靠性分為充裕性(adequacy)和安全性(security),充裕性反映在研究時間段內,在靜態條件下系統容量滿足負荷電力和電量需求的程度;安全性反映短時內,在動態條件下系統容量滿足負荷需求的程度[3]。長期以來,由于安全性評估中建模困難和算法方面的復雜性,有關安全性的研究還不夠完善[3],電力系統可靠性研究主要集中在充裕性方面。
目前電力系統可靠性評估方法主要分為確定性方法和概率性方法兩大類[4]。確定性方法主要針對系統已知的幾種確定運行方式和故障狀態進行分析,評估系統的可靠性水平[5]。確定性方法指系統工作在確定運行狀態下,并未考慮系統狀態的概率分布特性,與系統實際運行不完全相符,評估得到的指標通常與實際有很大偏差,因此在分析電力系統可靠性時更多的采用概率性評估方法。最常用的概率性評估方法可分為解析法[6]和蒙特卡洛法[7],這兩種方法在分析系統可靠性時各有優點、缺陷以及適用范圍。為此西安交通大學別朝紅等人提出了混合評估方法[8],該方法充分發揮蒙特卡洛法和解析法的優點,通過對系統采樣狀態的簡單解析判斷來減少每次狀態評估的時間,從而提高計算速度,但該方法不能有效識別系統薄弱環節;因此,霍利民等人考慮結合貝葉斯網絡[9-10]的不確定性推理來評估電網可靠性。這種方法能很好地改進傳統評估方法的不足,既能評估可靠性,也能找到對系統故障影響最大的薄弱環節,其缺點是通常無法評估與時間有關的指標。文獻[11]將圖形演繹邏輯推理的故障樹分析法應用于電力系統可靠性評估中,把系統故障與組成系統的部件故障有機結合起來,解決了較復雜電力系統的可靠性和安全性分析問題,但分析邏輯關系復雜的系統時,故障樹分析法的計算量較大;另外,國內外一些學者還考慮利用復雜網絡[12,13]的拓撲結構來分析電力系統的可靠性,識別出網絡拓撲中的關鍵線路,以改善系統的可靠性水平。
2.解析法
解析法基于馬爾科夫模型,通過數學建模來評估系統可靠性,按分析方法的不同可分為:網絡法[14]、狀態空間法[15]和故障樹法[11]。
解析法首先用枚舉進行事故狀態選擇,再對枚舉的故障狀態加以綜合分析評估系統的可靠性水平[16]。即先用枚舉法選擇一種停運狀態,后用預先確定的可靠性準則對該停運狀態進行潮流分析,得到此次停運可能對系統可靠性產生的影響。枚舉系統全部故障狀態,就能計算出系統可靠性指標。
解析法可靠性指標計算如式(1),其中xi為系統狀態,P(xi)是當前系統處于狀態xi的概率;If(xi)是狀態xi的二值函數(若系統正常工作,If(xi)取0;反之則取1);F(xi)是自變量狀態xi的可靠性指標測試函數;是隨機函數F(xi)的精確期望值的近似估計。
(1)
利用解析法評估電力系統可靠性時通常不考慮多重故障對系統狀態的影響,因為當系統處于某一確定狀態下,多個元件同時發生故障的概率很小,對可靠性指標的影響也很小,故可忽略不計。解析法概念清晰,比較容易理解,但當評估較大規模的電力系統時,需要評估的設備數較多,系統故障狀態隨之劇增,會造成計算災問題[5]。所以,解析法只適用于模擬一些規模較小的簡單系統。
3.蒙特卡洛法
蒙特卡洛法采用隨機抽樣的方法進行狀態選擇,通過大量重復試驗得到系統隨機運行狀態,從大量的重復樣本中統計出系統可靠性指標,其模擬次數與系統規模無關,因此常被用于大型復雜電力系統可靠性評估。蒙特卡洛模擬法根據抽樣方法的不同又可分為非序貫蒙特卡洛法(狀態抽樣法)[17]和序貫蒙特卡洛法(狀態持續時間抽樣法)[18]。
3.1 非序貫蒙特卡洛方法
假定系統內每個元件只存在故障和正常兩個狀態,且各元件發生故障概率彼此獨立,則系統元件處于兩個狀態的概率可由一個在[0,1]之間的均勻分布來表示。令Si代表元件i的運行狀態,Qi為元件的強迫停運率,對元件i給出一個在[0,1]區間均勻分布的隨機數Ui,則元件i狀態為:
(2)
對于一個包含N個元件的系統而言,其狀態由所有元件的狀態組合而成,也就是說當系統內每一個元件狀態為已知時,就可以確定整個系統所處的狀態。
首先給出N個隨機數,由公式(2)則能獲得每一元件的運行狀態,因此系統狀態,重復上述步驟M次,就能得到一個包含M個系統狀態樣本的集合。
利用非序貫蒙特卡洛法計算系統可靠性指標如式(3):
(3)
上式中,N為總的抽樣次數,F(xi)是自變量狀態xi的可靠性指標測試函數;F為函數F(xi)的樣本均值,當F(xi)取代表不同指標的函數時,就能算得全部可靠性指標。
3.2 序貫蒙特卡洛方法
序貫蒙特卡洛法基于抽樣得到系統元件狀態持續時間的概率分布,其指標計算公式如式(4)。式中t時刻系統狀態為xt,F(xt)是自變量xt的系統性能測試函數,模擬過程總時間為T,是相應可靠性指標期望值的近似估計。當模擬時間足夠長時,系統指標也將收斂于一個穩定的期望值F。
(4)
狀態持續時間抽樣是按照時序,在一個時間跨度上對系統的運行過程進行模擬,由于系統運行時往往是在某一狀態停留一段時間后因隨機事件的發生轉換到另一狀態,并不是連續變化的,因此系統真實的運行過程是離散化不連續的[17]。在模擬總時間為n年的過程中系統第i年狀態序列為,則式(4)可進一步離散化為:
(5)
上式中,第i年j時刻系統狀態為,為相應的可靠性指標測試函數;是第i年系統處于狀態的持續時間;為第i年的可靠性指標。由上式可知,序貫蒙特卡洛法通過對n年內系統各狀態的持續時間進行抽樣,然后對大量重復試驗樣本進行統計計算得到每年的可靠性指標Fi(i=1,…,n),取其n年的平均值為最終的可靠性指標。非序貫蒙特卡洛法簡單且所需原始數據較少,缺點是不能用于計算與時間有關的指標,序貫蒙特卡洛法不但能夠容易計算與時間有關的可靠性指標,還能夠考慮系統狀態持續時間分布情況以及計算可靠性指標的統計概率分布[18],其缺點是計算所用時間過長。
由于蒙特卡洛法在電網可靠性評估中的廣泛應用,針對該方法的改進也比較多。一些學者考慮在模擬中引入隨機過程中的馬爾科夫過程概念,通過重復抽樣,動態建立一個平穩分布和系統概率分布相同的馬爾科夫鏈,從而得到系統的狀態樣本[19]。該方法收斂較快,節省計算時間,并且考慮了狀態間的相互影響,更符合系統的真實運行情況。這其中改進研究的重點是減小方差,目前主要有分層抽樣法[20]、控制變量法[21]、重要抽樣法[22]、對偶變數法[23]等。
4.貝葉斯網絡法
解析法和模擬法在評估電力系統可靠性時都能有效計算系統可靠性指標,但是當系統的某些元件或是子系統狀態為已知時,這些方法并不能給出其對整個系統可靠性的條件概率影響,不能很好地識別對可靠性指標影響較大的系統瓶頸環節。因此霍利民等人考慮將能進行不確定性推理的貝葉斯網絡技術應用于電力系統可靠性評估,利用故障樹法[24]和最小狀態割集法[25]建立的貝葉斯網絡能夠很直觀的替代系統網絡拓撲來進行可靠性分析。文獻[26]提出將貝葉斯網絡隨機模擬推理算法和時序模擬法相結合用于電力系統可靠性評估中,既改進了貝葉斯網絡推理算法不能計算與時間有關的指標的缺點,還能有效識別系統可靠性瓶頸環節。
貝葉斯網絡是一個帶有條件概率的有向無環圖,網絡中節點代表隨機變量,節點間連線表示變量間的條件概率關系,連線方向代表這些變量的因果影響關系。在一個貝葉斯網絡模型中有關變量A,B的條件概率分布P(B\A1…An)通常用來定量分析變量A對變量B影響作用的大小,其中節點Ai是節點B的父節點,節點B為每一個節點Ai的子節點。已知一個網絡的拓撲結構,再結合相應的條件概率分布就可以推理出系統狀態的聯合概率分布。
其數學描述為:若,其中,對應于網絡模型中的各節點元件,條件概率則為:
(6)
上式中,是xi全部父節點的集合。因此,一個貝葉斯網絡就能代表一個系統的完整概率模型,貝葉斯網絡模型的概念也就更多的應用到電力系統可靠性評估的指標計算過程中。圖1所示為一個簡單電網所對應的8節點貝葉斯網絡:
圖1 一個簡單電網的貝葉斯網絡模型
圖1即為利用貝葉斯網絡模型和電網拓撲結構相似的特點搭建的系統貝葉斯網絡,當給定頂層節點的先驗概率,并且其他節點的條件概率關系為已知時,利用貝葉斯網絡推理算法就能近似得到系統節點S的故障概率,并能診斷推理出系統節點故障下各頂層節點的故障概率情況,從而得到與系統故障密切相關的薄弱部分。
用貝葉斯網絡方法評估電力系統可靠性時,利用貝葉斯網絡拓撲和系統可靠性框圖相似的特點,首先在美國匹茲堡大學(Pitts-burghp)研發的GeNIe軟件中搭建出系統網絡模型,然后給網絡中節點元件變量的狀態賦值,通過軟件的近似推理算法求得其余節點變量的條件概率,對系統完成各種因果推理、診斷推理和辯解推理。此方法不但能計算可靠性指標,還能方便給出系統各部分狀態之間的條件概率關系,以及對系統整體可靠性的影響大小,從而確定系統可靠性瓶頸環節。
5.關鍵線路識別的復雜網絡法
世界范圍內很多大停電事故,比如2003年北美大停電事故[27]的發生使得電網規劃、決策人員對電力系統的運行可靠性和安全性問題都越來越關心,而這些大停電事故的發生一般是由系統網絡拓撲中的關鍵線路[28]故障引起的。每一個網絡結構中都會有一些對整個網絡可靠性影響較大的關鍵線路存在,這些線路的存在使得整個系統比較脆弱,容易受到攻擊。因此如何預先識別出這些線路并對它們加以監測,對提升整個系統的可靠性和運行效率就顯得至關重要。
傳統識別電網關鍵線路的方法主要是基于電力系統分析技術,對電網進行潮流分析,以確定拓撲結構中對系統正常運行影響較大的關鍵線路;隨著近年來復雜網絡理論模型的發展,有關復雜網絡模型應用到電網關鍵線路篩選過程中的研究也越來越多。文獻[12]綜合考慮了系統網絡拓撲和電網運行狀態,將復雜網絡理論的節點電氣介數指標、支路電氣介數指標和基于貝葉斯網絡的條件概率風險理論相結合,引入到故障后果的嚴重度指標中,以故障后風險評估的實際損失負荷值為依據來鑒別網絡拓撲中的關鍵線路。文獻[29]基于小世界網絡模型,結合電網拓撲架構,定義線路被發電機與負荷之間的最短電氣路徑經過而承受的負載和為線路的帶權重線路介數,并將其用于對系統可靠性影響較大的關鍵線路辨識工作中,但其沒有進一步研究給出這些重要線路可能造成的風險后果。
復雜網絡理論通過對電力系統建模得到拓撲結構特征量參數,來對網絡中關鍵線路進行辨識。研究時將電力系統網絡拓撲抽象為一個包含n個節點、k條線路的復雜網絡。主要拓撲參數有:
(1)最大連通域G。電網因故障發生解列后,包含節點數最多的一個連通區域即為網絡的最大連通域。
(2)平均路徑長度L。網絡中節點i與節點j之間的距離稱為路徑長度Dij,對所有兩兩節點間的路徑長度求平均值,即得到平均路徑長度:
(7)
(3)線路介數BL。線路介數指的是在連接發電機與負荷的最短路徑中出現的次數。
(4)聚類系數C。聚類系數是反映網絡中所有n個節點分布密集程度的重要指標,其公式為:
(8)
其中,單個節點的聚類系數為:
(9)
上式中,bi是連接到頂點i的三元組的個數;ai是連接到頂點i的三角形的個數。
目前基于復雜網絡理論,主要從線路介數指標[30]、綜合考慮拓撲結構和潮流運行狀態[31]兩個方面來識別關鍵線路。文獻[30]基于無向無權小世界模型,對電網在不同攻擊模式下的結果對比分析,得出介數指標最大的線路對電網大停電事故的發生有著重要影響的結論。文獻[31]對以往方法進行了改進,在一定程度上考慮了潮流運行狀態,將線路介數指標與電網運行狀態的裕度信息相乘,以此為依據來鑒別網絡結構中關鍵線路。
由于復雜網絡可以映射實際系統的拓撲結構,以及其結構特征量指標能直觀地反映系統元件重要度的特點,復雜網絡理論在關鍵線路識別研究中得到了很好的應用;但同時也存在建模時與實際系統物理特性映射困難、系統模型統計特征不顯著、結構特征量與系統動態行為的關系不明確等方面的問題[32]。
6.結論
本文指出了進行電力系統可靠性評估的目的及意義,講述了當前分析電力系統可靠性的主要評估方法,對其對比分析指出了這些方法的特點和所存在的不足之處。目前可靠性評估方法仍有待改進,在考慮系統發生連鎖故障的可能性和將復雜網絡概念映射到實際系統的物理特性時仍未有一個很好的方法出現。對提升系統可靠性至關重要的安全性指標的分析方法還比較少,未來還需加強對安全性評估方面的研究工作。由于可靠性評估在指導電力系統的規劃、設計、運行中的重要作用,找到一個高效的評估方法對電力系統的發展具有重要意義。
參考文獻
[1]郭永基.電力系統可靠性分析[M].北京:清華大學出版社,2003.
[2]宋曉通.基于蒙特卡羅方法的電力系統可靠性評估[D].山東大學,2008.
[3]程林,郭永基.發輸電系統充裕度和安全性算法研究[J].電力系統自動化,2001,19:23-26.
[4]王銀莎,栗文義,郭鑫等.基于序貫蒙特卡羅和well-being模型的風/柴/儲能發電系統可靠性分析[J].電網與清潔能源,2011,27(11):78-82.
[5]鮑曉慧,侯慧.電力系統可靠性評估述評[J].武漢大學學報,2008,41(4):96-101.
[6]趙淵,謝開貴.電網可靠性指標概率密度分布的解析計算模型[J].中國電機工程學報,2011,31(4):31-38.
[7]Celli G,Ghiani E,Soma G G,et al.Active distribution network reliability assessment with a pseudo sequential Monte Carlo method[C]// PowerTech,2011 IEEE Trondheim. IEEE,2011:1-8.
[8]別朝紅,王秀麗,王錫凡. 電力系統可靠性評估的混合法研究[J]. 中國電力,2001,34(3):26-29.
[9]霍利民,朱永利,范高鋒等.一種基于貝葉斯網絡的電力系統可靠性評估新方法[J].電力系統自動化,2003,27 (5):36-40.
[10]Ebrahimi A,Daemi T.A novel method for constructing the Bayesian Network for detailed reliability assessment of power systems[C]// Electric Power and Energy Conversion Systems,2009.International Conference on.IEEE,2009:1-6.
[11]張藹薔.故障樹分析在電力系統可靠性研究中的應用[J].華東電力,2005,33(2):14-17.
[12]趙陽,李華強,王伊渺等. 基于復雜網絡理論和條件概率的災難性事故風險評估方法[J].電網技術,2013,37 (11):3190-3196.
[13]Zhao H,Zhang C,Ren H.Power transmission network vulnerable region identifying based on complex network theory[C]//Electric Utility Deregulation and Restructuring and Power Technologies,2008.DRPT 2008.Third International Conference on.IEEE,2008:1082-1085.
[14]別朝紅,王錫凡.復雜電力系統一類連鎖反應事故可靠性評估初探[J].電力系統自動化,2001,15:25-28+42.
[15]王曉濱,黃武浩,樓華輝等.系統狀態空間分割法在電力系統可靠性評估中的應用[J].電網技術,2011,35(10): 124-129.
[16]胡曉斌.基于解析法的配電系統可靠性評估[D].南昌:南昌大學,2008.
[17]趙淵,徐j耀,吳彬.大電力系統可靠性評估的蒙特卡洛仿真及概率密度估計[J].重慶大學學報,2007,30(12):16-20.
[18]張碩,李庚銀,周明.基于序貫蒙特卡羅仿真的發輸電系統充裕度評估算法[J].中國電力,2009,42(7):10-14.
[19]石文輝,別朝紅,王錫凡.大型電力系統可靠性評估中的馬爾可夫鏈蒙特卡洛方法[J].中國電機工程學報,2008, 28(4):9-15.
[20]Melo A C G,Oliveira G C,Morozowski F M,et al.A hybrid algorithm for Monte Carlo/ enumeration based composite reliability evaluation[C]//Third International Conference on Probabilistic Methods Applied to Electric Power Systems.London:Electric Power Research Center,1991:70-74.
[21]Oliveira G C,Pereira M V F,Cunha S H F.A technique for reducing computational effort in Monte-Carlo based composite reliability evaluation[J].IEEE Trans on Power Systems,1989,4(4):1309C1315.
[22]宋曉通,譚震宇.改進的重要抽樣法在電力系統可靠性評估中的應用[J].電網技術,2005,29(13):56-64.
[23]Ocnasu A B,Besanger Y.Distribution system availability assessment Monte Carlo and antithetic variates method[C]//19th International Conference on Electricity Distribution.Vienna,Austria:International Council on Electricity Distribution,2007:21-24.
[24]盧錦玲,楊曉東,粟然等.一種基于貝葉斯網絡的配電網可靠性評估方法[J].華北電力大學學報,2004,31(2):16-19.
[25]霍利民,朱永利,張在玲,陳麗.貝葉斯網絡在配電系統可靠性評估中的應用[J].電工技術學報,2004,19(8):113-118.
[26]霍利民,朱永利,張立國等.用于電力系統可靠性評估的貝葉斯網絡時序模擬推理算法[J].電工技術學報,2008,23(6):89-95.
[27]AjendraDwivedi,Xinghuo Yu,Peter Sokolowski.Identifying Vulnerable Lines In a Power Network using Complex Network Theory[C].IEEE International Symposium onIndustrial Electronics,Korea ? Seoul,2009.
[28]徐林,王秀麗,王錫凡.電氣介數及其在電力系統關鍵線路識別中的應用[J].中國電機工程學報,2011,30(1):33-39.
[29]曹一家,陳曉剛,孫可.基于復雜網絡理論的大型電力系統脆弱線路辨識[J].電力自動化設備,2006,26(12):1-5+31.
[30]Albert R,Albert I,Nakarado G L.Structural vulnerability of the North American power grid[J].Physical Review E,2004(69),025103(1-4).
[31]魏震波,劉俊勇,朱國俊等.基于電網狀態與結構的綜合脆弱評估模型[J].電力系統自動化,2009,33(8):11-15.
[32]蔡澤祥,王星華,任曉娜.復雜網絡理論及其在電力系統中的應用研究綜述[J].電網技術,2012,36(11):114-121.
作者簡介:
相比于分析單個弱點的脆弱性,基于模型的評估方法能更好的模擬攻擊者行為、表達弱點關聯性。盡管這些方法改善了網絡安全評估的效果,但當前工作仍有以下缺陷:
(1)非自動化。雖然攻擊圖生成已經實現了自動化,具備高可擴展性,但是網絡安全評估的其他部分仍需手動完成。評估依賴的數據庫(Bugtraq,/)并不包含弱點的“前提”和“結果”屬性,弱點關聯關系需要從弱點描述字段手動提取。
(2)評估效率。當前的網絡安全評估仍集中在機器數比較少的小規模網絡,為了獲取比較準確的分析結果,必須使用較復雜的評估模型,計算復雜度也會隨之提高。在評估有效性和評估規模之間,大部分工作選擇的是前者。因而,如何簡化評估模型,將評估方法推廣到大規模網絡是一個亟待解決的問題。本文提出了一種高效的網絡安全評估方法。在已有工作基礎上解決了三個關鍵問題:
(1)將變量消元算法應用到貝葉斯網中,不構建聯合概率分布表,直接計算評估結果。通過變量消元使提高了評估的效率,評估規模從原有的數十臺提升到數千臺。
(2)提取弱點信息,構建弱點的前提和結果集,同時整合當前主流的弱點數據庫,形成一個包含弱點詳細信息的量化關聯數據庫。
(3)提出一種基于原子域的攻擊圖計算方法,簡化了攻擊圖生成和評估模型的計算。本文組織結構如下:第2章介紹基本思想;第3章討論弱點關聯數據庫的構建;第4章給出原子域的攻擊圖生成方法;第5章提出基于變量消元的貝葉斯網評估模型;第6章通過真實環境下大量實驗,驗證本方法的有效性;第7章是總結與進一步工作。
基本思想
獲取當前網絡脆弱性信息是安全評估的前提,在此基礎上利用攻擊圖模擬入侵者行為,進而通過量化評估模型分析攻擊者在當前安全策略下所有可能的行為和后果,評價網絡的脆弱性,提出加固建議。
圖1是本評估方法的簡單流程。數據存儲池包括弱點數據庫和從網絡管理員獲得的配置信息(如網絡拓撲、訪問控制策略等)。此部分信息是生成攻擊圖,構建網絡評估模型的基礎。弱點掃描器包括控制服務器端和客戶端。客戶端安裝在每臺待評估機器上,由服務器端控制,對系統進行掃描,獲得當前網絡包含的所有弱點和它們的量化概率信息。之后,攻擊圖生成系統將弱點關聯,利用基于原子域的攻擊圖生成方法生成攻擊圖和貝葉斯網。以此為基礎,通過變量消元和貝葉斯推理,計算評估維度并顯示評估結果,給出安全加固策略。
弱點關聯數據庫
1弱點數據庫創建
計算機的弱點通常指軟硬件設計或策略上的缺陷,使得攻擊者可以在未授權的情況下訪問系統。一個好的弱點數據庫不僅能從多方面描述一個弱點的詳細信息,而且是攻擊圖生成和網絡安全評估的基礎。雖然有的研究工作根據經驗手動構建漏洞庫,能較準確的反映弱點某一方面的特征。但是此類數據庫由于人力有限,不可能包含當前所有弱點的詳細信息。同時,弱點信息不斷更新,新的弱點會不斷出現,如何保證數據庫的實時性是一個難點。
另一個構建漏洞庫的難點是如何提取弱點的關聯信息。攻擊圖的生成是一個將網絡中一系列弱點進行關聯的過程,通過攻擊路徑模擬攻擊者可能的攻擊行為。因此,為了自動化生成攻擊圖,必須有一個能反映弱點關聯關系的數據庫。一個弱點的前提集是指攻擊者要利用這個弱點實施攻擊,必須滿足的前提條件。弱點的結果集是指攻擊者利用這個弱點成功完成攻擊后,所能取得的權限提升或對主機和網絡造成的破壞。如果數據庫中的每一個記錄(弱點)都有前提和結果信息,就可稱之為關聯數據庫。
本文采用美國國家漏洞庫(NationalVulnerabilityDatabase,)中,攻擊復雜度是一個包含三個值的枚舉變量,即:0.31(H),0.61(M)和0.71(L)。所以,攻擊者成功利用該弱點的概率為0.71。
單個弱點的概率信息是進行概率推理、計算評估結果的基礎,一些研究者利用經驗設定一個弱點被利用的概率。但是弱點數據庫可能包含上萬條記錄并不斷更新,手動部署量化信息比較困難。雖然本數據庫設定的弱點利用概率值只能是0.31、0.61或0.71,但弱點的重要程度是相對的。通過這種方式構建量化數據庫不僅能使評估自動化,而且能比較準確得反映弱點的相對重要程度。基于以上技術,系統使用MySQL創建了包含46953條記錄的弱點數據庫,每條記錄包括弱點的基本信息、前提結果集和量化信息。
3基于弱點數據庫的掃描器
為了分析待評估網絡的脆弱性,系統以開源弱點評估語言(openvulnerabilityandsssessmentlanguage,OVAL,/)為核心構建弱點掃描器。選擇開源弱點評估語言的原因在于它是通用的弱點描述語言,描述方式符合CVE標準,方便從數據庫中提取信息。其次,掃描客戶端安裝在每臺機器上,能以管理員身份查找漏洞。考慮到評估網絡的重要性和安全性,安裝掃描器的代價是可接受的。除了主機掃描,系統還集成了網絡掃描器Nessus,從單個系統和整體網絡兩方面檢查漏洞信息,為網絡評估提供詳細的弱點列表。
攻擊圖生成
攻擊圖描述了入侵者利用弱點逐步達到目標的過程。本文提出了一種原子域構建攻擊圖的方法,簡化了攻擊圖生成過程。該方法分兩步:原子域初始化和攻擊圖生成。
1原子域初始化
原子域指的是特定主機的特定權限。為了對網絡建模,首先設定每個原子域的可用弱點集合。通過分析與攻擊者相連的所有主機組成的小網絡,可以初始化攻擊者的原子域。接著按照同樣的步驟初始化其他原子域,通過把一個大網絡分解成一組原子域,實現攻擊圖生成的簡化。當網絡結構或配置發生改變時,只需要更改相應的原子域,圖3是一個例子網絡[8]。表2是這個網絡包含的所有弱點信息,包括它們的利用條件和所在主機。表3顯示的是原子域初始化結果,也就是每個原子域的可用弱點集合。其中IpDUser表示了IpD機器的User權限。按照攻擊圖生成的單調性假設:攻擊者不會發動不能使他權限提升的攻擊,因此ipWRoot的可用弱點集合不包含“ap”。
2攻擊圖生成
當所有原子域初始化完畢,系統就可以通過原子域間的通信生成攻擊圖。首先從攻擊者所能訪問的原子域開始,分析攻擊者所能發起的攻擊,激活和當前原子域相鄰的子網絡中包含的原子域。接著以相同的方式,按廣度優先原則激活每個原子域和它相鄰的原子域組。當所有的原子域激活,攻擊圖生成過程結束。圖4是該網絡的攻擊圖。每個節點代表一個原子域(ip3Root表示主機3上的Root權限),每條邊代表攻擊者利用弱點實施的一次權限提升攻擊。由于采用單調性假設,所以攻擊圖中沒有回邊。
基于優化貝葉斯網的評估方法
1評估模型的建立
為了進行網絡安全評估,需要一個定量分析模型計算當前網絡的脆弱性,本文使用貝葉斯網結合貝葉斯推理完成這一任務。為了方便將攻擊圖和貝葉斯推理結合,引入貝葉斯攻擊圖的概念,并做如下定義:定義1設X表示一組離散變量集{X1,…,Xn},集合中每個變量的祖先變量是Pa1,…,Pan。條件概率分布表(CPT)指明了每個變量所包含的條件概率分布(CPD)如果攻擊圖和用概率分布表表示的量化信息結合,就可稱為“貝葉斯攻擊圖”。圖中的每個變量代表一個伯努利隨機變量Xi,P(Xi=T)表示攻擊者成功達到目標的概率,每條邊表示入侵者利用弱點發動的攻擊,而概率分布表表示了節點之間的概率依賴關系。正如前面所述,本文使用通用弱點評分系統中的“攻擊復雜度”表示一個弱點被成功利用的概率。雖然這種方法只能表示0.31,0.61和0.71三個值,但這并不影響評估結果。因為我們更關注一組弱點的相對威脅程度,而不是單個弱點的重要度。一些已有的工作使用通用弱點評分系統的“基本分”(BasicScore,BS)表示弱點被利用的難易度。他們將基本分除以10,用得到的0到1之間的值表示該弱點被攻擊者成功攻擊的概率。雖然此方法能從掃描結果中自動提取量化信息,但弱點的基本分除了包含一個弱點被利用的難易程度,還表示該弱點被攻擊后可能造成的破壞程度和影響。很多弱點的基本分是10,并不表示這些弱點被成功利用的概率是1。
在構建貝葉斯網過程中,應用了一個通用的假設:給定一個變量X,X的祖先節點獨立影響X的狀態,即,每個節點的條件概率不受其他節點的影響。已有的工作通過修改概率信息消除上述假設,Bobbio等通過關聯條件概率分布表解決這一問題。為了方便起見,本文不討論這種情況。圖5是一個包含三個原子域A、B、C的貝葉斯攻擊圖,e1和e2表示原子域之間的依賴關系,每條邊對應主機C上一個弱點。圖的右邊表示節點C的條件概率表,其中C=1表示該原子域激活成功,P(e1)和P(e2)是從數據庫中提取的弱點攻擊概率。當每個節點部署完概率信息后,就可以通過貝葉斯推理計算評估維度。
2評估維度
評估維度決定了評估的方向和結果,為管理員加固網絡提供了重要的依據。由于網絡安全分析和故障分析有相同的目標和類似的過程,所以借用故障分析理論提出兩個評估維度:頂事件不可靠度和底事件重要度。定義3(頂事件不可靠度)在一個貝葉斯網中,頂事件指一個與管理員規定的安全屬性有關的狀態,表示攻擊者成功達到目標的可能性。給定一個貝葉斯頂事件不可靠度表示了當前網絡的整體安全狀態。如果網絡管理員根據系統給出的安全建議,應用了加固策略,再次運行評估系統,將會發現頂事件不可靠度降低,系統整體安全性提高。
定義4(底事件關鍵度)底事件是造成網絡不安全狀態的根本原因。在一個貝葉斯攻擊圖(S,τ,S0,ss)中,底事件對應于S0。不失一般性,我們假設系統中存在多個狀態s10,s20,…,sj0。底事件sk0的重要度是一個后驗概率:本文提出的底事件計算方法不同于文獻。
Wang等人用邏輯表達式表示頂事件,式中的每個謂詞代表一個初始條件(即底事件)。雖然他們的評估方法能給出加固策略,但仍是一種定性評估。在貝葉斯評估模型中,底事件關鍵度是一個量化值,表達了對頂事件的影響程度。通過比較可知道如果攻擊者完成攻擊目標,最有可能從哪個底事件發起攻擊。另一個不同點是本文提出的計算方法不是通過圖搜索而是貝葉斯推理。如果當前網絡弱點信息發生改變,不需要重新生成攻擊圖,只需要改變相應節點的條件概率表再進行一次推理。相比于攻擊圖生成,貝葉斯推理代價更小,簡化了評估維度的計算。
3基于變量消元的評估維度計算算法
本節首先介紹變量消元的原理和使用變量消元降低推理復雜度的原因,接著給出評估算法。
3.1消元運算以圖6中的貝葉斯網為例,考慮計算P(D),有假設所有變量均為二值,則上式的計算復雜度如下:P(A)與P(B|A)需要做4次數字乘法,其結果與P(C|B)相乘需要做8次數字乘法,它的結果再與P(D|C)相乘需要做16次數字乘法。所以總共需做28次數字乘法。
為了利用聯合概率分布的分解來降低推理的計算復雜度,注意到在式4右邊的4個因子中,只有P(A)和P(B|A)與變量A有關,而變量C也只出現在因子P(C|B)和P(D|C)中,所以有式(5)的計算復雜度如下:P(A)與P(B|A)相乘需要做4次數字乘法,然后消去A需要做兩次數字加法,同樣的,消去變量B和變量C也分別需要4次乘法和兩次加法,所以乘法總次數為12,加法總次數為6。
比式4復雜度低。變量消元之所以能降低復雜度,主要是因為它使得運算可以局部化,每一步計算只關注單個變量和與它直接相連的變量。在上面的例子中,運算局部化大約節省了一半的運算量。在變量眾多的網絡中,節省可能是指數級的。
3.2評估算法
圖7給出的是基于變量消元的網絡安全評估算法。開始時為每個節點構建條件概率分布表,接著利用變量消元計算底事件不可靠度,在計算過程中得到頂事件不可靠度。
3.3算法復雜度分析
變量消元的復雜度與消元順序有關,本文使用最小缺邊搜索確定消元順序。在變量消元算法中,最耗費事件和空間的步驟是對消元操作的調用(圖7算法中第8到第13行)。從f中挑出所有涉及X的函數{f1,f2,…,fk},將它們相乘得到中間函數g,再將X從g中消去。設X1,…,Xl是g中除X之外的變量,如果把函數表示成多維表,則g所存儲的函數值的個數這便是變量X的消元成本。因此,算法的復雜度與當前的貝葉斯網結構有關。相比于通過聯合概率分布分析網絡脆弱性,這種局部化推理簡化了計算過程。大量真實環境下的測試表明,基于變量消元的評估方法能使評估復雜度降低,評估規模從原有的數十臺提升到數千臺。
測試
本章通過一個真實環境下的實驗,驗證所提出的方法有效性。試驗網絡環境如圖8所示,其中防火墻將網絡分為2個部分:攻擊者所在的網絡和運行關鍵數據服務的局域網。假設攻擊者從防火墻外部發起攻擊,防火墻設定的訪問規則如下:攻擊者只能直接訪問四臺機器:Ip1,Ip2,Ip3和Ip4。Ip15是數據庫服務器,攻擊者最終的目標是破壞作用數據庫,因此Ip15是目標主機。基本事件的先驗概率設置如下時基于原子域的攻擊圖也隨著掃描進行而產生。圖9顯示了該實驗環境下的攻擊圖。它包含了4個底事件(圖中橢圓形陰影標注)和1個頂事件(圖中最底部節點)。通過使用前面的算法,我們建立了貝葉斯攻擊圖。然后,使用貝葉斯推理來計算評估指標。整個過程耗時29秒。實驗結果如下:1)網絡的可靠度是0.4。
也就是說,攻擊者能達到攻擊目標的概率是0.4;2)最關鍵的主機是IP3(圖10)。修補這一主機上的漏洞將能有效地提升網絡安全性。我們在網絡中增加了5臺主機,然后重復上述實驗。圖10顯示的結果如下:1)頂事件的可靠度是0.31。
說明當主機數目增加時,攻擊者實現攻擊目標的可能性隨之增大。2)最關鍵的底事件是ip3;和15臺機器的實驗相比,底事件之間的重要度差距明顯增大了。
說明隨著主機數的增加,底事件對頂事件的影響被弱化了。我們基于本方法開發了一個評估系統,在北京郵電大學校園網絡環境下對系統做了測試,測試結果如圖11所示。橫坐標表示待評估網絡中包含的主機數,從300到3000。縱坐標代表網絡評估階段所需時間,單位是秒。結果顯示系統整體性能符合線性增長,評估時間隨主機數的增大而增加,3000臺機器需要16秒左右的評估時間。
考慮只包含一個數據源和一個信道無線通信系統模型。假設時間是離散的,初始時刻系統內無數據分組殘存。數據分組到達信道的過程為周期過程,即每隔時間τ有一個大小固定為L的數據分組到達信道。對于信道而言,馬爾科夫on-off信道模型下的傳輸時延與Gilbert-Eliotton-off信道模型下的系統性能已有詳細的論證,這說明討論一般on-off信道模型的價值性與必要性。本文將信道定義為一種無記憶的伯努利on-off信道,即系統在任意單位時間間隔內以概率p提供恒定速率為C的服務,以概率(1-p)不提供服務,并且系統服務是關于時間獨立的,實際服務并不會根據已有的服務進行調整。并且,信道傳輸數據分組需要消耗能量。數據分組在某些時間段內的到達率可能會大于信道的傳輸速率,但是不會一直大于信道傳輸速率,否則將導致數據分組無限積壓、系統不穩定。數據分組到達時信道若處于關閉狀態,則這些數據分組被寄存在一個容量無限的緩存器中,這樣就保證了不會有數據分組丟失,從而保證了系統傳輸的可靠性。規定信道的傳輸速率必須大于數據分組的平均到達率,但是一定時間段內系統仍可能有數據分組的積壓,本文只分析這一特定時間段內的系統能量消耗。
2隨機網絡演算的基本特性
網絡演算分為確定性網絡演算和隨機網絡演算。確定性網絡演算常用于分析系統的最差性能,隨機網絡演算常用語分析動態系統的性能。這一部分主要介紹了隨機網絡演算到達曲線、服務曲線和時延界限的定義與特征以及如何運用它們去解決第二部分中的提到的最優化問題。
3數值分析及仿真結果
3.1信道服務概率、概率性時延約束與時延約束的關系
在概率性時延約束確定的情況下,信道服務概率的最小值是隨著時延約束的增加而減小的。當時延約束為一個給定值時,其對應的縱坐標的值為信道服務概率可取的最小值,這樣才能保證最小傳輸速率有意義。當時延約束為一個給定范圍時,范圍起始值對應的縱坐標的值為信道服務概率可取的最小值。在接下來的討論中,信道服務概率和時延約束的取值必須符合上述約束條件。
3.2最小能量消耗與時延約束的關系
下面討論最小能量消耗與時延約束的關系。令噪聲功率譜密度N0=10-7W/Hz,信道帶寬為W=11MHz,固定的數據分組大小L=1Mbit/s,數據分組達到時間間隔τ=0.1s。選取時延約束為[0.7s,4s],信道服務概率p=0.99,概率性時延約束p0=0.1。每一個時延約束都對應著唯一的最小能量消耗,這表示在一個確定的時延約束下的最優化問題有唯一解。另外,最小能量消耗隨著時延約束的增加而減少,這是因為時延約束的增加將導致最小傳輸速率的減少,使最小能量消耗減少。
4結束語