時間:2023-05-30 08:53:10
開篇:寫作不僅是一種記錄,更是一種創造,它讓我們能夠捕捉那些稍縱即逝的靈感,將它們永久地定格在紙上。下面是小編精心整理的12篇網絡集成方案,希望這些內容能成為您創作過程中的良師益友,陪伴您不斷探索和進步。
關鍵詞:路由器;交換機;VLAN;IP地址管理;系統集成
中圖分類號:TP393文獻標識碼:A文章編號:1009-3044(2012)21-5050-07
System Integration Technology in Campus Network Design
HONG Lin-jian
(Hangzhou Light Industrial and Technical Schools, Hangzhou 310004, China)
Abstract: The full integration of the thinking of modern information technology and education, the direction of development of modern education, the campus network is an effective carrier of educational means of information technology. Implementation of information tech nology education means an effective way to strengthen campus network construction, network mode of the computer-assisted instruction, and to achieve a high degree of sharing of educational resources within the campus. Campus network system is a very large and complex systems, it is not only for modern teaching, integrated information management and office automation applications provide basic platform can provide a variety of applications and services, so that information can be timely and accurate transmission of to each system. Campus network construction, the main application of an important branch of the network technology - LAN technology, so this project will mainly focus on campus LAN construction process may be used in a variety of technical and implementation options, and application sys tem integration technologies schools to design a highly efficient, secure, reliable network systems integration solutions.
Key words: router; switch; VLANs; IP address management; system integration
隨著目前信息技術的飛速發展,數字化正日益滲入人們的日常生活中去。校園網建設是學校建設的重要組成部分,其建設水平是學校整體辦學水平、學校形象和地位的重要標志。隨著我國教育和科研網的不斷發展,目前,很多學校將校園網建設列入到學校的重點工作來抓緊實施,使學校建設正朝著網絡化的目標邁進。
數字化校園是一種理念,是指以網絡為基礎,從環境(設備、教室),資源(圖書資料、課件)到活動(教學、管理、服務、辦公)全部信息化,通過現代化手段從而達到提高教學質量、科研水平、學校管理水平的目的。
校園網的建成和使用,對于提高教學和科研的質量、改善教學和科研條件、加快學校的信息化進程,開展多媒體教學有著十分重要而深遠的意義。其主要包括各種局域網的技術思想、網絡設計方案、網絡拓撲結構、布線系統、Intranet/Internet的應用、網絡安全,網絡系統的維護等內容。
但是,在現階段大多數的學校在校園網建設初期沒有進行比較規范的需求分析,沒有對網絡系統進行合理性分析,從而對以后網絡系統的合理性、可用(靠)性、可擴展性、安全性造成影響。
關鍵詞:智能小區;系統集成;樓宇自控協議
中圖分類號:TU855 文獻標識碼:A 文章編號:1009-2374(2013)20-0078-02
智能小區系統綜合計算機技術、網絡通信、項目管理等方面的最先進技術,使建筑物內的電力、空調、照明、防災、防盜、運輸設備系統等協調工作,實現樓宇自動化(BA)、通信自動化(CA)、辦公自動化(OA)、安全保衛自動化系統(SAS)和消防自動化系統(FAS)。將各個子系統有機地集成起來,各個子系統實現資源共享。中心提供公共信息資源,所有的子系統既可獨立運行,又可以在計算機網絡的基礎上實現集中管理。平全基于小區物內部網Intranet之上,通過網絡集成、數據集成、界面集成、通信集成等多種技術,實現整個網絡上的信息交互、綜合和共享,實現統一的人機界面和跨平臺的數據庫訪問。各個子系統范圍如下:
圖1
(1)樓宇自動化包括高低壓配送電、應急發電、電能管理;普通照明及應急照明;電梯監控;冷熱源設備監控、空調控制、通風環境監控;給排水控制等。
(2)安全保衛自動化包括出入控制、防盜報警、視頻監控、電子巡更。
(3)消防自動化系統包括自動監控與報警系統、自動滅火控制、消防聯動控制、消防應急廣播。
(4)通信自動系統包括電視網絡、計算機網絡、電話網絡、綜合布線系統、廣播和電子公告系統。
(5)辦公自動化系統包括物業管理系統、遠程抄表系統、停車場管理系統、智能卡管理系統。
常見網絡結構包括現場總線、控制層、管理層、應用層四層結構。
目前由于智能小區系統集成在國內剛剛興起,只有在高檔小區才采用。基于價格比較高,產生效益需要長期使用過程才反饋到客戶那邊,所以小區系統集成還在不斷嘗試中,其中難點如下:
第一難點:協議標準選擇、接口選擇。
智能小區系統集成設計協議眾多,系統集成一般分四層,每層都有不同協議,按照國內經驗比較選協議如下:
目前現場總線選協議有基金會現場總線FF、LONWORKS、以太網、RS485等。樓宇自控選擇LONWORKS總線協議;出入控制、防盜報警可采用RS485協議接口;其他系統盡可能選擇以太網現場總線。LONWORKS總線協議目前國內樓宇自控主流協議,采用RS485接口協議是兼容部分廠家設備,減低工程造價,其他系統總線使用以太網。因為目前以太網迅猛發展,多數廠家都提供以太網接口設備。
控制層協議選擇:BACnet協議,建立BACnet協議基礎上樓宇自動化系統將是未來樓宇自動化的發展方向和采用的主流技術。LONWORKS協議同樣可以作為控制層協議,把兩個協議混合使用,BACnet作為系統層協議的一種選擇,優勢更大。從目前情況來看,樓宇控制器頂尖級廠家這類應用上,還沒有哪家選LONWORKS。BACnet很適宜工作站級管理領域應用,系統層協議有利于交互操作性。
管理層使用的TCP/IP協議是目前最成熟的管理層協議。
應用層協議使用的OPC和ODBC協議是微軟公司提供接口統一標準化智能小區應用層接口協議,能很好融入主流終端操作系統和數據庫。
我們選擇了復合網絡構成技術,采用LONWORKS樓宇自控現場總線,出入控制、防盜報警可采用RS485,BACnet為小區作為小區控制網主干技術,小區管理中心與以太網連接,通過Internet實現信息共享與遠程控制,其核心是BACnet控制網絡。
要解決子系統之間的互通互連,目前有一種解決方案:OPC技術和ODBC,所圖2所示。平臺采用國際標準OPC技術提供一個標準的軟硬件接口,能夠很好地適應各種硬件系統和各種通信控制協議,并為第三方系統提供樓宇設備的綜合性管理信息。可滿足系統所選用的技術和設備的協同運行能力、系統投資的長期效應以及系統功能不斷擴展的需求。
圖2
第二難點:設計圖紙和集成方案。
系統集成要采用科學的方法來進行,就是“總體規劃,優先設計,從上向下,分步實施”。從上向下,分步實施,是指各個子系統的功能和技術方案必須要滿足系統集成的目標和設計指導,先完成子系統的集成,只有這樣,才能夠達到總體目標。
系統總體結構是在小區的物業管理中心設置一臺總控主機,在每個單元設置單元控制主機,在每個需要聯網控制的設備處設置相應的控制主機,通過BACnet協議控制網絡將這些主機設備聯網,將小區形成了一個互動的智能網絡,公共設備都成為這個智能網絡中的智能節點,從而實現信息交互傳遞與智能化控制各項功能。
系統定位在小區建立BACnet控制網絡,可視對講和家庭安防報警作為戶內基本配置。同時,針對不同應用環境下系統的表現,做了大量的完善工作,使系統磨練成為一套完全成熟的系統。
為了解決互聯和互操作的問題,采用統一通信協議和協議轉換器實現網絡層互聯,采用OPC和ODBC技術實現應用層互操作問題。
第三難點:工程實施管理方面。
(1)管理方式:采用總承包模式和平行發包模式,根據甲方投資和自身人才儲備決定,我們討論是甲方節約投資,并具備智能小區人才儲備的情況下,工程采用平行發包形式,分設備材料供應商、施工方、設計和集成商三方。采取分工如下:設備采購由甲方直接采購,集成商協助制定采購數量。電源、機房配套、管線預埋由土建施工單位負責,綜合布線、設備安裝由設備單位負責。設備加電和調試由廠家和集成商、設備安裝單位聯合負責,集成商做主導。設備安裝單位負責硬件實施,廠家負責本機調試、集成商負責聯合調試。
數據庫、服務器、操作系統由集成商和供應商聯合負責,供應商負責單機部分,集成商負責聯合調試。集成平臺由集成商負責。工程進度、質量由機房提供節點和標準,集成商進行過程把控,并向甲方匯報。
(2)材料設備供應:根據設計圖紙和集成方案確定采購設備,包括綜合布線產品,網絡設備產品,數據庫、服務器、終、集成平臺。設備材料供應有集成商和甲方聯合根據實際進行動態調整。設備材料訂購計劃,考慮到倉庫空間限制,根據實際進度情況調整設備材料發貨時間。根據專業情況配套材料,配套材料比較雜,包括電源線、機房配電箱、開關電源、UPS設備、走線架、地線接入排、空調、辦公用品等。采購計劃要提前,到貨時間間隔大。綜合布線施工可以配套同步進行,材料到貨管理相對容易。設備采購涉及兼容性好的設備,支持集成方案協議。服務器和數據庫采購需要根據集成平臺需求和支持OPC和ODBC協議,采購相對容易。
(3)工程施工過程中難點如下:
配套建設包括電源、機房配套、管線預埋先行。難點在于電源提供,一來網絡設備分散各個地方,分布于樓宇設備間或者弱電井中,二來電源穩定性難以保證,電源接地點難確定。目前解決辦法是對于重要設備提供UPS供電,設備接地點可以通過樓宇柱的鋼筋開鑿引入作為接
地點。
綜合布線施工,部分垮樓宇線纜管道未規劃,在已經建設好的樓宇中,很難進行管道開挖,可采取架空或者營運商的線路或者直埋。
網絡設備安裝及調試,網絡設備安裝比較容易,但是調試工作涉及到供應商和集成商,對于兩者之間分工難以界定,最好在合同中給予明確下來。采購常用品牌網絡設備能減低網絡設備調試難度。
集成平臺安裝和調試。集成平臺是集成商的重點工作。集成商平臺選擇有很多,選擇成熟國際品牌價格較貴,選擇國內成熟廠家開發的平臺系統,價格比較適中,綜合從維護升級考慮,選擇具備生命力品牌,綜合成本比較低的,開發實力強大的集成平臺品牌。
關鍵詞:數據集成;數據復制;模式集成;本體
中圖分類號:TP311文獻標識碼:A 文章編號:1009-3044(2008)24-1120-03
The Summer of the Data Integrate Technology
ZHONG Qiu-yan
(China Department of Computer, Zengcheng College of South China Normal University, Guangzhou 511063,China)
Abstract:because of the current requirement of information, it introduces the necessity of the data integrate technology's development. It discusses the current data integrate technology and analyze the their advantages and disadvantages. It introduces the grid and ontology that are newest data integration technology. Based on the discuss it describes the data integration schema that is solved by the integrated the ontology with middleware. In the end, it brings forward the development's direction of the data integration.
Key words: data integration; data copy; schema integration; ontology
1 引言
隨著信息技術飛速發展和應用領域不斷拓寬,信息技術極大地提高了人們的工作效率,給人們的生活帶來了諸多便利。然而在信息化建設初期,由于缺乏有效的和合理的規劃和協作,造成信息化建設的大量重復和“信息孤島”現象,隨著信息量的爆炸式增長,信息化建設遭遇到巨大的浪費。針對目前情況,迫切需要一種技術用于將之前的各個獨立的信息化系統集合起來,給各個“孤島”架起溝通的橋梁,為將來各種各樣的信息化建設服務。隨著互聯網技術的誕生,在一定的程度上可以很好的支持信息和信息收集,但對于之前的信息化資源的重用需求,對于日益迫切的分散數據訪問和分析需求――跨地區的連鎖經營銷售商要求對其每天總的銷售狀況進行分析等,對于越來越復雜的應用環境――在線分析處理(OLAP)、決策支持系統(DSS)、數據挖掘(DM)等,人們迫切需要形成跨組織、跨領域、多應用的信息交換和共享。在這種背景下,數據集成技術應運而生。
數據集成技術是將分布的、異步的,甚至異構的獨立信息源中的有用數據集成在一起,使得用戶能夠以透明的方式訪問這些數據源,以供將來信息檢索、分析處理等等應用的技術。集成是指維護數據源整體上的數據一致性、提高信息共享利用的效率;透明的方式是指用戶無需關心如何實現對異構數據源數據的訪問,只關心以何種方式訪問何種數據,圖1顯示了數據集成系統模型。[1,2]
數據集成是信息系統集成的基礎和關鍵,好的數據集成系統可以保證用戶以低代價、高效率使用異構的數據。現在,越來越多的現代企業已經意識到商業數據集成在企業日常運作和管理中的重要性,全球著名的IT企業如Oracle、IBM,數據開發環境單一,工具環境無關性差等缺點。而且隨著應用的不斷深入,對Microsoft和Sybase等都針對自己的產品提出了數據倉庫的數據集成解決方案,這些解決方案提供了方便了數據集成方法,但它們都或多或少地存在這樣或那樣的缺陷,比如兼容性數據集成提出更新更高的要求――任意訂制需要抽取的數據、靈活而高效的數據抽取方式(實時或周期性抽取等)、數據抽取的一致性、異構信息源(包括半結構化和非結構化數據)集成和系統平臺無關性等。數據集成的研究與設計必須深入,解決以前方法的局限性,提供更高的實用性,找到一種更優的維護方法等等任務。[3]
2 傳統的異構數據集成方法
傳統的數據集成所采用的方法基本可以分為兩大類:數據復制方法和模式映射方法。
2.1 數據復制方法
數據復制方法將各個數據源的數據復制到與其相關的其他數據源上,并維護數據源整體上的一致性,提高信息共享和利用的效率。數據復制可以是整個數據源的復制,也可以是僅對變化數據的傳播與復制。數據復制方法可減少用戶使用數據集成系統時對異構數據源的數據訪問量,提高數據集成系統的性能。最常見的數據復制方法就是數據倉庫方法。該方法將各個數據源的數據復制到同一處――數據倉庫,用戶則直接訪問數據倉庫獲取數據。這種方法既可用于數據集成,亦可用于決策支持查詢。 但是,這種對數據倉庫的間接訪問方式帶來的問題就是數據更新不及時、數據重復存儲。斯坦福大學DB Group的數據集成方案是數據復制方式數據集成方法的代表性方案。然而在應用領域中,信息源數據通常含有企業商業機密信息或政府部門公眾機密信息,不能讓數據集成系統訪問這些信息或基表。[4]
2.2 模式映射方法:即虛擬視圖的方法
模式集成 ( Schema Integration )是人們最早采用的數據集成方法,也是其他數據集成方法的基礎。其基本思想是,在構建集成系統時,將各數據源共享的數據視圖集成為全局模式 (Global Schema),供用戶按照全局模式透明地訪問各數據源的數據。該方法不需要重復存儲大量數據,能保證查詢到最新的數據,比較適合于集成數據多、且更新變化快的異構數據源集成。
模式集成要解決的兩個基本問題是:構建全局模式與數據源共享數據視圖間的映射關系;處理用戶在全局模式基礎上的查詢請求。模式集成過程需要將原來異構的數據視圖作適當的轉換,消除數據源間的異構性,映射成全局模式。全局模式與數據源數據視圖間映射的構建方法有兩種:全局視圖法和局部視圖法。全局視圖法中的全局模式是在數據源數據視圖基礎上建立的,它由一系列元素組成,每個元素對應數據源的一個查詢,表示相應數據源的數據結構和操作;局部視圖法先構建全局模式,數據源的數據視圖則是在全局模式基礎上定義,由全局模式按一定的規則推理得到。
2.2.1 聯邦數據庫
聯邦數據庫是早期人們采用的一種模式集成方法。聯邦數據庫中數據源之間共享自己的一部分數據模式,形成一個聯邦模式。聯邦數據庫系統按集成度可分為兩類:采用緊密耦合聯邦數據庫系統和采用松散耦合聯邦數據庫系統。緊密耦合聯邦數據庫系統使用統一的全局模式,將各數據源的數據模式映射到全局數據模式上,解決了數據源間的異構性。這種方法集成度較高,用戶參與少;缺點是構建一個全局數據模式的算法復雜,擴展性差。松散耦合聯邦數據庫系統比較特殊,沒有全局模式,而是提供統一的查詢語言,將很多異構性問題交給用戶自己去解決。松散耦合方法對數據的集成度不高,但其數據源的 自治性強、動態性能好。
2.2.2 中間件集成方法
中間件集成方法是另一種典型的模式集成方法,它使用全局數據模式。與聯邦數據庫不同,中間件系統不僅能夠集成結構化的數據源信息,還可以集成半結構化或非結構化數據源中的信息,如 Web信息。基于中間件的數據集成系統主要包括中間件和包裝器,其中每個數據源對應一個包裝器,中間件通過包裝器和各個數據源交互。用戶在全局數據模式的基礎上向中間件發出查詢請求。中間件處理用戶請求,將其轉換成各個數據源能夠處理的子查詢請求,并對此過程進行優化,以提高查詢處理的并發性,減少響應時間。包裝器是對特定數據源進行封裝,將其數據模型轉換為系統所采用的通用模型,并提供一致的訪問機制。中間件將各個子查詢請求發送給包裝器,由包裝器來和其封裝的數據源交互,執行子查詢請求,并將結果返回給中間件。中間件注重于全局查詢的處理和優化,相對于聯邦數據庫系統的優勢在于:它能夠集成非數據庫形式的數據源,有很好的查詢性能,自治性強;中間件集成的缺點在于它通常是只讀的,而聯邦數據庫對讀寫都支持。
2.2.3 peer-to-peer 數據集成方法
peer-to-peer (P2P)[6]數據集成方法是在新興的P2P計算技術的基礎上,對原有的模式集成方法的擴展。P2P是一種基于對等網絡的架構,是計算機系統的結構從傳統的集中式發展為松散耦合分布式的新模式。在P2P數據集成方法中,參與集成的各個數據源節點分別被視作一端,每個節點可以將自己的一部分本地數據模式映射成為端共享模式,向其他節點共享自己的數據。純粹的P2P數據集成方法沒有全局數據模式,各節點可以直接通過P2P映射使用其他節點共享的數據模式,從而形成各節點之間對等的數據共享與訪問機制。P2P數據集成方法已成為當前數據集成研究的一個熱點。
3 異構數據集成的新技術
雖然數據集成技術已經取得了很多應用成果。但由于應用和需求的不斷拓展變化。數據集成迄今仍是困擾企事業單位信息系統建設、維護和發展的難題。還遠未得到很好解決。已有的數據集成方案普遍存在難以適應數據源的動態變化、難以完成動態集成以及傳輸成本高等缺陷。而且很多系統中的數據是從數據源向集成模式單向流動的,不能支持局部數據源之間的數據交換和共享。也不能在集成數據上進行新型跨部門綜合業務的開發針對以往數據集成方案的不足,人們不斷探索,新的數據集成技術也不斷涌現。其中包括網格技術和本體集成技術。
3.1 網格技術
網格技術提出目的就是實現分布式環境下的資源共享和協同計算。網格(Grid)又稱為虛擬計算環境。是近年來興起的一種重要的網絡信息技術網格利用計算機網絡把地理上廣泛分布的計算資源、存儲資源、網絡資源、軟件資源、 信息資源、知識資源等連成―個邏輯整體,然后像一臺超級計算機一樣為用戶提供―體化的信息應用服務。實現互聯網上所有資源的全面連通、全面共享。以消除信息孤島和資源孤島。
3.2 本體技術
數據的異構性分為兩個方面:一是結構性異構,即不同數據源數據的結構不同:二是語義性異構,即不同數據源的數據項在內容和含義上有所不同或有沖突。目前,XML已經成為異構系統間數據交換的公認標準,所以,語義異構成為數據集成技術的難點。已有的各數據集成方法也都面臨如何更好的解決語義異構的問題。
本體是對某一領域中的概念及其之間關系的顯式描述。是語義網絡的―項關鍵技術。本體技術能夠明確表示數據的語義以及支持基于描述邏輯的自動推理,為語義異構性問題的解決提供了新的思路,對異構數據集成來說應該有很大的意義。但本體技術也存在一定的問題:已有關于本體技術研究都沒有充分關注如何利用本體提高數據集成過程和系統維護的自動化程度、降低集成成本、簡化人工工作。基于語義進行自動的集成尚處于探索階段,本體技術還沒有真正發揮應有的作用。
因此,可以采取本體技術和中間件相結合的方法[5]:采用中間件架構,支持虛擬視圖或視圖集合,且不存儲任何異構數據庫中的實際數據。為了更好地解決語義異構,在中間件中引入了一個本體庫。
整個系統架構如圖2所示,包括如下3個層次:
1) 應用層
應用層為終端用戶提供訪問中間件層的查詢接口 ,用戶可以通過應用層的瀏覽器調用中間層。系統提供統一的查詢檢索平臺,它能夠顯示用戶可以查詢的集成信息,而底層集成的數據源對用戶是透明的。
2) 中間件層
中間件層從更高層次上屏蔽了數據源的分布性和異構性。用戶認為所有的數據都是本地的,處于同一服務域中,而具體的查詢請求的處理、結果的返回都由中間層負責。中間件主要由中介器、包裝器和本體庫3個部分組成,其中,中介器又包括查詢生成器、查詢分解引擎、查詢執行引擎和結果處理4個功能組件。
3) 數據源層
數據源層是由分布式異構數據源組成,數據源可以是關系數據庫、Excel表格,也可以是半結構化的XML文檔。每一個數據源都可以位于Web上不同的服務站點,采用本地的方式對數據進行管理。
4 數據集成技術展望
鑒于異構數據集成所固有的難點。可以相信,異構數據集成技術會隨著各個難題的解決而得到越來越廣泛的應用。今后,數據集成的研究方向應該包括:(1)基于網格、本體語義的數據集成方案的研究;(2)多種技術相結合的數據集成方案;(3)集成數據的完整性、一致性,實時性。
5 結束語
本文從對數據集成技術需求出發,說明了數據集成技術對當前信息系統的重要性。對傳統的幾種數據集成技術進行了概括,并對數據集成的兩種新技術進行了研究,給出了數據集成技術發展的方向
參考文獻:
[1] Widom J.,"Research Problems in Data WareHousing",In Proceedings ofthe 4th,Int'L Conference on Information and Knowledge Management(CIKM),November 1995.
[2] 薛惠忠,莊曉青,董逸生.數據倉庫中的數據集成轉換[J].現代計算機,2003.12:78-82.
[3] Ullman J D. Information integration using logical views[c]//proceeding of ICDT97, Volume 1186 of LNCS, 1997:19-40
[4] Hammer J.,Garcia-Molina H., Widom J., Labio W., Zhuge Y. "The Stanford Data Warehousing Project",In IEEE Data Engineering Bulletin, 1995,18(2):41-48.
[5] 周剛,郭建勝.基于本體的異構數據源集成系統分析與設計[J].北京:北京聯合大學學報,2007.10:45-48.
[6] 周傲英,凌波.Peer-to-peer系統及其應用[J].計算機科學,2001,29(8):200-202.
關鍵詞:中央集采;華三實驗室;華三實訓室;華三網絡學院;系統集成;網絡集成
中圖分類號:TP391
實驗室的建設是加強職業教育基礎能力建設、改善職業院校辦學條件和大力提升職業教育辦學實力的重要措施。華三網絡技術作為信息技術的基礎,有大量技能型人才的需求,網絡實訓室的建設,為對網絡技術人才進行技能培訓提供了基礎條件。在華三實驗室中,教師通過教材和實驗手冊,將網絡知識學習與技能培養有機的結合起來,全面闡述了網絡組網技術,跟蹤網絡技術發展動態,以培訓面向社會、面向未來的具有全面技能的網絡人才為最終目標。各職教院校可根據實際需求情況、組合各類培訓課程,通過基本網絡技術培訓、高級網絡技術培訓、認證網絡專家培訓這種由淺入深的教學培訓方式,培訓不同層次社會需求的學員,并為學員長期發展提供全面網絡技術培訓方案。
1 華三實驗室集成方案
內蒙古商貿職業學院華三實驗室,采用小組討論式的教學形式,為了保證網絡實訓的效果,每6個人一個小組。所有的教學試驗要求能夠在每個小組內部獨立完成。每個小組成員均能夠動手操作設備。實驗室內實驗的進行有兩種方式,一種方式是學生直接通過設備的Console口對設備進行配置,一種方式是將網絡設備連接到一個控制臺上,學生通過網絡實訓室內部的局域網登陸到控制臺,通過控制臺對試驗臺內的網絡設備進行配置。第一種方式管理比較麻煩,而且經常插拔Console線會加速設備Console口的損壞。第二種方式可以通過控制臺對試驗進程進行管理,而且學生不需要插拔Console線,因此,我們建議網絡實訓室采用第二種方式進行建設。
圖1 華三實驗室拓撲結構
圖2 機柜與核心交換機機柜聯拓撲
2 華三網絡實驗室的管理
在H3C網絡實驗室解決方案中,實驗管理平臺由設備管理控制器DMC和實驗室管理系統軟件NEMS兩部分組成。
2.1 設備管理控制器(DMC)
設備管理控制臺(DMC,Device Management Controller)扮演的主要角色是一個串口服務器,用來在不同的網絡用戶間共享一個實驗臺中的網絡設備的Console口,使這些用戶可以通過IP網絡直接訪問實驗設備的Console口,完成設備的配置,進而完成相應的實驗。每個實驗臺有一個DMC,用來連接本實驗臺里所有設備的Console口。用戶通過反向Telnet方式訪問實驗設備的Console口。實驗臺DMC設備登陸方式為http://XXX.XXX.XXX.XXX:8888 (XXX為實驗臺IP地址)。
2.2 NEMS
NEMS(Network Experiment Management System)是H3C網絡實驗室方案中的可選組件,是教師用來進行網絡實驗教學管理的輔助工具。教師通過NEMS進行實驗設備的管理、實驗課程的設置、實驗內容的定制、實驗環境的部署、實驗過程的管理監控、實驗環境的恢復、實驗結果的獲取驗證等。
NEMS常用操作:
(1)一鍵清:快速恢復設備缺省配置。每次操作員做完一組實驗或者下組操作員做實驗都需要先將設備中已有的配置進行缺省配置,這往往需要占用大量時間,實驗效率非常低。通過一鍵清功能在每次做完實驗后批量的對所有設備進行自動的恢復缺省配置。這樣將大大提高昂貴實驗室的使用率,提高實驗室的價值。
(2)持續學習:記錄當前設備配置,當操作員下次實驗時,可恢復原有配置,方便繼續實驗。一個實驗小組在利用完設備后,下一個小組將會對這些設備進行全新的配置,那么就應該在第二個小組回到實驗室后,統一將設備配置狀態恢復到上一次的科研進度。同時管理員可以針對科研進度和狀態進行掌控,教師也可以針對學員的學習狀態和學習效果事后對學員每個人的實驗配置文件研究并提供相應指導和調整自己的教學方法。
(3)作業、試卷的管理:這一功能主要是針對教學業務而言。每次實驗課或實驗考試后,學生直接離開即可,老師將每個學生實驗結果配置拷貝到自己的電腦中,并利用多配置分析系統對標準答案和學生作業、答卷進行自動差別比較,發現學生實驗的問題,并給出相應的成績。
(4)鍛煉能力:實驗之前將特定的錯誤配置預設到實驗臺中,通過預設錯誤配置,鍛煉和考核學生技術水平,鍛煉學生的排錯能力,從而提升了學生對網絡進行排錯的能力,教師設定的錯誤知識點,是學生在平時實驗中容易出錯的知識點。
參考文獻:
[1]杭州華三通信技術有限公司.H3C網絡學院系列教程[M].北京:清華大學出版社,2011(03).
計算機網絡集成面對的行業規模不同,所以,在實際應用過程中,需要使用不同的網絡平臺。從計算機應用的具體情況來看,需要系統集成人員完成大量的調查工作,通過分析用戶的反饋內容,反復論證方案,得出最理想的方案,以確保設計的合理性。
1 網絡集成系統的設計原則及步驟
1.1 設計原則
網絡系統集成的主要原則就是依據實際需要,結合各部分的具體需求,合理操作,提升工作效率。建設計算機網絡信息集成系統的最終目的是要滿足廣大用戶的需求,使操作變得更加簡單、合理。因此,在設計集成系統的過程中,要嚴格遵循以下原則。
1.1.1 可靠性
網絡系統是信息共享的一個平臺,所有用戶對該平臺都有十分嚴格的要求。如果某個部分發生故障,整個系統的運行都會受影響。因此,在設計集成系統的過程中,要確保系統能在短期內滿足用戶的各項需求,為系統維修人員爭取寶貴的維修時間,從而提高系統的可靠性。
1.1.2 安全性
安全是保證計算機網絡系統運行的主要因素之一。如果系統存在安全方面的問題,就不會有用戶愿意使用該系統。在高危網絡系統運行的過程中,很容易受到黑客和病毒的攻擊,進而泄露系統中的數據,損害用戶的利益。因此,網絡系統應當具有較強的預防能力和恢復能力,以確保用戶的信息安全。
1.1.3 實用性
在設置網絡系統時,應當以用戶為中心,以服務和適用為宗旨。因此,在設置集成系統的過程中,需要重視系統的實用性,確保系統能夠滿足用戶的使用需求。
1.1.4 前瞻性
在設計計算機網絡系統時,不僅需要確保系統的可靠性、安全性和實用性,還要有一定的前瞻性,以便于未來拓展和更新系統,從而適應計算機技術和網絡的發展,滿足用戶的需求。
1.2 設計步驟
在設計集成系統時,不僅要遵守一定的規則,還需要按照一定的步驟進行,以確保設計的合理性。在歸納、總結設計集成系統的步驟時,其主要包括網絡規模的確定、網絡安全設計、選擇IP規劃等多個方面的內容。但是,從實際設計情況來看,其中的一些操作步驟并不是必需的,具體操作時可以適當省略,但有些步驟是必須嚴格執行的。具體實施步驟應當依據具體情況而定。
2 計算機網絡系統集成的發展
2.1 單一集成
單一集成是計算機網絡集成最初使用的一種方法。單一集成方法十分優越,利用該方法能夠實現效率和系統架構的最大化。單一集成的具體技術特征是:將所有的數據源統一集中在某一特定的系統中,適當地忽略其他數據的統一或轉化。但是,在計算機網絡集成過程中,很少使用單一集成方法。這主要是因為,高度集中部分數據源不僅會耗費大量的時間,還要使用先進的設備。在完成單一系統集成后,如果局部內容被改變,整體內容就會受到影響。由此可知,在網絡集成過程中,應用單一集成技術取得的效果并不理想。
2.2 分布式集成
在分析單機片集成技術時發現了單機片技術中存在問題。經過一段時間的研究,很快形成了與同類基本結構為主導的分布式集成技術。該技術的出現具有劃時代的意義,很好地解決了單一模式集成技術在數據源集方面存在的問題,縮短了系統的開發時間,同時,也降低了系統的開發成本和對開發設備提出的要求。在實際工作過程中,使用機構分布式集成技術解決了傳統的將數據源集中在單一系統中存在的問題。將系統劃分為多個不同類型的模型,合理應用計算機網絡模型的特點,能夠實現不同模型之間的數據轉化。但是,在具體操作中需要注意,該方法并不是完美的,其主要缺陷是,在系統運行的過程中,要想其能夠正常工作,集成系統端口與外部鏈接模式必須完全吻合。雖然分布式集成技術可以很好地處理系統內部資源的整合問題,但是,它處理外部問題的能力并不強,這也是其應用中的主要缺點之一。
2.3 基于Web的集成技術
當分布式集成技術出現后,隨著信息技術的快速發展,Web服務信息集成系統被應用于計算機領域中。在其應用過程中,最主要的特點是:合理應用Web服務協議,系統運行過程中涉及到的所有數據都可以與Web服務相連接,并且應當在Web中心完成注冊工作,而且系統中涉及到的所有數據的交流和溝通都可以通過Web中心完成。同時,還可以有針對性地選擇外部信息數據源,在實現信息雙向溝通的同時實現外界信息的合理整合。
3 系統集成技術方法
隨著計算機技術的發展,網絡系統集成技術也發生了較大的變化,其方法比較多,但是,歸納、總結眾多方法后,最主要的有3種。
3.1 數據集成
數據集成是眾多集成方法中最基礎的一種, 同時,也是核心環節。數據集成分為數據轉換和數據聚合2種形式。
3.1.1 數據轉換
數據轉換就是在處理數據的過程中,利用特定的轉換工具,針對不同信息系統之間需要傳遞的數據信息進行轉換和交換,從而實現對各個子系統數據的合理集成。該方法不僅是數據集成過程中使用的一種技術方法,也是計算機網絡集成技術中的一種基礎方法。
3.1.2 數據聚合
數據聚合就是在虛擬全局數據模式中,適當集成和處理不同局部存在的數據源。該方法與數據轉化模式相比,關鍵點在于加快對數據管理內容的改進,最終達到集成數據的目的。
3.2 API集成
API集成的最大優點是綜合考慮不同用戶的具體需求,集成不同的單體,達到集成的目的。API主要是合理應用程序之間的接口,通過程序訪問API數據,完成對數據的集成。目前,API集成技術主要用于集成圖像管理系統中。API技術的應用主要體現在數據的交換和抽象轉換上。API集成技術經常被應用于各大圖書館管理系統中,以實現信息共享,提高數據傳輸效率。在系統操作過程中,應用API集成技術可以直接獲取想要的信息。這樣,不僅提高了工作效率,還使得信息傳遞變得更加標準。
3.3 方法集成
方法集成主要采用的是商業邏輯思維,它是一種以商業為核心的應用軟件。在具體操作過程中,可以通過操作或共享實現結合。方法集成與數據集成、API集成相比,具有以下優點:①能夠大范圍地應用程序操作;②可以詳細訪問公共商業功能;③直接調用系統中的應用程序。但是,其也具有較為明顯的缺點——方法集成缺少合理的支架。此外,在公共訪問的過程中,對細致內容的把握也存在不小的麻煩和難度。
4 結束語
合理應用計算機網絡集成技術可以大幅提高工作效率,進一步提高系統內部的靈活性和可靠性。這與現代人對生活和工作的要求相符。由此可知,該技術具有較大的發展空間。本文重點分析了計算機網絡集成技術中的一些內容,希望對推動集成技術的發展有所幫助。
關鍵詞:計算機;網絡系統;集成;方法
中圖分類號:TP393.09
計算機網絡系統集成技術是在計算機技術取得飛速發展的前提和背景之下出現的。從某種程度上來說,對計算機網絡系統集成技術方法的理解與掌握是研究計算機網絡系統集成這項技術的關鍵。在對計算機網絡系統集成技術方法以及計算機網絡系統集成在煤化工行業的應用這兩個問題進行深入分析之前,我們來了解一下網絡系統集成的基本概念。
1網絡系統集成概述
對于這個問題,我們可以從網絡系統集成的概念、網絡系統集成的原則、網絡系統集成的設計步驟等幾個方面進行分析。
1.1網絡系統集成的概念
作為信息系統集成的一個重要組成部分,網絡系統集成主要是指以網絡為中心和載體,把相關硬件設備、傳輸媒介有機整合起來而形成的系統。網絡系統集成的目的在于將各個部分有機協調起來,以更好的提高效率、創造效益。
1.2網絡系統集成的原則
既然網絡系統集成是以滿足用戶的需求為根本目標的,那么就必須遵循一定的原則和規定。歸結起來,主要有以下原則需要遵循,即實用性、可靠性、安全性、前瞻性等。首先,實用性。網絡系統必須在最大程度上滿足用戶的需求,以更好的追求實用性的目標;其次,可靠性。網絡系統必須具有可靠性,一旦系統的某一部分發生故障,必須保證其在短時間內還能滿足用戶的需求;第三,安全性。網絡系統的設計與使用必須是安全的,必須具有在出現網絡攻擊、系統漏洞的情況下進行預防與恢復的能力;最后,前瞻性。網絡系統不僅要在一定的時期內保持良好的性能,在未來的發展中也必須能夠進行與時俱進的更新與拓展,以適應用戶多樣化的需求。
1.3網絡系統集成的設計步驟
除了要遵循一定的原則,網絡系統集成的設計還有一定的步驟需要遵循。歸結起來,網絡系統集成設計的步驟主要有確定網絡的規模、網絡拓撲結構選擇、網絡協議選擇、網絡設備選型、IP地址規劃、網絡安全設計以及布線方案和布線產品的確定等幾個方面。不過,在實際的操作過程中,有些步驟是不需要的,可以進行適當的省略,而有些步驟又是必須遵守的,具體步驟的確定要以實際要求為依據。
2計算機網絡系統集成技術方法
計算機網絡系統集成技術是伴隨著計算機技術的飛速發展而逐步產生和發展的。計算機網絡系統集成技術的方法有很多,不過,歸結起來,主要有數據集成、API集成以及方法集成三種。
2.1數據集成
數據集成是計算機網絡系統集成技術方法中最基礎也是最核心的環節。數據集成方法又可以分為數據聚合和數據轉換兩種形式。所謂數據聚合就是指在所構建的虛擬全局數據模式中,將各局部之間的異構數據源加以集成,與數據轉換這種方法相比,數據聚合的關鍵和立足點在于對數據管理加以改進,以更好的達到數據集成的目的。所謂數據轉換就是指利用一定的轉換工具,對不同信息系統之間的數據加以交換與轉換,從而達到各個子系統之間數據的集成,這種方法又是數據集成方法中的基礎,可謂計算機網絡系統集成技術方法基礎的基礎。
2.2API集成
目前,API集成方法在圖形信息管理系統中比較常見,這是因為其功能就是以數據集成為基礎。在對API數據集成方法進行運用的過程中,需要把握其重點,也即對不同客戶端之間的接口加以連接集成,并進而達到數據集成的目的。API集成方法具有非常明顯的優越性,比如它可以有效節約人力資源,可以有效提高各個部門之間的數據傳輸效率,可以更好的實現信息共享等。
2.3方法集成
方法集成方式可以將商業邏輯作為軟件,然后采用共享的方法或操作來達到集合共享的目的。與其它兩種方法相比,方法集成具有比較顯著的優點,比如可以對公共商業功能進行細致訪問、可以直接進行大范圍的應用程序操作以及直接選用調用方法等,不過其缺點也是不容忽視的,比如由于該方法沒有比較有效的支架,在對公共方法的細致特性進行控制和把握時,會遇到不小的難度和麻煩。
3計算機網絡系統集成在煤化工行業的應用
計算機網絡系統集成技術在實際中已經得到了非常廣泛的應用,為了理解和闡述的方便,我們主要以其在煤化工行業的應用為研究對象,對計算機網絡系統集成技術加以探討和分析。
煤化工行業作為一個發展比較迅速而且涉及范圍比較廣泛的行業,運用計算機網絡系統集成技術保障其信息的安全與數據的可靠也就變得異常重要和必要。在對計算機網絡系統集成進行運用的過程中,需要特別注意以下三個方面,即可靠的網絡平臺的構造、網絡信息系統運用的安全性以及病毒防范安全體系的設置等。這里有一個小型的煤化工管理單位,主要提供的是專利檢索、市場調研等服務,并對本地區所有的煤化工企業進行監管。近年來,根據發展的需要,運用計算機網絡系統集成技術,建立了數據管理與處理系統。具體來講,該系統在進行設計時,就根據煤化工行業的工作特性,制定了相應的目標,比如建立一個覆蓋本地區所有煤化工行業的數據管理系統,并在以數據庫服務器為核心的基礎上,不斷優化其性能。目前,隨著實踐的發展,這一目標已經基本實現,并且其功能也已有了很大的擴展。該網絡系統集成系統所采用的是客戶機―服務器形式,其下屬單位和部門所采用的是太網技術和數據庫網絡,這樣一來,當主線路出現故障時,就可以直接切換到備用線路,以更好的確保網絡通信的高可靠性和系統的安全性。對于該煤化工單位數據庫網絡系統的布線工程,主要是以國際標準所規定的結構化綜合布線系統的規程為依據的。鑒于網絡布線一般都是一次性投資,所以在進行布線時,更多的還要考慮到未來的發展。
4結語
近年來,以計算機技術為基礎和依托的計算機網絡系統集成技術取得了較為迅速的發展,開始成為一門新興的服務行業。計算機網絡系統集成技術可以有效提高工作效率、擴大經濟效益。除此之外,計算機網絡系統集成還可以最大幅度地提高系統內部的完整性與靈活性,因此,具有非常重要和廣闊的應用前景。本文從網絡系統集成概述、計算機網絡系統集成技術方法以及計算機網絡系統集成在煤化工行業的應用三個方面進行了分析和闡述,希望可以為以后的相關研究和實踐提供某些有價值的參考和借鑒。在具體進行論述的過程中,可能由于各種各樣的原因,還存在著這樣那樣的問題,在以后的研究和實踐中要加以規避。
參考文獻:
[1]劉興俊,鐘惠球.淺析計算機網絡系統集成技術方法[J].價值工程,2011,10(12):225-228.
[2]聶俊雄.網絡系統集成方法初探[J].中國新技術新產品,2013,15(3):33-35.
The article mainly introduces the layout and application of Banduo Hydropower Station dam safety automatic monitoring system ;detailedly introduces the comparison and selection for the integrated scheme of automation system and early late half-automatic equipment and system integration implementating.
關鍵詞:班多水電站;安全監測自動化;系統集成;
中圖分類號:F407文獻標識碼: A
Keywords: Banduo Hydropower Station; dam safety automatic monitoring;system integration;
1 工程概況:
黃河班多水電站位于位于青海省海南州興海縣與同德縣交界處的班多峽谷出口處,距上游茨哈峽水電站6.5km,距下游羊曲水電站約75km,距湟源轉運站282km,距西寧333km。
班多水電站工程以發電為主。樞紐主要由左岸混凝土壩、泄洪閘、河床式電站廠房及右岸混凝土副壩、開關站以及對外交通公路等主要建筑物組成。壩軸線長303.00m,壩頂高程2764.00m,最大壩高79.7m。設計正常蓄水位2760.00m,廠內安裝三臺軸流轉漿式水輪發電機,總裝機容量360MW,總庫容1535萬m3。
班多水電站工程等別為二等大(2)型,擋水、泄洪、引水及發電等永久性主要建筑物為2級,次要建筑物為3級。導流建筑物主要有導流明渠及泄洪閘,導流明渠壩址處在工程后期回填成左岸混凝土副壩。
2 監測系統簡介:
安全監測系統監測項目主要包括電站建筑物及其邊坡的變形、應力應變及溫度、滲流,傳感器數量為273支,主要為差動電阻式和振弦式儀器。
根據現場施工及蓄水期加密觀測需要,目前已有178支內觀傳感器接入數據采集模塊,共安裝各類數據采集模塊15個,其中弦式采集模塊2臺,差阻式采集模塊13臺,分別安裝在廠房、左右付壩及泄洪閘測站,各采集模塊獨立運行。作為半自動化設備,可用便攜式采集裝置實現測站自動數據采集,未形成網絡集中控制;
前期半自動化系統由西安華騰光電實施,數據存儲軟件采用sql sever 2000作為其數據庫管理軟件。
后期自動化改造工程于2012年5月由南京南瑞集團公司中標實施,主要包括繞壩滲流、揚壓力、垂線、引張線、邊坡穩定儀器接入自動化網絡和前期半自動化設備的集成,通過集成網絡實現所有自動化設備的控制。
3.系統布置
班多水電站由于點少且較為集中,可實現全部測點的自動化觀測,上游邊坡儀器(共計36支)由于現場條件受限,自動化實施困難。上下游水位獨立監測不納入自動化。則有232支儀器可實現自動化觀測,其中177支已接入半自動化設備,另有54支儀器需接入自動化系統,主要為繞壩滲流、壩基揚壓力、垂線、引張線及下游邊坡巖石變位計。依據現場情況,共安裝南瑞公司DAU2000采集單元6臺。各類NDA模塊10塊。分別布設于1#、2#、3#垂線室及左岸交通廊道。
4.雙系統集成方案選擇:
4.1集成方案的選擇
方案一:
依據原有華騰設備廠家提供的通訊協議,編寫華騰設備控制控件并將控件增加至南瑞公司系統管理軟件,實現南瑞系統軟件對半自動化設備的采集、控制;
該集成方法優劣分析:
優點:
(1)同一軟件控制不同系統,維護操作較為方便。
(2)運行維護人員比較熟悉南瑞系統,可減少運行維護培訓力度,節省培訓費用;
缺點:
(1)需重新編寫控制軟件,開發軟件投入較大,沒有類似工程經驗;
(2)各廠家設備用同一總線連接成串,總線線路較長,兩廠家設備通信能力不同,容易造成通信不穩;
(3)同一總線傳輸不同設備控制命令,容易造成信號沖突;
(4)后期軟件若出現運行故障,故障較難查找,維護難度較大。
方案二:
各系統分別采集、存儲并保存至相應數據管理軟件,然后編寫數據傳輸軟件將華騰設備采集所采集原始數據同步至南瑞系統數據庫,然后在南瑞系統軟件中建立相應測點,與華騰系統存儲數據庫中測點一一對應,在南瑞系統軟件中實現原始資料的計算、整編、過程線繪制等功能;
該集成方案優劣分析:
優點:
(1)實施只需編寫數據傳輸軟件,并且有類似工程經驗,實現難度不大;
(2)并且雙系統獨立運行,信號傳輸不會產生沖突,獨立運行、獨立維護,維護難度較小。
缺點:
(1)兩條線路需要各自獨立的服務器和光纜線路支持,加大了服務器和通訊光纜的需求量。
經過資金投入和技術實現難度對比分析,認為第二種實現方式投資較少、技術上易于實現,故采用第一種方案實現雙系統的集成。
4.2系統集成實現:
半自動化設備以“一進一出”串糖葫蘆總線方式用屏蔽雙絞線并聯接入網絡,總線首端位于壩頂3#垂線室,尾端接入匹配電阻以防止信號反射,以保證總線線路通信能力。
后期改造工程設備按設計文件要求安裝至各測站,并將傳感器按測點配置表接入各模塊,并已總線方式將設備連接成網絡。總線末端分別位于壩頂1號垂線室和基礎廊道2號垂線室。總線首端位于壩頂3#垂線室。
在3#垂線室風別安裝適合半自動化設備和南瑞設備的光端設備,將各系統總線接入4芯通訊光纜(南瑞系統和華騰系統各兩芯)通至辦公樓中控室,中控室分別安裝其采集計算機和存儲服務器,實現系統數據采集和整編。
示意圖見圖一:
圖一:班多水電站安全監測自動化網絡示意圖
5 運行狀況
班多水電站安全監測自動化自2012年12月10日正式投運進入試運行期,試運行期間,仍采用原先人工觀測對各壩段位移進行觀測,將其結果與自動化觀測結果進行比較,以檢驗自動化系統觀測結果的可靠性。
5.1 外觀位移監測
取倒垂線測點IP1為例,進行比測分析:
圖二:IP1測點人工、自動化比測過程線
由于人工觀測早于自動化觀測存在累計位移值,從圖二可以看出,人工、自動化變化趨勢一致,存在臺階為人工觀測累計位移值;
5.2外觀滲流監測
取測點UP-05為例,進行比測分析:
圖三:UP-05測點人工、自動化比測過程線
從圖三可以看出,對于滲流觀測,自動化觀測精度明顯高于人工觀測,人工、自動化變化趨勢一致,滿足觀測要求;
5.3內觀應力監測
取測點R-XS-13為例,進行比測分析:
圖四:R-XS-13測點人工、自動化比測過程線
從圖四可以看出,人工、自動化比測差值較小,滿足觀測要求;
5.4內觀位移監測
取測點S506-CF-3為例,進行比測分析:
圖五: S506-CF-3測點人工、自動化比測過程線
從圖五可以看出,自動化略有跳值,但跳幅較小,精度滿足要求,內觀觀測人工、自動化變化一致,總體測值穩定;
5.5內觀滲流監測
取測點P6-XZ為例,進行比測分析:
圖六: P6-XZ測點人工、自動化比測過程線
從圖六可以看出,對于部分測值,人工觀測由于觀測周期限制,未能準確反映周期外變化,而自動化觀測則能避免部分特征值漏測;比測人工、自動化比測差值較小,滿足觀測要求;
6 結論和幾點建議
班多水電站大壩安全監測自動化系統建成后,運行穩定,為后期自動化系統實用化奠定了堅實的基礎,并且其中雙系統的集成方法對于其他電站系統集成提供了工程經驗。
(1)垂線、滲流、內觀等各分系統運行良好, 測值穩定無突跳,觀測精度滿足規范要求;
(2)華騰系統和南瑞系統運行良好,通訊穩定,測值能實時采集并存儲至各自系統數據庫中;
(3)數據傳輸軟件運行良好,通過設置定時傳輸任務,華騰數據能定時傳輸至南瑞系統并實現整編,數據傳輸穩定、可靠。
幾點建議:
(1)監測自動化系統若包含多廠家設備,需在施工前將各自責任及義務界定清楚,以免在發生出現故障時各設備廠家相互推諉導致故障不能及時處理,造成監測數據中斷。
(2)建立完善的運行維護制度(如:編寫運行維護規程并執行;建立臺賬登記制度等),保證故障能得到及時有效的處理;
(3)定期對運行維護人員進行技術培訓(一年一次或者半年一次),提高故障處理能力,縮短故障處理周期,保證數據缺失率。
參考文獻:
[1] 張秀山.公伯峽水電站大壩安全監測自動化系統建設和運行.四川理工學院學報
[2] 李季,陸聲鴻,郭晨等.李家峽水電站大壩安全監測自動化系統.水力發電,
[3] 孔慶梅.自動化監測系統在龍羊峽水電站大壩安全監測中的應用.電力信息化
[4] 方衛華.大壩監測數據采集系統的干擾問題研究[J].黃河水利職業技術學院學報
[5] 陳樹蓮,郭晨.黃河大峽水電站大壩安全監測自動化系統設計.//中國水力發電工程學大壩安全監測設計與施工學術討論會論文集.1997:1~10.
[6] 郭晨,馬迅,賀晨鴻等.大壩安全監測自動化系統設計中的幾個問題.水力發電
[7] 黃文鈺.淺析水電站大壩安全監測自動化現狀及發展趨勢[J].廣東科技
【 關鍵詞 】 地鐵;ISCS綜合監控系統;數據轉發;交互共享
Research On Data Transfer Of Subway Integrated Supervisory Control System
Xu Zhong
(China Railway Siggnal & Communication Shanghai Engineering Group Co.,Ltd. Shanghai 200436)
【 Abstract 】 After analyzing the hardware structure of subway integrated supervisory control system, introduced and analyzed the model and circuit of the system data transfer, especially gave a detailed analyzing about the internal data and external data transferring and sharing principle.?Finally, the subway integrated supervisory control system data processing and protocol conversion techniques were summarized.
【 Keywords 】 subway;integrated supervisory control system(ISCS);data transfer;transferring and sharing
0 引言
ISCS綜合監控系統的構建,為地鐵安全、可靠、經濟、適用的運營提供了重要技術保障。地鐵綜合監控系統中數據信息安全是整個系統安全穩定運行的重要技術支持,主要包括運營服務數據安全、行政管理數據安全等多個部分,要有效防止系統中數據交互共享安全隱患或事故的發生,有效提高地鐵運營安全保障和經濟效益,減少地鐵運營綜合支出。因此,對地鐵綜合監控系統邏輯組成結構,按照子系統間的數據信息集成方案要求,結合數據傳輸先進的信息化手段,有效提高不同子系統間數據實時傳輸交互共享信息自動化水平,加強監控系統數據傳輸項目質量安全控制,消除系統中數據信息傳輸共享過程中可能存在的安全隱患和事故發生,有效提高系統運行安全可靠性和綜合社會經濟效益,是目前地鐵工程綜合監控系統構建和運營維護的當務之急。
1 ISCS地鐵綜合監控系統方案
ISCS綜合監控系統最終是直接面向地鐵運營監控服務的,其數據信息傳輸交互共享過程中,具有專業多、監控手段多、邏輯組成層次多、專業性強等特點。數據傳輸交互系統中,既要考慮各子系統間通信方案問題,又要考慮子系統間數據信息集成問題;不僅要處理好內部數據轉發共享,同時還要處理好外部數據轉發共享,要從數據交互共享和協議處理等多個方面構建數據通信網絡系統,同時還要兼顧數據交互共享管理體系結構等技術問題。ISCS地鐵綜合綜合監控系統的硬件組成方案如圖1所示。
1.1 子系統間的通信方案
從圖1可知,ISCS地鐵綜合監控系統中,通過相應的通信通道將分散在不同層次的自動化系統進行有機集成和互聯,從而提高系統事件綜合反應能力和速度,實現地鐵運營過程中包括行車指揮、運營管理、設備檢修維護管理等在內的集成綜合自動化運營管理。ISCS綜合監控系統與子系統間采用集成互聯實時通信模式,從而有效提高系統數據傳輸通信共享實時可靠性。
ISCS綜合監控系統的中央級位于OCC,以冗余設計理念配置實時服務器,并通過通信骨干網將車輛段、控制中心、典型車站等監控子系統網絡有機互聯起來。子系統網絡通過專用接口設備實現與現地車輛段典型子系統、車站段子系統間進行數據信息實時傳輸交互共享。
各現地子系統可以在地鐵運營過程中對自身性能進行動態監視和數據傳輸安全評估分析。系統在進行數據上傳、存儲、交互共享、查閱訪問、以及下載等通信通道設計過程中,均需要綜合考慮數據信息的大小、傳輸速率、利用頻度、類型、以及檢索效率等問題,最大限度地實現系統間數據信息交互共享的集中、規范與快速響應等功能特性。
1.2 子系統間的數據信息集成方案
集成是ISCS地鐵綜合監控系統中子系統與綜合監控系統間數據信息耦合共享的一種主要方式。為了提高綜合監控系統操作靈活性,綜合監控系統與現地子系統間的數據信息集成應采用松耦合的結構,即要實現中控與現地相互結合的靈活操作功能,子系統要具備完整的操作界面和全套設備系統。當綜合系統出現故障或其它問題時,可以完全脫離綜合監控系統獨立運行,實現正常和緊急等操作調度功能。
雖然子系統實現集成功能,但車站監控級子系統還是必須設計的,也就是綜合監控系統不可能完全替操控現地子系統相關控制調度功能,需要車站級子系統作為橋梁來完成數據傳輸交互共享等功能。
深度集成方案該地鐵綜合監控系統中的全部配套系統和支撐系統有機幾何集成為一個龐大的系統,實現了各子系統間操作、管理等功能有機互聯,使各現地子系統真正融入到ISCS綜合監控系統中,簡化了各子系統與綜合監控系統間數據信息傳輸交互共享環節和系統間的通信接口,有利于系統通信接口標準化、規范化、一體化處理,保證數據信息傳輸的實時性、安全性和可靠性。
2 數據交互共享方案
2.1 內部數據轉發共享
ISCS地鐵綜合監控系統中,從車站到中心、中心到車站、以及車站到車站等系統間數據信息的轉發均屬于內部數據轉發共享。ISCS地鐵綜合監控系統需要向各個專業子系統轉發UPS供電數據信息、向軌道交通應急指揮協調中心TCC系統轉發ISCS集控信息、向列車自動監控系統ATS轉發接觸網帶電信息等,由于此類數據信息的轉發共享不是簡單從車站子系統轉發完成,需要經過一些列復雜監測運算分析系統完成。
ISCS綜合監控系統不僅要提供強大監測和控制功能,同時還應具備提供強大的綜合監控軟件邏輯運算分析程序軟件功能。
2.2 外部數據轉發共享
外部數據信息的轉發,實際就是ISCS綜合監控系統與現地子系統間的數據信息轉發,其數據傳輸方向是ISCS綜合監控系統下發指令給對應現地子系統或轉發給TCC系統,其將整個城市多條地鐵線的運營數據信息收集到一起,實現現地子系統間數據信息的單向傳輸。
對于多域集成系統而言,車站是一個獨立的域,ISCS監控系統在運行過程中,監控中心向車站對應的各現地子系統下發對應的調控命令,同時控制中心向TCC調度中心轉發對應現地數據信息。向列車自動監控系統ATS轉發接觸網帶電信息的數據傳輸過程如圖2所示。
從圖2可知,數據在傳輸轉發過程中,前5步都是均屬于內部數據轉發,而后2步則是ISCS綜合監控監控系統通過監控中心軟件計算獲得車站接觸網相應帶電數據信息轉發給ATS子系統,實現讓其作為行車調度依據,這是外部轉發過程。因此,ISCS綜合監控系統中數據轉發并不是單獨孤立的,而是一個內部與外部數據轉發交互共享的集成過程。
3 數據處理與協議轉換
從圖1可知,ISCS綜合監控系統中所有集成與互連的子系統間數據信息的內部轉發和外部轉發,均需要統一接入到綜合監控系統的通信數據前端處理器(FEP)中,完成對應規約轉換和數據預處理后,方能進入到ISCS綜合監控系統中。FEP前端處理器在購置選型時,應選擇支持多種協議轉換、支持多種通信接口的集成多功能模塊;具有足夠多的高速網絡通信接口和串口,以接入現地子系統相關應用功能接口;中心監控系統和現地監控系統各功能模塊應具備自檢測、自診斷等功能。
ISCS綜合監控系統中,每個FEP前端數據處理與協議轉換模塊通過1000Mbit/s的光纖以太網接口與ISCS綜合監控系統的通信交換機間進行有機互聯。同時,FEP在配置過程中應按冗余設計要求,這樣即使系統中單點出現故障也不會影響系統整體功能的運作,從而確保系統中數據流的實時處理與可靠傳輸。
另外,地鐵綜合監控系統的服務器、通信交換機等關鍵設備在選型配置過程中,應預留20%~40%的冗余容量或插槽,同時軟件功能方面宜選用無限點可擴展高性能軟件,以便為今后系統的進一步升級改造擴展打下堅實基礎。
4 結束語
地鐵運營數據的實時高效轉發交互共享是現代地鐵綜合監控自動化工程的重要組成部分,對地鐵安全可靠、節能經濟運營有著非常重要的影響。ISCS地鐵綜合監控系統中,數據信息轉發傳輸交互共享通信系統必須通過科學的設計,以及現代先進通信傳輸技術,有效提高系統數據信息轉發傳輸實時性、可靠性和準確性,確保地鐵運營、監控、維護等能夠達到預期目標。
參考文獻
[1] 張利,張云,李曉敏.自動監控系統在地鐵環境控制中的應用[J].現代城市軌道交通,2009(6):64-66.
[2] 曲立東.城市軌道交通環境與設備監控系統設計與應用[M].北京:電子工業出版社,2008.
【關鍵詞】智能監控網絡 系統集成 實時監控
1 引言
智能監控網絡,簡單說,就是將若干個相對獨立又相互聯系的子系統組成具有一定規模的大系統的過程。由于監控網絡各系統廠家是獨立進行系統開發的,信息交互界面和通訊接口千差萬別。所以控制系統大多以獨立形式存在,分布在各個獨立的區域,需要什么控制系統就安裝什么系統,使信息系統與控制系統分離開來,往往出現“信息孤島”,這樣浪費了大量的人力資源。以“智能化高層建筑”為例,若采用開放和統一的集成技術,將系統內所有的控制系統、自動化系統以及安全報警系統等各個子系統運行的信息,通過實時數據接口網關匯集到Internet/Intranet集成平臺上,來實現整個大樓的設備的實時監控。這樣既能節省人力物力資源,又能通過簡單操作完成對整個大樓網絡系統的實時監控。因此應用智能監控網絡的系統集成技術勢在必行。
2 智能監控網絡的系統集成的特點
智能監控網絡的系統集成一體具有以下特點:
(1)通過簡單的操作,就可以看到監控網絡上的網頁信息。
(2)智能監控網絡的系統取代以往的服務器模式,采用智能化網絡傳輸協議,例如以太網的應用,用以太網來實現各個網絡系統的信息資源共享,而不發生沖突。
(3)可以與國際互聯網絡接軌,增強信息容量及自動化功能。
(4)實現了智能監控網絡的系統集成一體,對于日后的維護升級變得更容易操作。
智能監控網絡的系統集成一體的優越性不言而喻,當然實現智能監控網絡的系統集成一體要有一定條件,對于技術的要求,要具有先進性、開放性以及統一性于一體,這樣才能將下一步的操作順利進行下去,將各個獨立的系統信息匯聚到一個集成系統上。
3 智能監控網絡的系統集方案
智能監控網絡的系統集成一體的方案是一個新的科研技術,其核心技術是建立在系統集成、功能集成、網絡集成和軟件界面等多種技術集成基礎上。實現系統集成的關鍵在于解決系統之間的互聯性和互操作性問題。整個網絡內的各類子設備、子系統及系統平臺應該實現完整的統一,并且功能齊全、用戶界面一致。
智能監控網絡的系統由TIC(信息與通信技術)、ITM(互動交易模式)和IOT(信息技術外包)組成。
TIC的作用就是把獨立系統集成到ITM和IOT上。它與實際操作設備或者工作站相連接,并將信息作為對象方在局域網上,這樣操作者就可以簡單的把信息對象放置在互動交易模式和信息技術外包,或放置在第三方某應用程序上。
ITM用于對個獨立系統的監控與監測,ITM用簡單的方法將類似的結構集成到一起,隨時就可以接到對應程序上,把要求的設備轉換為軟件對象到企業,用戶可以通過子戶型的選擇對象來配置系統,此方法簡單易操作。以前獨立分散的系統鏈接在一起,以及向某些應用程序提供連通性的要求,必須使用良好的硬件接口和專業的軟件代碼來完成。這樣使得企業在資金投入及維護上花費巨大,現在ITM就可以解決這一問題。
IOT作為管理的應用程序集合體,可以實現無人操作來完成系統數據的維護,這一功能大大降低了人力資源的使用。同時與其他獨立系統鏈接,來協助完成所需的各種操作,大大提高了工作效率。
4 智能監控網絡的系統集成的應用案例
智能監控網絡的系統集成雖然具有突出的優勢,但是在實際的應用中還不是很普遍,我們以智能監控網絡的系統集在成高層大樓的應用和某企業局域網中應用為例。高層大樓應用網絡集成系統后可以稱之為“智能化大樓”,大樓的計算機網絡系統包括辦公自動化系、通訊自動化系統、消防報警系統、樓宇自控系統、安全一體化系統。這些系統中又分別包含數個小的系統,如辦公自動化系統又包括物業管理系統、商業管理系統、信息管理系統等等。其他系統中同樣包含數個子系統,就如同一棵大樹的無數分支一樣,大樹主干就如同智能監控網絡的系統集成平臺。智能監控網絡就是將大樓現存系統內所有的控制系統、自動化系統以及安全報警系統等各個子系統運行的信息,通過數據匯集在系統的集成平臺上面,這樣來完成整個大樓的設備的實時監控,方便快捷省時省力。又例如在企業局域網系統中,智能監控網絡的系統將各個監控系統的實時信息集合起來,傳輸到所需的地點,操作人員通過對傳來的信息的進行分析,作出相應的決定,對整個局域網系統加以控制,從而提高了工作效率,也使系統運行處于高效、協調、安全的狀態。
5 總結
智能監控網絡的系統集成是一個開放式的集合平臺,它不會影響各個子系統的功能,反而會幫助各個子系統最大限度發揮其功能,智能監控網絡的系統集成通過網絡瀏覽器和服務器實現了對系統的信息的實時監控,完成了資源的綜合與共享。真正實現了應用于管理的一體化、科學化、自動化。作者相信在不久的將來智能監控集成系統技術會得到更廣泛應用。
參考文獻
[l]譚蓓蓓.智能系統集成的應用與發展[J].科技信息,2013(5).
[2]譚天.論智能樓宇系統集成的應用與發展[J].企業科技與發展,2012(16).
[3]徐皚冬.基于以太網的工業控制網絡[J].信息與控制,2000(4).
[4]王選龍.智能化樓宇系統集成軟件與網絡化遠程監控[D].碩士學位論文,2004(3).
作者簡介
侯明(1984-),女,碩士研究生,助理講師,研究方向為電力系統繼電保護及智能電網。
李書領(1985-),男,碩士研究生,助理講師,研究方向為計算機智能網絡通信。
關鍵詞:低碳物流;低碳物流運作理論;策略
中圖分類號:F252文獻標識碼:A文章編號:1033-2738(2012)04-0335-01
儲存、運輸、裝卸、包裝和信息處理等都屬于物流活動。在物流中,比重最大的,碳排放量最大的當屬運輸。現代運載工具在管理手段、能源技術上的創新是有效的減緩碳排放的途徑。用方法、技術和理念上的變革,以制定碳物流策略和形成低碳物流運作理論,傳統貨運業轉型為高級化物流的需要。
一、低碳物流運作和物流高級化理論
1.低碳物流運作的理論基礎。
(1)提升物流的價值、效率和質量,降低碳排放,提供個性化的物流服務。
(2)提升監控和規劃職能,尋求低碳物流從管理體系切入。
(3)從多維資源優化尋求物流集成效率,擴大資源優化空間。
2.低碳物流運作模式突破傳統貨運模式的要點。
(1)物流集成方法和理念的融入,使得產業供應鏈的價值增值體系更容易接納貨運過程,使其有了明確的系統價值追逐目標。
(2)鼓勵第三方、多需方和多供方服務暹供主體的協調運作,這種協調運作是基于信息網絡、運輸網絡作為其基礎的組織網絡體系。
(3)突破了傳統的狹隘過程,形成了一體化的服務系統。
(4)突破了傳統貨運承載器具和設備,在不同運輸方式之間利用運輸或交通樞紐平臺形成越庫、中轉和聯運配送服務體系。
(5)突破了貨源單一的服務體系,使得貨運過程能夠在不同服務、主體、貨源要求中尋求共性基礎,也就是物流整合、集成資源的基礎。
(6)突破了兩點間位移的貨運基本范疇。
3.物流集成是物流高級化的核心。
在物流系統的監管、運作和規劃過程中,物流集成思想起著重要的指導作用。它是按目標要求將若干個物流過程、環節、要素等整合的一個綜合過程物流。集成物流是通過諸項標準、技術等銜接物流活動過程的結果,即階段性成果獲集成化結果或物流集成過程。碳排放量和物流運作成本、物流運作過程有著密不可分的關系。貨運系統涉及環境、能源、人員、信息、運輸樞紐、運輸通道、載運工具盒貨物等要素,需要管理者在這些方面做好配合,以支持物流系統的集成化、網絡化、信息化和專業化發展。
二、制定低碳物流策略的思路
1.節能管理和低碳物流運作相結合。
實現低碳物流策略在需要管創新——物流高級化、貨運物流化的同時,還需要技術創新。它是進行節能管理的指向,也是提高物流效率的管理手段。將貨運納入物流大系統中,綜合考慮組織、人員、信息、車輛、貨物等要素,利用物流集成理念設計節能系統,并對貨物運輸過程進行管理、監控、運作和設計被稱之為貨運物流化的節能戰略
2.低碳物流運作的指向一效率與節能。
(1)多目標優化原理。
基于物流網絡,利用信息技術可以統籌車輛載容積和載重量的積載、配載工作,使配積載作業達到最優。
(2)物流網絡優化原理。
物流網絡的構建為路線、配送、運輸的組織和優化奠定了基礎。閉合回路的優化可形成最短路徑的配送、運輸路線,通過縮短或減少配送和運輸路徑,實現減少廢氣的排放、能源的消耗的目的。
①在設計配送方案的同時,對長途配送和運輸進行統一調度,降低能源消耗、杜絕空駛行程、消除回程空駛現象、達到節能減排的效果。
②針對不同的貨源信息制定不同的配送方案。
③整合各地物流網絡,及時整理和收集各網點信息,實現網絡內的即時配貨、組貨和集貨,使車輛里程和噸位利用率有大幅度的提高。
(3)物流集成化原理。
①提高服務質量,吸納更多貨主。不斷增加貨源,促使業務形成良性循環。
②以集中零擔貨源方式形成輕泡貨和實重貨的積載、配載優化。
③以會員制方式整合、吸納社會車輛等資源,并將其進行統一調度,節省資源的不必要消耗。
三、低碳物流運作策略
(1) 物流集成化策略。
該策略是基于網絡化和信息化的高度結合,利益基礎組織、信息和設施的信息技術和三網集成設計應用,是物流監管、運作水平得到很大的提升,從而實現低碳物流運作的手段和方法。
(2) 信息共享化策略。
基于信息平臺實現信息共享的過程,有利于制定運輸優化策略從而提高車輛實載率,提升產業的經濟效益和社會效益,實現社會運輸資源的整合和優化,達
到節能減排的目的。
(3) 物流效率化策略。
統籌規劃集成物流方案,以提高車輛里程、容積、噸位利用率等效率策略為導向,在完成同樣總任務前提下減少能源消耗和運輸次數,達到低碳物流效果。
(4)車輛大型化策略。
在符合標準規范的情況下,將車輛向大型化轉變,提高運輸能力;進而達到運輸單位貨物運輸量的同時,降低能源消耗的目的。
小結:
貨運物流化可以通過運輸線路優化、配載積載優化、信息平臺建設、車輛大型化等實現,并通過統一的管理、調度;最終實現貨運物流的節能減排戰略,并且能帶來顯著的經濟效益和社會效益的目標。
參考文獻:
[1]量千里.高級物流學[M].北京:人民交通出版社,2006.
首先,DICOM是一個標準,是醫學圖像和相關信息的國際標準(ISO 12052),這一標準定義了醫學數字成像和通信的規范。
其次,DICOM也是一種協議,以開放互聯的架構和面向對象的方法定義了醫學數字圖像信息交換和通信的方法。
此外,很多時候DICOM還特指DCM圖像。實際上,DICOM協議和DICOM數據都包含在DICOM標準的定義中,只是在應用中為了方便而采用的簡稱。
與DICOM關聯的,還有另外一些名詞,相近的縮寫在初次接觸時很容易混淆,這里集中列出:
HIS:醫院信息系統(Hospital Information System),是指利用計算機和通信設備,為醫院所屬各部門提供病人診療信息(PCI)和行政管理信息(HAI)的收集、存儲、處理、提取和數據交換的能力并滿足授權用戶的功能需求的平臺。HIS是覆蓋醫院所有業務全過程的信息管理系統,一般包括醫院管理信息系統(HMIS)、臨床醫療信息系統(CIS)、醫院信息系統的高級應用等。例如,我們常見的門診收費系統、電子病歷系統、醫學圖像歸檔系統、醫院檢驗系統、影像診斷報告與處理系統(如圖1)。等
CIS:臨床醫療信息系統(Clinical Information System),主要目標是支持醫院醫護人員的臨床活動,收集和處理病人的臨床醫療信息,豐富和積累臨床醫學知識,并提供臨床咨詢、輔助診療、輔助臨床決策,提高醫護人員的工作效率。醫生工作站系統、實驗室系統、藥物咨詢系統等就屬于CIS范圍。
LIS:實驗室信息管理系統(Laboratory Information Management System),又稱醫院檢驗系統,是HIS系統的一個重要的組成部分,主要功能是將檢驗儀器傳出的檢驗數據經過分析,生成檢驗報告,使用醫生通過網絡調用和查看患者的檢驗結果。LIS已經成為現代化醫院管理中必不可少的一部分。
RIS:放射學信息系統(Radiology Information System),是基于醫院影像科室工作流程的任務執行過程管理的計算機信息系統,主要實現醫學影像學檢驗工作流程的計算機網絡化控制、管理和醫學圖文信息的共享,并在此基礎上實現遠程醫療。RIS是醫院重要的醫學影像學信息系統之一,與PACS系統共同構成醫學影像學的信息化環境。
PACS:圖像歸檔和傳輸系統(Picture Archiving and Communication System),是以高速計算機設備及海量存儲介質為基礎,將高速傳輸網絡與醫學影像設備相結合,利用先進的數字化信息技術將各種醫學影像檢查所獲得的影像、診斷報告信息等,進行數字化存儲和管理,并可實現影像信息本地及遠程查詢、瀏覽、打印等功能。PACS與DICOM聯系緊密,對醫院建立放射信息系統、醫院信息系統有著十分重要的意義。
EMR:電子病歷(Electronic Medical Record),也叫計算機化的病案系統或基于計算機的病人記錄(CPR)。它以數字化方式保存、管理、傳輸和重現病人的醫療記錄,取代手寫紙張病歷。
關鍵詞:XML;元數據;異構數據集成;優化
中圖分類號:TP311.13 文獻標志碼:A
Optimized design and implementation of heterogeneous data integrating solution
ZHANG Jie a,b,LU Detang a,b
(a. Institute of Eng. & Sci. Software;b. Key Lab of Computation & Communication Software of Anhui,
Univ. of Sci. & Tech. of China,Hefei 230026,China)
Abstract:To solve the problem that the current scheme of heterogeneous data integration can not query efficiently in the specific cases,combined with the Mediator/Wrapper architecture and the warehousing method,an optimized solution on heterogeneous data integration is proposed. Based on XML and metadata,several modules such as query construction,parsing and search,and caching are designed to optimize query performance. The solution is introduced into an evaluation system of petroleum reservoir to implement data integration of neural network system of reservoir identification,which can distinctly shorten average query time and improve query efficiency.
Key words:XML;metadata;heterogeneous data integration;optimization
0 引 言
在數據集成項目的開發中經常會遇到這樣的情況:待集成數據庫的規模大,數據更新不頻繁,文件系統數據源較小且分散,用戶主要關注的參數較集中,系統對查詢效率又有一定的要求.根據這些具體情況,在分析已有數據集成方式特點的基礎上,提出異構數據集成優化方案.該方案為所有成員數據源提供統一視圖,用戶可以進行查詢條件的靈活構造,達到異質對象的透明訪問;還可以通過相關優化模塊提高系統的平均查詢效率,減輕系統實時抽取數據時的負荷,并且將此方案應用于油田數據源的集成開發中.
1 異構數據源集成
目前,Mediator/Wrapper[1,2]模式在數據集成中較流行,針對Mediator的設計方案有3種:PUSH,PULL及混合方式.
PUSH方式將用戶輸入的查詢翻譯成本地SQL語句,由Wrapper將SQL查詢轉發給關系引擎.在時間和空間上有很好的性能.但對于非關系型數據源,PUSH方式無法使用.
PULL方式通過Wrapper將數據按照一定格式抽取出來形成XML文檔,然后通過XQuery[3]引擎查詢轉換后的XML數據,由組裝器產生最終的XML結果.它完全支持XQuery特性,可以集成任何數據源.但當作為數據源的實時系統運行負荷較重時,抽取數據的效率會很低.
混合方式[4]結合兩種方式的特點,其核心部分是區分數據源類型,選擇相應的查詢方式.這里提出的集成方案就是采用混合方式.使用PUSH方式進行關系型數據源的數據抽取,使用PULL方式進行非關系型數據源的數據抽取,并設計相關模塊以避免各自方式的缺點.
2 異構數據源集成系統的設計
2.1 系統結構
根據集成項目的具體情況,結合數據倉庫思想,設計查詢構造模塊、元數據管理模塊、查詢解析與數據源搜索模塊、數據緩存準備模塊和數據源封裝模塊(見圖1).
圖 1 集成系統結構
由于合理的查詢條件是查詢優化、提高效率的基礎,所以查詢構造模塊能提供統一的界面視圖以使用戶自由地構造查詢條件.
數據緩存準備模塊通過PUSH和PULL緩存區緩存用戶高訪問頻率的數據,該模塊能夠明顯提高查詢效率,實現集成方案的優化.
2.2 查詢構造模塊
構造界面為用戶提供統一的界面視圖,用戶可以很容易地定義自己想要的查詢,而不需要考慮數據源是怎樣的,數據是怎樣取得的.
構造界面包括字段、算符、值或表、同義詞4個輸入框,或、與、和、聯合4個組合按鈕及添加、確認、取消按鈕.其中,字段、算符、值或表可表示成1個三元組,字段包括結果字段和約束字段(約束條件,多表連接),是用戶查詢涉及的內容,算符與字段一一對應.值或表可以是相應算符的值或函數(相對于結果字段如SUM,AVG等),也可以是表名或為空(見表1).
結果字段是返回的結果,若要返回多個字段值,則用“和”(“,”)連接;查詢可以指定數據源也可以不指定,若指定多個數據源用“和”連接,其中文件系統數據源名對應為表名;約束字段可用“或”、“與”連接,或使用“聯合”連接多表進行查詢.組合連接符的優先級為:聯合>或/與>和(Joint>Or/And>,).一定要注意連接的順序.
以表Book,Publish和Author為例,現要查找第2作者為“T.DRAPPER”的書名及該書的出版社北京分部的電話.輸入表達式為“Book.title,Publish.telAuthor.second=T.DRAPER And Publish.department=北京 And First IN Author Joint author IN Book And publishname IN Book Joint name IN Publish.”
“”是“添加”按鈕產生的,算符為空是結果字段;算符不空或為“IN”是約束字段,其中值的輸入要注意數據類型的對應.同義詞存入同義詞庫,可通過同義詞庫將同義詞字段定義為統一的形式,避免造成識別混亂,另一方面也便于數據源搜索.
在用戶定義好查詢后,需要進行合法性檢查去掉一些不合理的查詢.由于約束字段類似SQL查詢中的WHERE條件,所以篩選器多針對這一類.例如對于含有price>100.00 and price
合法性檢查后,就根據預定義的Schema[5]形成XML文檔傳遞給查詢解析模塊.Schema的簡單定義(列出主要結構):
<Schema name=“QuerySchema”>
<ElementType name=“FieldName”>
<ElementType name=“Operator”>
<AttributeType name=“Type”dt:type=“enumeration”dt:values=“null Functor In”/>
<attribute type=“Type”/>
</ElementType>
<ElementType name=“ValTab”>
<AttributeType name=“Type”dt:type=“enumeration”dt:values=“null value Function table”/>
<attribute type=“Type”/>
</ElementType>
…
<AttributeType name=“Compouding”dt:type=“enumeration”dt:values=“null and or moreover join”/>
<ElementType name=“QueryItem”>
<element type=“FieldName” minOccurs=“0”maxOccurs=“1” />
<element type=“Operator” minOccurs=“0”maxOccurs=“1” />
<element type=“Value” minOccurs=“1”maxOccurs=“1” />
…
<attribute type=“Compouding” />
</ElementType>
…
<ElementType name=“Interface” >
<element type=“QueryItem” minOccurs=“0”maxOccurs=“*” />
<element type=“Condition” minOccurs=“1”maxOccurs=“*” />
<attribute type=“Name” />
</ElementType>
…
</Schema>
2.3 查詢解析與數據源搜索模塊
該模塊將收到的查詢請求翻譯成基于XML的全局查詢語言.對于沒有指定數據源或指定不完全的,抽取出查詢涉及的字段名等信息,利用元數據管理模塊檢查查詢請求的合法性,判斷查詢數據是否存在.再調用數據源搜索器查詢相關的數據源,記錄數據源的類型.全局查詢語言:
<xgsql>
SELECT <Book.title/><Publish.tel/>
FROM <Book/> <Author/> <Publish/> WHERE <Author.second/>=T.DRAPPER And <Publish.department/>=北京
AND <Author.first/>=<Book.author/>
AND <Book.pulishname/>=<Publish.name/ >
<xgsql>
其語法樹見圖2.
圖 2 語法樹
這里約束條件用實心圓表示,條件寫在[]中;結果對象用虛線菱形表示;空心矩形表示涉及到的表名;空心圓是多表連接涉及到的字段,即表節點若有子表節點則該子表節點的右鄰節點與子表節點的最左子節點相等.該語法樹可以作為查詢解析的向導.解析步驟為:
(1)根據語法樹提取查詢中所有字段信息,與緩存區中系統表記錄的已有字段比較.
(2)若字段都在緩存區中且時間戳未發生變化,就將全局查詢解析為SQL查詢,并根據緩存區中系統表的信息改寫SQL語句為:
SELECT title,tel
FROM temp1,temp2,temp3
WHERE temp1.second=T.DRAPPER AND
temp3.department=北京AND
temp1.first=temp2.author AND
temp2.publishname=temp3.name
temp1,temp2,temp3為緩存區中包含所涉及字段的臨時表,這些信息從系統表中獲取.時間戳記錄屬性列中的數據是否發生過改變.
(3)若有字段不在其中,或相關字段的時間戳有改動,就根據語法樹對全局查詢語句進行分解和改寫,去除查詢中數據的約束關系,將查詢涉及到的字段提取出來.查詢改成:
SELECT tilte,publishname,author From Book
SELECT name,tel From Publish
SELECT first,second From Author
將改動后的SQL查詢集命名為Alter_SQL查詢集.
(4)判斷緩存區中已有字段是否在預定義的用戶參數表中,如在就將Alter_SQL查詢集并上這些字段作為新的Alter_SQL查詢集.將所有的約束關系和連接操作統稱為Relation表達式(見圖3).
圖 3 查詢解析與數據源搜索模塊
將對文件數據源的查詢翻譯成XQuery查詢,將查詢傳遞給數據緩存模塊的PULL緩存區.
為了提高查詢效率及命中率,設計數據源搜索器.該搜索器通過同義詞詞庫及設立匹配等級進行數據源查找.可以依據同義詞詞庫對元數據庫中的數據源信息進行匹配搜索,同時設立匹配等級.如果查詢請求中的多個字段和1個源表匹配,那么該源表的匹配度就為高,反之則低.可以根據需要設置臨界匹配度,未達標準的就忽略掉.
2.4 數據緩存準備模塊
該模塊是實現優化的主要部分.PULL緩存區存儲抽取出的XML數據,重組器根據結果集目標格式將多個查詢結果組裝成1個完整的XML結果集.PUSH緩存區存儲關系化后的XML結果集.它包含若干個臨時表和1個系統表.臨時表保存的是近期查詢的數據.系統表記錄臨時表號、字段名、字段時間戳、源表名(源文件名)、源數據庫名及最近1次的訪問時間.以下為該模塊查詢的執行過程.
(1)先判斷是SQL查詢語句還是查詢集:①如是查詢語句,就直接查詢PUSH緩存區,將本次訪問的時間取代原訪問的時間后返回結果,查詢結束;②如是查詢集,就將查詢集傳給封裝模塊,該模塊會將結果發送到重組器.
(2)若PULL緩存區中已有相關的XML數據,就執行XQuery查詢,結果發送到重組器.否則通過封裝模塊PULL Wrapper按照預定義的Schema格式抽取XML文檔到PULL緩存區,同時修改PULL緩存區的系統表.
(3)通過組裝器得到完整的XML結果集.
(4)將XML結果集關系化后存入PUSH緩存區,通過Relation表達式構造SQL語句,執行查詢,返回結果.
由于空間不能無限擴大,所以使用LRU算法替換數據.PUSH緩存區根據系統表找出臨時表中距當前時間最長的字段名,刪除該列,如此重復直到表中所有列被刪除,則該臨時表及其在系統表中的記錄也被刪除.PULL緩存區也根據系統表找出要刪除的文檔.
本模塊中,PUSH緩存區的優化作用會隨著數據量的增加越來越明顯,1次查詢成功的平均概率不斷提高,查詢的平均執行時間不斷減少.且由于文件系統數據源較分散,當數據源不在1個網段或網絡負荷較大時,進行實時抽取的效率很低,通過PULL緩存區可以減輕抽取數據的負荷,提高查詢效率.
3 開發實例
在石油工程項目中,根據勘探測井資料,可以對地層的巖性特征進行分析和預測,從而初步探明地層的含油量.在為東北某石油公司開發的儲層分析系統中,主要包括圖版解釋模塊和神經網絡模塊兩部分.其中,儲層評價神經網絡軟件模塊需要從多個數據庫(Microsoft Access,Microsoft SQL Server,Oracle)和Excel文件中讀取數據.該模塊作為對圖版解釋模塊的補充,主要是針對孔隙度和含油飽和度等特定參數的網絡模型的訓練和解釋,且由于用戶可以自由調整輸入參數類型、輸入層和隱含層的節點數據,所以對相關訓練數據和測試數據訪問頻繁.加之用戶對訓練數據可能有一定的特殊要求,因此使用查詢構造界面以幫助用戶合理設計查詢條件、獲取理想數據,同時也屏蔽數據源的異質性,使用戶進行透明訪問.
根據這些情況,采用數據集成優化方案提高系統效率.首先建立元數據管理模塊,然后建立查詢解析模塊和緩存模塊等系統的其余部分.
元數據是關于數據的數據,測井元數據是關于測井數據和測井信息描述和表征的數據.可將測井元數據模型表示成三元組,M是測井元數據項集,其元素是對測井數據某一特征的描述;D是測井數據集;F是自M到D的映射關系,即自D中提取和形成M的方法模型.在簡化情況下,可以將測井元數據看作1種索引,其隱藏著對被抽象測井數據的“指針”,通過這種指針,可以將分布的測井數據及元數據連接在一起.元數據模塊的建立過程:先將元數據標準用XML Schema表達,然后將該模式文件注冊,用于數據庫的建立和數據文檔的采集,數據源管理器通過模式文件生成數據源的XML格式的元數據文檔,最后進行關系化后入元數據庫存儲.
緩存模塊中的PUSH緩存區使用Microsoft SQLServer數據庫.查詢構造模塊分布在客戶端,通過對數據查詢性能的實驗分析發現:在查詢次數較少時,命中率不高、優化效果不夠理想,但當查詢達到一定次數時,優化效果較明顯.查詢500次左右,數據量分別為102和103量級時的查詢性能對比見表2.
由于大部分查詢涉及多源查詢,加上查詢條件構造的優劣、網絡負荷等情況,對個別查詢的性能會有影響.但通過平均性能的對比可以發現:執行次數越多,緩存區1次查詢命中的可能性越高;查詢的數據量越大,優化效果越好.指定數據源的、不涉及多表操作的,耗用時間會短些.未指定數據源的、要訪問文件數據源的、需進行多表操作的,耗用時間會長些.
4 結 論
提出異構數據集成的優化方案,該方案通過查詢條件的靈活構造及數據緩存區的設置,提高在異地數據庫規模大、數據更新不頻繁、網絡較繁忙情況下的查詢效率.將此方案應用于石油工程項目的開發中,取得較好的效果.
參考文獻:
[1] BARU C,GUPTA A,LUDAISCHER B,et al. XML-based information mediation with MIX[C]//Proc 1999 ACM SIGMOD Int Conf on Manage of Data. New York,USA:ACM Press,1999:597-599.
[2] KOSSMANN D. The state of the art in distributed query processing[J]. ACM Computing Surveys,2000,32(4):422-469.
[3] 熊家治,王飛樂,丁祥武,等. 基于XML的異構數據源――XQuery查詢[J]. 計算機應用與軟件,2004,2(21):18-19.