IBM大型數(shù)據(jù)服務器管理系統(tǒng)的設計與實現(xiàn)

新型的廣域測量系統(tǒng)主要由位于廠站端的apmu裝置、通訊系統(tǒng)、位于調(diào)度中心的數(shù)據(jù)服務器和圖形監(jiān)視界面這幾個部分組成,在整個系統(tǒng)的工作流程中wams中心站對測量數(shù)據(jù)進行處理,并提供各類圖形化的應用功能。wams中心站是整套wams的神經(jīng)中樞,數(shù)據(jù)服務器又是中心站的核心,所有的數(shù)據(jù)處理、儲存和其他高級功能的實現(xiàn)都由它完成。

pvfs并行文件系統(tǒng)采用集中式的元數(shù)據(jù)服務器,這使得元數(shù)據(jù)服務器在大量的文件操作情況下成為i/o瓶頸。該文通過增強pvfs的客戶端和元數(shù)據(jù)服務器的相關功能,使得客戶的文件請求按照文件名的hash變換轉(zhuǎn)向不同的元數(shù)據(jù)服務器,在保留原來的用戶訪問方式和系統(tǒng)配置不變的情況下實現(xiàn)元數(shù)據(jù)服務器的并行化,達到明顯提高元數(shù)據(jù)服務器的總吞吐量和可擴展性。

結(jié)合opc數(shù)據(jù)服務器設計原型,提出了opc服務器開發(fā)工具的設計方案,給出了開發(fā)工具的接口函數(shù)集合。

設計適用于grass海量存儲系統(tǒng)的元數(shù)據(jù)服務器,分析并優(yōu)化3個影響元數(shù)據(jù)性能的因素:元數(shù)據(jù)組織方式,通信性能和搜索效率,利用bloomfilter算法進行名字空間搜索,在此基礎上實現(xiàn)目標系統(tǒng)的文件名查詢優(yōu)化。實驗結(jié)果證明,目標系統(tǒng)的元數(shù)據(jù)處理性能得到明顯提升,基本滿足大規(guī)模高能物理計算的需求。

介紹了opc技術(shù)產(chǎn)生的背景,通過指出傳統(tǒng)技術(shù)的缺陷引出opc技術(shù),說明了opc技術(shù)的優(yōu)勢所在。接著簡單介紹了opc規(guī)范,并描述了它的主要特點與發(fā)展狀況,進一步說明了開發(fā)opc應用程序的必要性。重點介紹了opc服務器程序設計的理論基礎和設計方法,其中包括它的核心技術(shù)comdcom技術(shù)的介紹,opc服務器程序設計總體框架的介紹。最后對opc服務器開發(fā)方式進行了分析與比較,說明了使用atl和mfc開發(fā)com組件的優(yōu)缺點。

用于過程控制的標準數(shù)據(jù)接口(opc)程序開發(fā)的關鍵之處是總體框架的建立,其框架的實現(xiàn)可通過微軟提供的開發(fā)com組件的基本工具atl(活動模板庫)來完成。為此介紹和分析了用atl設計opc服務器的一般性方法和設計步驟,進而介紹了對opc服務器的測試,并結(jié)合力控組態(tài)軟件對設計的opc服務器的圖形組態(tài)來說明opc服務器的簡單應用。

文章介紹了曙光3000超級服務器機群文件系統(tǒng)cosmos中元數(shù)據(jù)服務器的設計與實現(xiàn)。針對機群文件系統(tǒng)對單一系統(tǒng)映象和可擴展性的要求,分析了機群文件系統(tǒng)元數(shù)據(jù)服務器基本操作的特點,找出了多個不同的元數(shù)據(jù)操作進行并行處理的可行辦法,并給出了實現(xiàn)方案及系統(tǒng)性能的測試模型和測試結(jié)果。

本文采用siacon-smartopc開發(fā)工具包,針對omroncs1plc開發(fā)出串口通信程序動態(tài)連接庫(dynamiclinklibrary),利用smartopc提供的應用編程接口(api)函數(shù)調(diào)用串口通信函數(shù),實現(xiàn)了omroncs1plc串口通信的opc數(shù)據(jù)服務器開發(fā)設計。

本文通過指出傳統(tǒng)技術(shù)的缺陷引出opc技術(shù),介紹了opc數(shù)據(jù)服務器程序設計的理論基礎和設計方法,并給出了opc數(shù)據(jù)服務器的總體框架以及用wincc作為opc客戶端對opc服務器進行連接和測試的方法。

本文主要介紹了數(shù)據(jù)服務器的硬件系統(tǒng)設計及軟件系統(tǒng)設計。本數(shù)據(jù)服務器是上位機與現(xiàn)場儀表進行數(shù)據(jù)交換的橋梁,上下都采用rs485接口。數(shù)據(jù)服務器通過人為設定的采樣周期對現(xiàn)場儀表進行采樣,讀回數(shù)據(jù)并以一定的格式進行存儲。數(shù)據(jù)服務器根據(jù)上位機發(fā)來的命令進行相應的操作,并返回數(shù)據(jù)給上位機,包括讀取當前時間、所連儀表起始地址、單臺或全部儀表的當前數(shù)據(jù)、歷史數(shù)據(jù)。

提出了基于qt設計scada系統(tǒng)數(shù)據(jù)服務器應用軟件的設計思想,利用qt具有跨平臺運行的特性,可以從根本上解決常規(guī)的數(shù)據(jù)服務器軟件對異構(gòu)服務器要編制不同的軟件且軟件開放性較差的問題。具體分析了數(shù)據(jù)服務器應用軟件的功能模塊,并給出了關鍵模塊用qt的類以及相關函數(shù)的實現(xiàn)過程。

介紹了實時數(shù)據(jù)服務器的特點和設計過程,分析了其中的若干關鍵技術(shù):多線程、oracle調(diào)用接口oci(oraclecallinterface),socket和select函數(shù)的優(yōu)點。通信協(xié)議采用基于有連接的tcp/ip通信協(xié)議,軟件設計采用阻塞的通信模式和oci連接數(shù)據(jù)庫,利用select函數(shù)定時中斷阻塞,進行錯誤冗余處理。經(jīng)現(xiàn)場實際測試,該設計方式能夠滿足全網(wǎng)發(fā)電機功角監(jiān)測的實時數(shù)據(jù)處理要求。

在集群文件系統(tǒng)中,元數(shù)據(jù)服務器是整個系統(tǒng)正常運轉(zhuǎn)的核心,它的可靠性和性能是設計系統(tǒng)時需要著重考慮的問題之一.本文設計了一個具有高可靠性、高性能的兩級元數(shù)據(jù)服務器系統(tǒng),兼顧了集中式元數(shù)據(jù)管理和分布式元數(shù)據(jù)管理的優(yōu)點.系統(tǒng)中高級元數(shù)據(jù)服務器負責維護文件系統(tǒng)全局的目錄結(jié)構(gòu)和管理整個文件系統(tǒng)的命名空間,雙元數(shù)據(jù)服務器負責維護文件元數(shù)據(jù)的分布信息,并采用了馬爾可夫回報模型對兩級元數(shù)據(jù)服務器系統(tǒng)進行了可靠性分析.實驗數(shù)據(jù)表明,具有兩級元數(shù)據(jù)服務器的集群文件系統(tǒng)能提供高吞吐量.

為了滿足分布式網(wǎng)絡存儲對元數(shù)據(jù)服務的要求,本文采用多個元數(shù)據(jù)服務器組成元數(shù)據(jù)服務器群,并且提出分區(qū)散列管理方案對元數(shù)據(jù)服務器群進行有效的管理。并在不涉及元數(shù)據(jù)的物理移動的前提下,實現(xiàn)元數(shù)據(jù)服務器群的負載平衡機制、可擴充性以及高可用性等性能。

針對虛擬測試系統(tǒng)vts(virtualtestsystem)計算量大、仿真時間長、效率低等問題,提出了基于分布式的虛擬測試系統(tǒng)dvts(distributedvts),介紹了dvts的組成;設計了vts數(shù)據(jù)服務器,實現(xiàn)了各仿真系統(tǒng)之間數(shù)據(jù)生產(chǎn)者與數(shù)據(jù)消費者的分離,使得系統(tǒng)結(jié)構(gòu)靈活擴展方便;采用數(shù)據(jù)驅(qū)動模型實現(xiàn)各仿真系統(tǒng)之間的數(shù)據(jù)交換,優(yōu)化了網(wǎng)絡的數(shù)據(jù)交換性能。

對無線傳感器網(wǎng)絡采集到的田間信息進行有效的接收、處理是基于無線傳感器網(wǎng)絡的農(nóng)田環(huán)境監(jiān)測系統(tǒng)的重要組成部分,該文針對農(nóng)田無線傳感器網(wǎng)絡數(shù)據(jù)采集的特點,對系統(tǒng)的數(shù)據(jù)處理服務器的構(gòu)建進行了研究,設計并實現(xiàn)了一個基于非阻塞式sockets套接口的數(shù)據(jù)通信服務器。該服務器綜合利用靜態(tài)線程池與i/o復用技術(shù),采用循環(huán)隊列作為數(shù)據(jù)緩沖區(qū),較好地解決了農(nóng)田無線傳感器網(wǎng)絡對tcp多連接長時間通信,大量田間實時監(jiān)測數(shù)據(jù)并發(fā)接收、處理性能要求高的問題;采用面向?qū)ο笤O計方法,抽象出類的層次結(jié)構(gòu),提高了程序代碼的復用性。

介紹了數(shù)據(jù)服務器技術(shù)在旋翼塔測控軟件中的應用,重點介紹了各個模塊功能的實現(xiàn)方案,以及在方案實施過程中如何解決網(wǎng)絡堵塞難題的關鍵技術(shù)。

　介紹opc技術(shù)核心———com技術(shù),分析opc數(shù)據(jù)服務器技術(shù)及其接口,給出利用dll類型快速開發(fā)工具進行opc數(shù)據(jù)服務器程序開發(fā)的步驟和示例。

分布式監(jiān)控系統(tǒng)由多個監(jiān)控子系統(tǒng)組成,負責監(jiān)控多種設備。根據(jù)現(xiàn)場監(jiān)測設備種類多、結(jié)構(gòu)復雜等特點,針對工控信息、管理信息集成等需求,提出了一種基于數(shù)據(jù)交換的數(shù)據(jù)服務器結(jié)構(gòu)。該數(shù)據(jù)服務器實現(xiàn)了控制系統(tǒng)實時數(shù)據(jù)采集、處理、存儲、發(fā)布的統(tǒng)一管理,采用數(shù)據(jù)服務的在線監(jiān)督,將工控網(wǎng)絡同管理網(wǎng)絡分隔開,實現(xiàn)了數(shù)據(jù)的安全、動態(tài)發(fā)布。系統(tǒng)采用數(shù)據(jù)驅(qū)動的交換式結(jié)構(gòu),數(shù)據(jù)處理組件化,系統(tǒng)結(jié)構(gòu)靈活、擴展方便。

海量存儲系統(tǒng)都采用元數(shù)據(jù)服務器機群的方式來處理文件系統(tǒng)的元數(shù)據(jù)信息。很多存儲系統(tǒng)采用hash算法來實現(xiàn)文件元數(shù)據(jù)在元數(shù)據(jù)機群內(nèi)的分布,但是這些算法都是針對文件進行hash。本文提出了一種目錄哈希的新算法,針對目錄進行hash,并把一個目錄內(nèi)的元數(shù)據(jù)集中存儲。本算法克服了文件hash的不足,改善了存儲系統(tǒng)的性能,并極大地提高了存儲系統(tǒng)的可擴展性。

分布式監(jiān)控系統(tǒng)由多個監(jiān)控子系統(tǒng)組成，負責臨近多種設備。本文根據(jù)現(xiàn)場監(jiān)測設備種類多、結(jié)構(gòu)復雜等特點，針對工控信息、管理信息集成等需求，提出了一種基于數(shù)據(jù)交換的數(shù)據(jù)服務器結(jié)構(gòu)。該數(shù)據(jù)服務器實現(xiàn)了控制系統(tǒng)實時數(shù)據(jù)采集、處理、存儲、發(fā)布的統(tǒng)一管理，采用數(shù)據(jù)服務的在線監(jiān)督，將工控網(wǎng)絡同管理網(wǎng)絡分隔開，實現(xiàn)了數(shù)據(jù)的安全、動態(tài)發(fā)布。系統(tǒng)采用數(shù)據(jù)驅(qū)動的交換式結(jié)構(gòu)，數(shù)據(jù)處理組件化，系統(tǒng)結(jié)構(gòu)靈活、擴展方便。

在大型分布式對象存儲系統(tǒng)中,元數(shù)據(jù)服務系統(tǒng)是一個潛在的訪問瓶頸.本文提出一種通過分層式文件系統(tǒng)構(gòu)建共享存儲池的采用兩次分布式哈希函數(shù)方式的元數(shù)據(jù)服務系統(tǒng).其具有不需要人工干預的故障恢復性和易擴展特性,而且最大程度減少了mds之間大量元數(shù)據(jù)的物理遷移.實驗測試證明系統(tǒng)具有良好的i/o性能.