基于webservice的數(shù)據(jù)庫同步系統(tǒng)的設(shè)計與實現(xiàn)—計算機畢業(yè)設(shè)計(編輯修改稿)

　

【文章內(nèi)容簡介】 ynchronous)復(fù)制。 單向復(fù)制，也稱主從式 (master/slave 或 primary/secondary)復(fù)制或主版本 (master copy)復(fù)制，指的是兩個復(fù)制結(jié)點之間只從一個結(jié)點向另一個結(jié)點進(jìn)行復(fù)制，源結(jié)點保存復(fù)制對象，目標(biāo)結(jié)點保存復(fù)制對象的 副本，源結(jié)點中數(shù)據(jù)對象具有可讀可寫的特性，目標(biāo)結(jié)點中的數(shù)據(jù)對象只具有可讀的特性，修改數(shù)據(jù)對象需要在源結(jié)點上進(jìn)行，從而預(yù)防了更新沖突的發(fā)生。這種復(fù)制方式比較簡單，應(yīng)用范圍也比較廣。 雙向復(fù)制也稱對等式 (peertopeer)復(fù)制，多版本 (multicopy)復(fù)制或隨處修改 (update anywhere)復(fù)制，指的是兩個復(fù)制結(jié)點之間可以互相復(fù)制，復(fù)制結(jié)點既是源結(jié)點也是目標(biāo)結(jié)點。源結(jié)點和目標(biāo)結(jié)點上的復(fù)制對象都是可讀可寫的。在分布式環(huán)境下可能對同一復(fù)制對象同時進(jìn)行修改，所以在理論上存在沖突的可能性，因此雙向 復(fù)制中的一個重要問題就是如何檢測預(yù)防和解決復(fù)制中的沖突。雙向復(fù)制比單向復(fù)制更加復(fù)雜，實現(xiàn)難度也較大，但應(yīng)用的范圍要更廣泛一些，在移動環(huán)境、動態(tài)環(huán)境等場合下大多采用這種復(fù)制方式。 同步復(fù)制又稱為急切 (eager)復(fù)制，是在一個原子事務(wù)中同時更新所有的復(fù)制結(jié)點，同步復(fù)制可以進(jìn)行序列化操作，但是在交互過程中需要更多的消息交互，從而降低了復(fù)制性能，也增加了事務(wù)執(zhí)行的響應(yīng)時間。同步復(fù)制不適合移動應(yīng)用場合，因為移動設(shè)備不可能保持實時的連接，通常采用另一種復(fù)制方法 第 6 頁 共 24 頁 異步復(fù)制。 異步復(fù)制又稱為懶惰 (lazy)復(fù)制，是在本地事 務(wù)提交以后再將本地數(shù)據(jù)的變更反映到其他復(fù)制結(jié)點上，這種方式不需要實時的連接，可以很好的提高復(fù)制的性能，但異步復(fù)制的一個問題是在復(fù)制結(jié)點中存在“臟”數(shù)據(jù)，當(dāng)兩個事務(wù)在不同 節(jié)點 讀和寫數(shù)據(jù)時，就無法保證事務(wù)的序列化，這種復(fù)制方式一般應(yīng)用在對數(shù)據(jù)一致性要求不是很高的地方。 同步復(fù)制和異步復(fù)制的應(yīng)用場合不同。同步復(fù)制可以保證系統(tǒng)所有結(jié)點數(shù)據(jù)的實時一致性，對于銀行此類系統(tǒng)一般采用同步復(fù)制方法。異步復(fù)制無法保證數(shù)據(jù)的實時一致性，可以應(yīng)用在移動設(shè)備數(shù)據(jù)復(fù)制，多級管理信息系統(tǒng)中。 復(fù)制數(shù)據(jù)的類型 數(shù)據(jù)庫復(fù)制需要在數(shù)據(jù)庫之間傳 輸數(shù)據(jù)記錄，這些數(shù)據(jù)記錄是數(shù)據(jù)庫中記錄的一種劃分，這種劃分與數(shù)據(jù)庫中的記錄存在一定的邏輯關(guān)系，按照這種邏輯關(guān)系把復(fù)制數(shù)據(jù)分為以下幾種 : 1. 全劃分 :復(fù)制數(shù)據(jù)為數(shù)據(jù)庫中所有表中的所有記錄。數(shù)據(jù)庫中記錄的任意變化都需要進(jìn)行復(fù)制操作。 2. 水平劃分 :復(fù)制數(shù)據(jù)只是表中的部分記錄，只對滿足復(fù)制條件的記錄進(jìn)行復(fù)制操作。 3. 垂直劃分 :復(fù)制數(shù)據(jù)只是記錄的部分字段，不需要對全部改變的字段值進(jìn)行復(fù)制操作。 4. 水平垂直劃分 :復(fù)制數(shù)據(jù)是水平劃分和垂直劃分的組合。 5. 函數(shù)統(tǒng)計劃分 :復(fù)制數(shù)據(jù)是對記錄進(jìn)行統(tǒng)計運算的結(jié)果。 復(fù)制數(shù)據(jù)的不同劃分用于不同的 場合。對于緩存數(shù)據(jù)庫或備份數(shù)據(jù)庫一般采用全劃分的方式，所有的數(shù)據(jù)都進(jìn)行復(fù)制。水平和垂直劃分對數(shù)據(jù)進(jìn)行了過濾操作，往往用在數(shù)據(jù)保密，分級管理方面，可以提高復(fù)制的效率，降低不必要的數(shù)據(jù)傳輸。函數(shù)統(tǒng)計劃分主要用在基礎(chǔ)數(shù)據(jù)不全或者特定情況下不能傳輸基礎(chǔ)數(shù)據(jù)而只能傳輸統(tǒng)計數(shù)據(jù)的情況下，這種方式可以大大的降低數(shù)據(jù)傳輸量，同時可以直接利用統(tǒng)計數(shù)據(jù)，而無需每次都通過基礎(chǔ)數(shù)據(jù)來生成統(tǒng)計數(shù)據(jù)，提高了數(shù)據(jù)庫的性能，滿足了統(tǒng)計方面的需求。 復(fù)制數(shù)據(jù)按照傳輸數(shù)據(jù)的形式分為完整拷貝 (full copy)，增量修改(incrementalupdate)，凈變化 (neat change)三種 。 完整拷貝方式 :源數(shù)據(jù)庫中所有的記錄都傳送到目標(biāo)數(shù)據(jù)庫中。完整拷貝的優(yōu)點是實現(xiàn)起來簡單容易，不占用額外資源，不需要進(jìn)行沖突檢測等方面的工作，但其缺點是效率較低，只能應(yīng)用在初始化復(fù)制、崩潰恢復(fù)等場合。 增量修改方式，也稱標(biāo)量 (scalable)方式 :在這種方式下需要將事務(wù)對數(shù)據(jù) 第 7 頁 共 24 頁 的操作內(nèi)容全部保存下來，傳輸?shù)臄?shù)據(jù)就是操作的完整序列。增量修改的最大優(yōu)點就是滿足復(fù)制的單副本可串行性化。這種方式能夠提供詳細(xì)的控制信息，適用于多種復(fù)制方式，但保存全部的操作序 列需要較多的資源，設(shè)計通用的存儲結(jié)構(gòu)也較復(fù)雜 。 凈變化方式 :傳輸?shù)臄?shù)據(jù)為兩次復(fù)制之間更新數(shù)據(jù)的凈變化值。這種方式需要記錄上一次復(fù)制的狀態(tài)，在下一次復(fù)制時將上次復(fù)制以來的所有變化數(shù)據(jù)從數(shù)據(jù)庫中提取出來作為復(fù)制數(shù)據(jù)項。凈變化方式只傳輸改變的數(shù)據(jù)，因此傳輸?shù)臄?shù)據(jù)量是最小的，實現(xiàn)方法也較簡單，可以明顯的提高復(fù)制性能，但是這種方式不是以事務(wù)為依據(jù)對數(shù)據(jù)進(jìn)行劃分，所以不能用于同步復(fù)制，在數(shù)據(jù)復(fù)制的過程中也存在一定的問題。 數(shù)據(jù)捕獲技術(shù) 復(fù)制數(shù)據(jù)和數(shù)據(jù)捕獲技術(shù)有一定的相關(guān)性，不同種的數(shù)據(jù)捕獲技術(shù)在生成復(fù)制數(shù)據(jù)的能力方面上 有所不同。現(xiàn)在常用的數(shù)據(jù)捕獲技術(shù)包括觸發(fā)器法 、 快照法、控制表變化法 等。 1. 快照法 快照 (snapshot)是在某一時刻將數(shù)據(jù)庫中存儲對象的狀態(tài)存儲下來，構(gòu)成當(dāng)前數(shù)據(jù)庫的一個映像文件，將此映像文件作為復(fù)制數(shù)據(jù)，用來更新其他的數(shù)據(jù)庫。 快照法只是在復(fù)制時進(jìn)行一次全面掃描，實現(xiàn)簡單，它不需依賴特別的機制，也不占用系統(tǒng)資源，在復(fù)制初始化和崩潰恢復(fù)時通常需要采用這種方式。由于快照法生成完全拷貝的復(fù)制數(shù)據(jù)，因此效率很低，應(yīng)用的范圍也比較小。Oracle 和 MS SQL Server 數(shù)據(jù)庫明確提供了基于快照的捕獲方法。一般的 復(fù)制方案在初始化時往往也使用這種方法。 2. 觸發(fā)器法 ： 觸發(fā)器是一種特殊類型的存儲過程，當(dāng)使用 UPDATE、 INSERT 或 DELETE 對指定數(shù)據(jù)表中數(shù)據(jù)進(jìn)行操作時，觸發(fā)器就會生效，通過分析操作的相關(guān)信息，可以在觸發(fā)器中定義復(fù)雜的業(yè)務(wù)規(guī)則。觸發(fā)器法就是通過捕獲這些操作并將數(shù)據(jù)操作的信息保存到日志中或者直接進(jìn)行復(fù)制操作。如圖 3 觸發(fā)器數(shù)據(jù)捕捉方式所示。 觸發(fā)器法避免了不必要的數(shù)據(jù)傳輸，克服了基于快照法的主要缺點，大大提高了效率，可以用于同步復(fù)制和雙向復(fù)制。但是觸發(fā)器機制需要數(shù)據(jù)庫系統(tǒng)的支持，并且為了支持不同的復(fù)制數(shù)據(jù) 類型，復(fù)制方法需要設(shè)置不同的觸發(fā)器腳本，給系統(tǒng)維護(hù)和變更帶來了不便。 第 8 頁 共 24 頁 圖 3觸發(fā)器數(shù)據(jù)捕捉方式 由于大型數(shù)據(jù)庫系統(tǒng)基本上都提供了完善的觸發(fā)器機制，因此大型數(shù)據(jù)庫廠商提供的數(shù)據(jù)庫復(fù)制方案往往都運用了這種捕獲方法，如 Oracle 的對稱復(fù)制(Symmetric Replication)綜合應(yīng)用了快照和觸發(fā)器兩種捕獲方法。 3. 控制表變化法 控制表變化 (Control Table Change)法就是創(chuàng)建一張包含復(fù)制源表的主鍵字段和一些控制信息字段的控制表，當(dāng)復(fù)制表中的記錄發(fā)生變化時，則修改控制表中 相應(yīng)關(guān)鍵字的記錄，在控制信息字段中記錄變化的情況，這一過程可以通過觸發(fā)器，中間件來實現(xiàn)，復(fù)制數(shù)據(jù)可以根據(jù)控制表中記錄的變化情況生成。通過控制表變化法得到的復(fù)制數(shù)據(jù)是數(shù)據(jù)庫的凈變化，效率較高，由于只保存了主鍵信息和部分控制信息，所以在空間占用方面也較小。控制表變化法可適用于除同步復(fù)制以外的各種復(fù)制形式。 上述的 幾 種數(shù)據(jù)捕獲方法各有優(yōu)缺點，需要結(jié)合 你的具體應(yīng)用具體的選擇 。 沖突檢測 數(shù)據(jù)庫復(fù)制采用不同的復(fù)制方式，復(fù)制不同類型的數(shù)據(jù)都會在復(fù)制中產(chǎn)生各種不同的沖突。下面是幾種常見的沖突 。 1. 表間沖突 :復(fù)制數(shù)據(jù)不能滿足 本地數(shù)據(jù)庫表上定義的約束條件而造成的沖突。進(jìn)行復(fù)制數(shù)據(jù)設(shè)計時需要考慮表上定義的完整性約束，引用約束等，否則在進(jìn)行數(shù)據(jù)復(fù)制時會因為這些約束無法導(dǎo)入數(shù)據(jù)。凈變化方式不滿足單 副本可串行化，在進(jìn)行數(shù)據(jù)更新時需要更多的考慮表間沖突問題。 2. 唯一性沖突 :發(fā)生在一個更新產(chǎn)生了一個違反主鍵或唯一性約束時。不同的結(jié)點根據(jù)本地數(shù)據(jù)庫規(guī)則設(shè)置數(shù)據(jù)，這時不合理的主鍵生成規(guī)則或者是錯誤的輸入都有可能產(chǎn)生主鍵沖突或者是唯一性沖突。 3. 更新沖突 :對于異步更新，本地數(shù)據(jù)的更新和遠(yuǎn)程數(shù)據(jù)的更新存在時間差，在這種情況下兩個或多個復(fù)制站點可能同時更 新一條記錄，如果更新同一條記錄的相關(guān)字段就會存在列級沖突。 4. 刪除沖突 :發(fā)生在一個結(jié)點更新另一個結(jié)點已刪除的一行時，或者同一 第 9 頁 共 24 頁 條記錄在不同的復(fù)制站點被刪除時。 3 需求分析 為了明確系統(tǒng)的應(yīng)達(dá)到的目標(biāo)，確定系統(tǒng)必須做什么 ， 清楚地理解所要解決的問題 。 在下面 描述軟件的功能和性能 的需求。 確定了軟件設(shè)計的約束 。 同步環(huán)境 本系統(tǒng)的同步環(huán)境如圖 4： 圖 4 同步環(huán)境 Oracle 9i,mySQL 等不同類型的數(shù)據(jù)庫通過 Inter 來獲取 SQL Server 2020 的數(shù)據(jù)，通信的兩端都存在防火墻，提供了一臺 Web 服務(wù) 器用于發(fā)布 Web Service。 功 能需求 本設(shè)計要實現(xiàn)的功能： 1. 能夠使處于 Inter 上的異構(gòu)數(shù)據(jù)庫的單向同步功能 ,初步先實現(xiàn)Sql Server2020 向 Oracle 與的同步，需要考慮其它數(shù)據(jù)庫的情況比如 my Sql等。 2. 同步數(shù)據(jù)需要可靠的傳輸，保證數(shù)據(jù)能夠準(zhǔn)確、完全的傳輸?shù)奖煌降囊环健? 3. 同步需要一定安全性，能夠按照進(jìn)行同步 IP 或則物理地址來驗證同步身份。 4. 由于數(shù)據(jù)在 Inter 上傳輸，必須保證同步數(shù)據(jù)的傳輸開銷小，安全等。 5. 能夠?qū)崿F(xiàn)不同主機的多個數(shù)據(jù)庫同時同步功能。 6. 對實時性同步、定期 同步可配置，既可以選擇實時同步、手動同步或則按需要同步的數(shù)據(jù)量來同步。 7. 同步信息可以配置性。同步信息包括：同步的字段、字段類型、同步的表、分配了權(quán)限的同步主機等。 第 10 頁 共 24 頁 8. 同步的數(shù)據(jù)類型能夠是不同的類型，比如數(shù)值型向字符型的同步等。能夠?qū)ν降哪硞€字段做特殊的處理后再同步。既是能夠?qū)崿F(xiàn)多個字段合并為一個字段，或則一個、多個字段分解為更多個字段。 9. 同步的配置界面化，操作方便、易使用。 ，網(wǎng)絡(luò)連上后能接著繼續(xù)同步。 ，比如配置系統(tǒng)時對不正確的配置及時提示，以 便產(chǎn)生同步的異常。 。 。 性能需求 1. 精度： 1) 服務(wù)器端的增量數(shù)據(jù)能夠準(zhǔn)確的同步到客戶端，不應(yīng)該存在數(shù)據(jù)被截斷的情況。 2) 數(shù)據(jù)傳輸過程中對數(shù)據(jù)丟失的情況，應(yīng)該不影響同步數(shù)據(jù)的完整性。 2. 時間特性要求： 1) 同步操作對其它正常的數(shù)據(jù)庫應(yīng)用，無明顯性能降低現(xiàn)象。 2) 對配置了實時性同步的，同步延遲應(yīng)小于 1 分鐘 (除網(wǎng)絡(luò)斷開等異常情況 )。 3. 靈活性 1) 同步的字段可動態(tài)配置，當(dāng)添加、修改字段后可以通過簡單的配置來實現(xiàn)修改后的同步。 輸入輸出要求 輸入：服務(wù)器端數(shù)據(jù) 的改變。 處理：字段合并，分解或者是一定的運算加工。 輸出：將處理了的數(shù)據(jù)更新到客戶端。 運行需求 1. 硬件環(huán)境需求 ： 客戶端、服務(wù)器端：專用數(shù)據(jù)庫服務(wù)器， P4以上， 512M 以上內(nèi)存， 80G 以上硬盤； Inter 網(wǎng)絡(luò)連接。 2. 軟件環(huán)境： 源端 ： Windows 2020/XP 操作系統(tǒng)、 Sql Server 2020 數(shù)據(jù)庫、 IIS 、 .NET 。 目標(biāo) 端： Windows 2020/XP 操作系統(tǒng)、數(shù)據(jù)庫環(huán)境、 .NET 。 第 11 頁 共 24 頁 4 方案設(shè)計 結(jié)合前面的同步原理，以 及需求的介紹，下面給出同步的方案設(shè)計： 數(shù)據(jù)庫同步復(fù)制模型 模型包括源結(jié)點和目標(biāo)結(jié)點兩大塊。源結(jié)點模塊包括：數(shù)據(jù)庫捕獲模塊、數(shù)據(jù)生成模塊、 Web Service、同步控制模塊、定時器、配置模塊等組成。目標(biāo)結(jié)點包括：數(shù)據(jù)庫同步控制模塊、數(shù)據(jù)導(dǎo)入模塊、配置模塊。如圖 5 所示。 圖 5 系統(tǒng)模塊 數(shù)據(jù)庫 設(shè)計 系統(tǒng)包括源端數(shù)據(jù)庫設(shè)計以及目的端數(shù)據(jù)庫設(shè)計。 源結(jié)點 Sql Server 2020 表設(shè)計 1) ER圖如圖 6 圖 6 ER圖 第 12 頁 共 24 頁 2) 數(shù)據(jù)表 如表 1： 表 1： tLJ（數(shù)據(jù)表） 邏輯字段名 物理字段名 字段類型 是否為空 主鍵 外鍵 說 明 編號 I int NOT NULL Yes No 自增加 姓名 Name Varchar(20) NOT NULL No No 描述 Des VARCHAR(1000) NULL No No 年齡 Age int NULL No No 3) 控制表 如表 表 表 表 5： 表 2 同步緩沖臨時表： tTemp 邏輯字段名 物理字段名 字段類型 是否為空 主鍵 外鍵 說 明 編號 I int NOT NULL Yes No 動作標(biāo)識 Sign tinyint null No No 插入 1，刪除 2，更新 3 數(shù)據(jù)表名 tableName VARCHAR(20) NULL No No 數(shù)據(jù)表的表名 數(shù)據(jù)記錄主鍵 infoID int Not null no no 數(shù)據(jù)表的記錄 主鍵 寫入時間 InsertDate DateTime NULL No No 表 3 讀取狀態(tài)表 : t