數(shù)倉容災(zāi)備份方案
除了需要配備有好的軟硬件產(chǎn)品之外,更需要有良好的備份策略和管理規(guī)劃來進(jìn)行保證。
建立一個數(shù)據(jù)備份平臺;支持異構(gòu)的服務(wù)器平臺與存儲設(shè)備;支持主流的操作系統(tǒng),例如HP-UX,IBM AIX,Sun Solaris和Windows2003系統(tǒng)等,支持主流的數(shù)據(jù)庫,例如Oracle, SQL SERVER,DB2,MYSQL等。
1. 支持Oracle數(shù)據(jù)庫(包括其它主流數(shù)據(jù)庫如SQL SERVER,DB2,MYSQL等)的在線備份,支持全備份、增量備份以及累計(jì)增量備份等類型??蓪?shí)現(xiàn)可靠、開放、自動、快速、實(shí)時、易擴(kuò)展的數(shù)據(jù)備份。
2. 具有充分的擴(kuò)展性,包括磁帶擴(kuò)容、新客戶端添加、新帶庫添加。
3. 支持多臺服務(wù)器的并行數(shù)據(jù)備份。
4. 備份軟件應(yīng)能對備份系統(tǒng)集中管理,統(tǒng)一管理備份設(shè)備、備份介質(zhì)和備份或恢復(fù)任務(wù),能統(tǒng)一定義管理備份策略和恢復(fù)策略。操作界面友善。備份軟件應(yīng)支持圖形操作界面和命令行操作界面兩種方式,且支持遠(yuǎn)程操作。應(yīng)能方便直觀地進(jìn)行備份策略的定義、進(jìn)行備份設(shè)備、備份任務(wù)的監(jiān)控、了解備份介質(zhì)的使用狀況等。系統(tǒng)安裝、操作簡單。
根據(jù)南車電氣目前數(shù)據(jù)倉庫系統(tǒng)的技術(shù)架構(gòu)以及備份需求,我們需要備份的項(xiàng)目如下,在實(shí)際中根據(jù)用戶需求可能進(jìn)一步調(diào)整:
類型 | 備份項(xiàng)目 | 備份方案 |
數(shù)據(jù)庫 | ODS數(shù)據(jù)庫數(shù)據(jù) | 每周一次全量,每天增量 |
數(shù)據(jù)倉庫數(shù)據(jù) | 每周一次全量,每天增量 | |
數(shù)據(jù)集市數(shù)據(jù) | 每周一次全量,每天增量 | |
BOE平臺資料庫 | 增加報(bào)表等操作后全量備份 | |
文件目錄 | BOE File store | 增加報(bào)表等操作后全量備份 |
應(yīng)用服務(wù)器安裝配置 | 安裝或調(diào)整配置后全量備份 | |
BW安裝配置 | 安裝或調(diào)整配置后全量備份 | |
所有服務(wù)器操作系統(tǒng) | 軟件安裝或系統(tǒng)升級后全量備份 |
1.1.1. 備份策略的定義
一個好的備份系統(tǒng),除了需要配備有好的軟硬件產(chǎn)品之外,更需要有良好的備份策略和管理規(guī)劃來進(jìn)行保證。備份策略的選擇,要統(tǒng)籌考慮需備份的總數(shù)據(jù)量,線路帶寬、數(shù)據(jù)吞吐量、時間窗口以及對恢復(fù)時間的要求等因素。
目前的備份類型主要有全量備份、增量備份和差異備份:
2 全備份:每次備份定義的所有數(shù)據(jù),優(yōu)點(diǎn)是恢復(fù)快,缺點(diǎn)是備份數(shù)據(jù)量大,數(shù)據(jù)多時可能做一次全備份需很長時間;
2 增量備份:備份自上一次備份以來更新的所有數(shù)據(jù),其優(yōu)點(diǎn)是每次備份的數(shù)據(jù)量少,缺點(diǎn)是恢復(fù)時需要全備份及多份增量備份;
2 差異備份:備份自上一次全備份以來更新的所有數(shù)據(jù),其優(yōu)缺點(diǎn)介于上兩者之間。
1.1.2. 備份窗口的選擇
所謂備份窗口,是指每次備份的間隔時間,這主要取決于每次備份間隔能夠容忍丟失的數(shù)據(jù)量、每次備份的數(shù)據(jù)量和備份的速度。理論上,備份的間隔越短越好,但每次備份總需一定的時間,而且備份總會或多或少地影響系統(tǒng)的正常處理性能。因而,對一些關(guān)鍵數(shù)據(jù),可預(yù)先定義備份窗口大小,再根據(jù)備份數(shù)據(jù)量計(jì)算所需的備份速度,若備份速度不能滿足要求,則可考慮使用更快速的帶庫或增加帶庫上的驅(qū)動器數(shù)量。
1.1.3. 災(zāi)難恢復(fù)的策略
備份的目的是為了防止在異常事故下的數(shù)據(jù)丟失,一旦運(yùn)行數(shù)據(jù)發(fā)生問題,如何從備份介質(zhì)中恢復(fù)出最當(dāng)前的數(shù)據(jù),才是我們真正關(guān)心的問題。我們不希望災(zāi)難發(fā)生,也不希望任何故障出現(xiàn)。然而災(zāi)難的出現(xiàn)往往是突然的、預(yù)先不可知的。所以我們應(yīng)有一套應(yīng)付各種災(zāi)難情況下的災(zāi)難恢復(fù)解決方案,以備不時之需。經(jīng)過對系統(tǒng)的初步運(yùn)行環(huán)境分析,歸納出以下有可能會出現(xiàn)的幾種情況,并提出了相應(yīng)的解決措施。
情況一:主機(jī)數(shù)據(jù)磁盤故障(非系統(tǒng)盤)
若數(shù)據(jù)盤使用了RAID1、RAID5等技術(shù),則應(yīng)該可直接熱替換硬盤;若數(shù)據(jù)盤已不能訪問,則需先修好物理盤,然后從備份介質(zhì)恢復(fù)數(shù)據(jù)。
情況二:主機(jī)物理損壞
替換主機(jī),使用原來的系統(tǒng)盤或數(shù)據(jù)盤;若不使用原來的系統(tǒng)盤或數(shù)據(jù)盤,則可以通過備份系統(tǒng)的災(zāi)難恢復(fù)功能恢復(fù)操作系統(tǒng),然后恢復(fù)數(shù)據(jù)。
情況三:系統(tǒng)盤物理損壞
替換系統(tǒng)盤,則可以通過備份系統(tǒng)的災(zāi)難恢復(fù)功能恢復(fù)操作系統(tǒng)。
情況四:操作系統(tǒng)不能啟動
直接通過備份系統(tǒng)的災(zāi)難恢復(fù)功能恢復(fù)操作系統(tǒng)。
情況五:磁盤上數(shù)據(jù)損壞(如由于人為失誤、病毒或黑客攻擊)
磁盤數(shù)據(jù)可能包括以下類型:BOE FILESTORE,DI安裝配置文件,BW安裝配置文件,BOE安裝配置文件,ORACLE安裝配置文件等,首先考慮通過相在產(chǎn)品的技術(shù)來恢復(fù)文件,如果不能解決,通過備份介質(zhì)上的數(shù)據(jù)備份恢復(fù)數(shù)據(jù)。
情況六:數(shù)據(jù)庫數(shù)據(jù)丟失(如由于人為失誤、數(shù)據(jù)塊損壞等)
本項(xiàng)目中數(shù)據(jù)庫有以下幾類:ODS數(shù)據(jù)庫,數(shù)據(jù)集市數(shù)據(jù)據(jù),數(shù)據(jù)倉庫數(shù)據(jù)庫,ETL資料庫,BOE資料庫。如出現(xiàn)以上情況時,首先考慮通過Oracle數(shù)據(jù)庫本身的技術(shù)如flashback來恢復(fù)丟失的數(shù)據(jù),如果不能解決,需要通過從備份介質(zhì)進(jìn)行恢復(fù)處理。
情況七:整個數(shù)據(jù)中心災(zāi)難
所謂數(shù)據(jù)中心災(zāi)難,是指一些特殊情況發(fā)生時,數(shù)據(jù)中心的主機(jī)系統(tǒng)的存放在磁盤上的數(shù)據(jù),以及備份帶庫中的備份介質(zhì)上的數(shù)據(jù)均遭損壞。此時,若沒有很好的容災(zāi)解決方法,就可能導(dǎo)致嚴(yán)重的后果。
