案例 | 北京某數(shù)據(jù)中心故障原因探討

宇智波鼬cjga9r 2016-09-02

展開全文

事故背景

2016 年 4 月 22 日，某公司北京亦莊數(shù)據(jù)中心 UPS 升級改造過程中，造成供電中斷，導(dǎo)致機房全部設(shè)備斷電，系統(tǒng)宕機，73 家村鎮(zhèn)銀行的核心、銀行卡、柜面、支付、網(wǎng)銀、手機銀行等業(yè)務(wù)全部中斷，涉及全國 12 個省份，并造成部分服務(wù)器損壞，銀行業(yè)務(wù)最長恢復(fù)時間達到 7 小時 32 分鐘，同時還導(dǎo)致部分銀行業(yè)金融機構(gòu)的開發(fā)測試系統(tǒng)、災(zāi)備系統(tǒng)、生產(chǎn)業(yè)務(wù)系統(tǒng)相繼中斷。

起因描述

該數(shù)據(jù)中心的 4 臺老舊 UPS 升級，先將 3 號和 4 號舊 UPS（400KVA）換新、由 1號和 2 號舊 UPS 為機房供電，而后再更新 1 號和 2 號 UPS,再此期間使用三臺柴油發(fā)電機并機運行為 UPS 供電。末端負載為 710kVA，功率因數(shù)為 0.95。

為了確保外電源供電正常，由外市電供電改為柴油發(fā)電機向 UPS 供電，并且在之前做過柴油發(fā)電機帶假負載測試。把原來接在柴油發(fā)電機組下的制冷系統(tǒng)給退出來了，以便于柴油發(fā)電機只對 UPS 系統(tǒng)供電，降低負載，把制冷交給外市電（這是最 N13 的了）。

升級過程中，兩臺舊 UPS 因負載過高（達到容量的 90%），運行 50 分鐘后切換至旁路，發(fā)電機直接對 IT 設(shè)備供電。12 分鐘后三臺發(fā)電機接連出現(xiàn)“失磁”報警，陸續(xù)停止運行，導(dǎo)致機房全部設(shè)備斷電，系統(tǒng)宕機。并且出現(xiàn)柴油發(fā)電機組“脫磁”而退出供電的時間點是新裝的 UPS 開機時。

看完以上敘述后，提出以下問題

1. 為什么認為市電供電不安全，柴油發(fā)電機組供電就安全了？

2. 為什么要將以感性負載為主的制冷系統(tǒng)退出，不由柴油發(fā)電機組進行帶載？主要是容性負載的情況下，增加部分感性負載不是很好嗎。

3. 為什么發(fā)生 UPS 過載，切到旁路供電后；不采取相關(guān)應(yīng)急措施，而是繼續(xù)進行 UPS 更新操作？

4. 為什么不提前進行相關(guān)數(shù)據(jù)的采集，選擇在 IT 負載低谷的時間段進行？

例如：夜間（23:00——06:00）進行 UPS 更新操作。

事故分析

1. UPS 為什么會因負載過高而切換到旁路？

1.1 功率因數(shù)為 0.95（感性），UPS 額定容量為 400KVA，末端負載為 710kVA。

經(jīng)過計算，2 臺 UPS 并機容量為 674KVA。此時 UPS 過載 5.3%。如果 UPS 具有PFC（功率因數(shù)校正）電路，功率因數(shù)為 0.95（容性）時的計算結(jié)果和上面一樣。

1.2 功率因數(shù)為 0.95（容性），UPS 額定容量為 400KVA，末端負載為 710kVA。2臺 UPS 并機容量為 614KVA（圖一）。此時 UPS 過載 15.6%。

圖一（來自老宋聊機房）

1.3 經(jīng)以上數(shù)據(jù)反映，UPS 已經(jīng)過載運行了。所以老舊的 UPS 因負載過高而切換到旁路只是時間長短的問題，并且 UPS 過載運行能堅持的時間不能確定，什么時候切換到旁路也不能確定。所以運維工作人員讓已經(jīng)老舊的 UPS 過載運行，這是不可取的；應(yīng)盡量規(guī)避這種風險，選擇在 IT 負載低谷時段進行 UPS更新操作。

圖二（UPS 的過載/短路能力）

1.4 圖二為 UPS 廠家給出的測試數(shù)據(jù)（僅供參考）。隨著 UPS 的使用和運行時間的增加，UPS 的性能也會有所下降。所以不能脫離實際情況，僅憑測試數(shù)據(jù)來判斷 UPS 性能。特別是老舊的 UPS，其過載能力沒有經(jīng)過專業(yè)人員測試，很難判定。

2. 柴油發(fā)電機組為什么會出現(xiàn)“失磁”報警，最后“脫磁”而退出供電？

2.1 對于柴油發(fā)機組來說帶感性負載（吸收無功），具有“去磁效應(yīng)”；帶容性負載（提供無功），具有“增磁效應(yīng)”。而此時數(shù)據(jù)中心的負載以容性為主，不是造成柴油發(fā)電機組出現(xiàn)“失磁”報警，最后“脫磁”而退出供電的主要因數(shù)。

如圖三所示：帶容性負載會使柴油發(fā)電機組容量減額，造成發(fā)電機組過載運行。目前，解決柴油發(fā)電機組帶容性負載的普遍辦法，還是增大柴油發(fā)電機組總?cè)萘浚簧俚臑?1.2～1.5 倍，多的為 1.5～2.0 倍(這恐怕是將以感性負載為主的制冷系統(tǒng)退出，不由柴油發(fā)電機組帶的主要原因吧)。但是在數(shù)據(jù)中心內(nèi)的負載還是以非線性和容性為主，單方面增加柴油發(fā)電機組總?cè)萘坎贿M行諧波抑制，效果并不理想。

圖三（發(fā)電機功率折算曲線）

2.2 在數(shù)據(jù)中心設(shè)備中能產(chǎn)生諧波的有：控制系統(tǒng)的開關(guān)電源、照明系統(tǒng)的整流器、變頻器、IT 設(shè)備、EPS 電源、UPS 電源等。例如：UPS 產(chǎn)生的諧波，以 6脈沖為例：諧波為 5 次，7 次，11 次，13 次…等。IT 設(shè)備主要為開關(guān)電源，諧波為 3 次，5 次，7 次，9 次…等。所以數(shù)據(jù)中心內(nèi)供配電系統(tǒng)對諧波進行抑制非常必要的。

2.3 諧波對柴油發(fā)機組的影響：1.諧波將引起發(fā)電機電磁轉(zhuǎn)矩脈動并伴隨嚴重的機械振動，影響發(fā)電機組壽命。2.諧波帶來大量的熱量損耗，降低發(fā)電效率，嚴重時甚至會燒毀機組。3.電樞中的諧波電流會使同步發(fā)電機輸出電壓產(chǎn)生畸變，嚴重降低電能質(zhì)量。

2.4 一般情況把大電網(wǎng)看作無窮大電源，可忽略其內(nèi)阻。由設(shè)備產(chǎn)生的諧波電流對電網(wǎng)電壓的影響較小。但是在小容量供配電系統(tǒng)中采用小容量發(fā)電機組作為電源，其內(nèi)阻較大，慣性小，抗諧波電流的能力弱，當有諧波電流流過電機的定子繞組時，同步發(fā)電機的輸出端電壓會發(fā)生比較大的畸變?；兊妮敵鲭妷翰粌H會干擾用電設(shè)備的正常使用，甚至也會使發(fā)電機的勵磁系統(tǒng)無法正常工作，引起更為嚴重的后果（失磁）

圖四（發(fā)電機的自并勵系統(tǒng)）

從圖四中可以看出，勵磁系統(tǒng)中的 AVR（發(fā)電機自動電壓調(diào)節(jié)器）需要經(jīng)過電壓互感器和電流互感器采集發(fā)電機輸出端的電壓和電流來進行電壓調(diào)節(jié)；并且勵磁變壓器的電源也是從發(fā)電機組輸出端接入的。所以諧波電流流入發(fā)電機時，不僅會影響 AVR 的運行，還會影響勵磁機的正常運行；造成發(fā)電機的勵磁系統(tǒng)無法正常工作，引起更為嚴重的后果（失磁）。由于為了更好的說明諧波對勵磁系統(tǒng)的影響，采用自并勵系統(tǒng)（僅供參考）。

現(xiàn)在大容量的柴發(fā)電機組一般采用三機勵磁，容量較小的柴油發(fā)機組采用二機勵磁。其中采用永磁勵磁機，其抗諧波的能力明顯提升。

2.5 所以造成柴油發(fā)電機組出現(xiàn)“失磁”報警，最后“脫磁”而退出供電的主要原因是諧波造成的。開機啟動更新的 UPS 造成供配電系統(tǒng)內(nèi)的諧波加劇是事故的誘因。

參考文獻/資料