【案例分享】S5700因收到大量STP TC報(bào)文導(dǎo)致CPU升高

yi321yi 2020-08-07

展開全文

問題描述

如圖1-1所示，某用戶反饋其企業(yè)網(wǎng)絡(luò)中，其中一臺(tái)S5700交換機(jī)（圖中標(biāo)號(hào)為S11的設(shè)備）CPU異常，CPU占用率經(jīng)常達(dá)到90%以上。

圖1-1 S5700因收到大量STP TC報(bào)文導(dǎo)致CPU升高組網(wǎng)圖

告警信息

執(zhí)行命令display cpu-usage，查詢S5700的CPU信息，S5700最近曾出現(xiàn)CPU升高的記錄，CPU占用率最高達(dá)到了97%。

<S5700> display cpu-usage

CPU Usage Stat. Cycle: 60 (Second)

CPU Usage : 18% Max: 97%

CPU Usage Stat. Time : 2014-10-07 11:19:29

CPU utilization for five seconds: 18%: one minute: 18%: five minutes: 18%

Max CPU Usage Stat. Time : 2014-09-11 16:37:54.

查詢?cè)O(shè)備日志，有大量TC報(bào)文日志產(chǎn)生：

Oct 7 2014 11:06:20-05:13 S5700 %%01INFO/4/SUPPRESS_LOG(l)[15]:Last message repeated 1 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)

Oct 7 2014 11:05:19-05:13 S5700 %%01INFO/4/SUPPRESS_LOG(l)[16]:Last message repeated 3 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)

Oct 7 2014 11:04:12-05:13 S5700 %%01INFO/4/SUPPRESS_LOG(l)[17]:Last message repeated 3 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)

處理過程

步驟1

因未在故障時(shí)查看信息，無(wú)法知道具體哪些進(jìn)程引起CPU升高，懷疑為設(shè)備FTS任務(wù)進(jìn)程要處理大量的TC報(bào)文，導(dǎo)致CPU占用率升高。設(shè)備一直產(chǎn)生TC報(bào)文日志，首先確定此TC報(bào)文是本設(shè)備產(chǎn)生的，還是從其它設(shè)備收到的。

使用display stp tc-bpdu statistics命令查詢TC報(bào)文是在S5700設(shè)備產(chǎn)生的，還是從其它設(shè)備收到的。經(jīng)查詢S5700與SwitchA互連的端口GigabitEthernet0/0/52收到的TC報(bào)文一直增長(zhǎng)，且同時(shí)轉(zhuǎn)發(fā)至其它接入層交換機(jī)。由此可以判斷該TC報(bào)文不是S5700設(shè)備產(chǎn)生的。

<S5700> display stp tc-bpdu statistics

-------------------------- STP TC/TCN information --------------------------

MSTID Port TC(Send/Receive) TCN(Send/Receive)

0 GigabitEthernet0/0/51 29272/63 0/0

0 GigabitEthernet0/0/52 3/18363 0/0

步驟2

使用display stp tc-bpdu statistics命令逐層排查TC報(bào)文入方向設(shè)備，確認(rèn)此TC報(bào)文是在網(wǎng)絡(luò)中的哪一臺(tái)設(shè)備上產(chǎn)生的。

查詢核心設(shè)備SwitchA，發(fā)現(xiàn)Eth-Trunk1收到大量的TC報(bào)文，而Eth-Trunk1是與核心設(shè)備SwicthB互聯(lián)的，由此可以判斷該TC報(bào)文不是SwitchA產(chǎn)生的。

<SwitchA> display stp tc-bpdu statistics

-------------------------- STP TC/TCN information --------------------------

MSTID Port TC(Send/Receive) TCN(Send/Receive)

0 GigabitEthernet0/0/1 16754/7 0/0

0 GigabitEthernet0/0/2 17112/1 0/0

0 GigabitEthernet0/0/3 17462/11 0/0

0 GigabitEthernet0/0/4 17793/4 0/0

0 GigabitEthernet0/0/5 18118/5 0/0

0 GigabitEthernet0/0/6 18415/3 0/0

0 GigabitEthernet0/0/14 17791/3 0/0

0 GigabitEthernet0/0/15 18113/6 0/0

0 GigabitEthernet0/0/16 18435/4 0/0

0 Eth-Trunk1 4/11010 0/0

繼續(xù)查詢核心設(shè)備SwitchB，發(fā)現(xiàn)GigabitEthernet0/0/2端口收到大量的TC報(bào)文，而GigabitEthernet0/0/2端口是與S4設(shè)備的GigabitEthernet0/0/52互聯(lián)，由此可以判斷該TC報(bào)文不是SwitchB產(chǎn)生的。

<SwitchB> display stp tc-bpdu statistics

-------------------------- STP TC/TCN information --------------------------

MSTID Port TC(Send/Receive) TCN(Send/Receive)

0 GigabitEthernet0/0/1 12495/13 0/0

0 GigabitEthernet0/0/2 135/8349 0/0

0 GigabitEthernet0/0/3 13430/19 0/0

0 GigabitEthernet0/0/4 13784/14 0/0

0 GigabitEthernet0/0/5 14200/17 0/0

0 GigabitEthernet0/0/6 14687/10 0/0

0 GigabitEthernet0/0/14 14164/16 0/0

0 GigabitEthernet0/0/15 14164/16 0/0

0 GigabitEthernet0/0/16 14625/12 0/0

0 Eth-Trunk1 11012/4 0/0

繼續(xù)查詢S4設(shè)備，發(fā)現(xiàn)GigabitEthernet0/0/51、GigabitEthernet0/0/52端口Send方向大量的TC報(bào)文計(jì)數(shù)增漲，初步判斷TC報(bào)文由應(yīng)由此設(shè)備產(chǎn)生。

<S4> display stp tc-bpdu statistics

-------------------------- STP TC/TCN information --------------------------

MSTID Port TC(Send/Receive) TCN(Send/Receive)

0 GigabitEthernet0/0/51 8196/1123 0/0

0 GigabitEthernet0/0/52 8343/136 0/0

步驟3

當(dāng)查詢到S4設(shè)備時(shí)，發(fā)現(xiàn)其TC報(bào)文只有在出方向上不斷有增長(zhǎng)計(jì)數(shù)，由此可判斷該TC報(bào)文為S4設(shè)備產(chǎn)生。此時(shí)執(zhí)行命令display stp topology-change查詢?cè)揟C報(bào)文的信息。從以下回顯可以看出，該設(shè)備GigabitEthernet0/0/51端口不斷由阻塞變?yōu)榉砰_后，由于狀態(tài)變?yōu)閐etected而觸發(fā)拓?fù)渥兓?nbsp;

<S4> display stp topology-change

CIST topology change information

Number of topology changes :8233

Time since last topology change :0 days 0h:0m:26s

Topology change initiator(detected) :GigabitEthernet0/0/51

Number of generated topologychange traps : 9852

Number of suppressed topologychange traps: 13

步驟4

執(zhí)行命令display interface brief查詢?cè)摻尤朐O(shè)備端口信息，發(fā)現(xiàn)該設(shè)備GigabitEthernet0/0/51端口入方向有大量錯(cuò)包，隔一段時(shí)間后，再次查詢?cè)撛O(shè)備的端口信息，GigabitEthernet0/0/51端口入方向還是有大量錯(cuò)包。由此說(shuō)明此接口入方向光纖線纜有問題，排查線纜故障后問題解決。

<S4> display interface brief

PHY: Physical

*down: administratively down

^down: standby

(l): loopback

(s): spoofing

(E): E-Trunk down

(b): BFD down

(e): ETHOAM down

(dl): DLDP down

(d): Dampening Suppressed

InUti/OutUti: input utility/output utility

Interface PHY Protocol InUti OutUti inErrors outErrors

........

GigabitEthernet0/0/51 up up 0.01% 0.02% 38068638 0

........

----結(jié)束

根因

STP組網(wǎng)中，與STP計(jì)算的設(shè)備互連端口因鏈路質(zhì)量不好，導(dǎo)致設(shè)備STP頻繁收斂，產(chǎn)生大量TC報(bào)文，導(dǎo)致收到此TC報(bào)文的設(shè)備部分CPU升高，影響業(yè)務(wù)正常運(yùn)行。

解決方案

排查S3設(shè)備與S4設(shè)備之間的鏈路故障原因。

建議與總結(jié)

在參與STP計(jì)算的核心設(shè)備上，全局配置stp tc-protection命令，配置后可以保證設(shè)備頻繁收到TC報(bào)文時(shí)，每2秒周期內(nèi)最多只處理1次表項(xiàng)刷新。從而減少M(fèi)AC、ARP表項(xiàng)頻繁刷新對(duì)設(shè)備造成的負(fù)擔(dān)。

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來(lái)自： yi321yi > 《網(wǎng)絡(luò)》

舉報(bào)/認(rèn)領(lǐng)