CobiNet(寧波)推薦文章：

由中國(guó)信息通信研究院主辦、中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)支持的"OSCAR開(kāi)源產(chǎn)業(yè)大會(huì)"在國(guó)家會(huì)議中心舉行。

銀行業(yè)云計(jì)算發(fā)展論壇作為大會(huì)分論壇之一，于22日下午召開(kāi)。

李曉楓：下面請(qǐng)民生銀行的技術(shù)專家何佳佳給大家分享民生銀行基于開(kāi)源的運(yùn)維實(shí)踐。開(kāi)源體系坑多，所以才把運(yùn)維和開(kāi)發(fā)理念合在一起，出了新詞。既然你要用開(kāi)源建私有云，繞不過(guò)開(kāi)源，我們聽(tīng)民生銀行怎么介紹，請(qǐng)。

民生銀行技術(shù)專家何佳佳帶來(lái)的精彩演講題為《民生銀行基于開(kāi)源的運(yùn)維實(shí)踐》。

以下為演講實(shí)錄:

何佳佳：各位領(lǐng)導(dǎo)、專家，大家好，我的分享主題是民生銀行基于開(kāi)源的運(yùn)維實(shí)踐，其實(shí)前面幾位領(lǐng)導(dǎo)和專家都已經(jīng)在云計(jì)算，包括開(kāi)源方面的發(fā)展做了一些指引方面的描述，包括藍(lán)圖方面的介紹。我更多會(huì)從底層運(yùn)維支撐角度來(lái)看，怎么去做云計(jì)算，包括開(kāi)源的支撐。

我是03年參加工作，基本上到現(xiàn)在剛好分上下半場(chǎng)。上半場(chǎng)在傳統(tǒng)制造業(yè)，做過(guò)幾乎絕大部分IT各方面的工作，所以IT各個(gè)領(lǐng)域基本都有一定了解。下半場(chǎng)加入民生銀行，基本上做核心系統(tǒng)運(yùn)維，包括關(guān)鍵組件的運(yùn)維。這兩年更多把精力偏向工具平臺(tái)建設(shè)，包括ITIL流程，DevOps平臺(tái)建設(shè)，現(xiàn)在民生銀行在做實(shí)踐落地。

民生銀行是比較特殊的銀行，它是第一家民營(yíng)性質(zhì)全國(guó)性股份制銀行，它發(fā)展非?？欤?1年的歷程從最開(kāi)始資本金10幾億，到現(xiàn)在3700億的發(fā)展速度。它有一個(gè)特點(diǎn)，業(yè)務(wù)與需求追求短平快，要效果，以結(jié)果為導(dǎo)向。所以，在這種情況下，我們會(huì)面臨哪些挑戰(zhàn)呢？剛才提到業(yè)務(wù)的高速發(fā)展情況，有自己的業(yè)務(wù)特色，包括它的靈活性、多樣性。再加上最近幾年互聯(lián)網(wǎng)金融模式，對(duì)我行的沖擊比較大，不過(guò)民生這方面應(yīng)對(duì)也很及時(shí)。比如在余額寶出來(lái)之后很快對(duì)標(biāo)出來(lái)如意寶。在這種業(yè)務(wù)發(fā)展情況下，從業(yè)務(wù)架構(gòu)來(lái)講調(diào)整速度非?？欤瑥亩鴰?dòng)底層應(yīng)用架構(gòu)，甚至技術(shù)架構(gòu)不停的轉(zhuǎn)變和演進(jìn)。同時(shí)對(duì)技術(shù)迭代要求非常高。從以前單一的開(kāi)發(fā)運(yùn)行框架到現(xiàn)在多樣化的框架，各類新技術(shù)層出不窮，比如、人工智能，機(jī)器學(xué)習(xí)等等。當(dāng)然，比較重要的是從封閉商業(yè)軟件模式到基于開(kāi)源模式的轉(zhuǎn)變。有一個(gè)數(shù)字可以證明這些變化量，我們2017年全年所有應(yīng)用變更超過(guò)1萬(wàn)次，而且還在遞增。

從信息科技角度來(lái)看，2000年左右我們主要是單體應(yīng)用架構(gòu)。2012年到2013年之間，隨著 新 核心項(xiàng)目上線，改造為了SOA架構(gòu)，可以從架構(gòu)圖看到邏輯和應(yīng)用架構(gòu)的復(fù)雜性。這兩年有更大的跨度，分布式和微服務(wù)化的改造，和新技術(shù)新架構(gòu)的高速演進(jìn)，同時(shí)通過(guò)剛才提到的那些新技術(shù)會(huì)去引領(lǐng)業(yè)務(wù)，包括應(yīng)用這塊的技術(shù)革新，包括的業(yè)務(wù)革新。比如，2015年開(kāi)始我們有一個(gè)和發(fā)改委合作的金融云科研項(xiàng)目，經(jīng)過(guò)2年的研究積累，我們?cè)O(shè)計(jì)實(shí)施了分布式和微服務(wù)架構(gòu)方案，上線了分布式的核心系統(tǒng)。該系統(tǒng)主要采用分布式架構(gòu)，也就是我們當(dāng)時(shí)做的金融云科研項(xiàng)目的落地化。另外，新零售信貸體系，利用新興的大數(shù)據(jù)智能分析等技術(shù)，實(shí)現(xiàn)了決策引擎，反欺詐，貸后監(jiān)測(cè)等功能，給業(yè)務(wù)帶來(lái)很大的業(yè)務(wù)革新，諸如此類的創(chuàng)新還有很多。

當(dāng)然，這也給我們的運(yùn)維帶來(lái)了一些難題。從應(yīng)用架構(gòu)演進(jìn)到技術(shù)迭代，速度是越來(lái)越快的，而我們?cè)?jīng)的運(yùn)維支撐能力發(fā)展相對(duì)會(huì)比較緩慢。這其中存在兩大難題，一個(gè)是傳統(tǒng)的運(yùn)維模式，難以適應(yīng)支持高速變化的應(yīng)用與技術(shù)，導(dǎo)致運(yùn)維不停的被動(dòng)響應(yīng)需求。另外一個(gè)是封閉的商業(yè)軟件工具依賴，需求受限，轉(zhuǎn)型緩慢不靈活，變相增加了運(yùn)維的被動(dòng)性，支撐能力因而發(fā)展緩慢。針對(duì)這些問(wèn)題，我們也在思考如何破局。

首先，我們把視角轉(zhuǎn)向運(yùn)維模式。我們最早的是傳統(tǒng)的組織架構(gòu)，會(huì)建立很多個(gè)專業(yè)領(lǐng)域的中心，實(shí)現(xiàn)中心化管理。崗位會(huì)有明確職責(zé)，崗位之間有一定的隔離性。工具層面，包括流程層面，會(huì)和應(yīng)用運(yùn)維層面有比較清晰的定義。這種機(jī)制，是當(dāng)時(shí)的一種比較理想的情況，但不一定適合不斷變化的環(huán)境。那怎么去改變它呢？我們考慮組織機(jī)構(gòu)的 云 化。主要從三個(gè)方面解決，首先是虛擬化，我們從最痛點(diǎn)的應(yīng)用運(yùn)維入手，建立虛擬的運(yùn)維小組，把崗位做業(yè)務(wù)相關(guān)性聚合分組，化整為零，通過(guò)虛擬小團(tuán)隊(duì)提高靈活性，同時(shí)鼓勵(lì)跨組跨中心的輪崗。在此基礎(chǔ)上，建立了兩個(gè)跨中心的虛擬組，一個(gè)是流程小組，一個(gè)是工具與平臺(tái)小組。流程組會(huì)跨中心設(shè)立流程負(fù)責(zé)人，整體設(shè)計(jì)把控各種IT流程，包括問(wèn)題、事件、變更等。工具與平臺(tái)小組也是多中心協(xié)同，會(huì)從實(shí)際應(yīng)用場(chǎng)景出發(fā)，全局考慮怎么構(gòu)建我們的工具和平臺(tái)。在這種虛擬化劃分的基礎(chǔ)上，從而做到整體扁平化管理，統(tǒng)一資源調(diào)配，統(tǒng)一工作流程，實(shí)現(xiàn)更有效地協(xié)同合作能力，實(shí)現(xiàn)全局信息共享，應(yīng)用場(chǎng)景與工具、流程的深入融合設(shè)計(jì)。

工具和平臺(tái)層面，我們參考AIOps的理念和漠視，轉(zhuǎn)化設(shè)計(jì)了一套自己的運(yùn)維發(fā)展藍(lán)圖。核心基礎(chǔ)能力層面是我們的基礎(chǔ)，主要由系統(tǒng)管理中心這邊專門(mén)的大數(shù)據(jù)平臺(tái)團(tuán)隊(duì)獨(dú)立設(shè)計(jì)，實(shí)現(xiàn)了基于開(kāi)源的大數(shù)據(jù)基礎(chǔ)架構(gòu)。另外，這個(gè)團(tuán)隊(duì)基于開(kāi)源實(shí)施了日志技術(shù)平臺(tái)。中間邏輯平臺(tái)層包含三個(gè)方面。一個(gè)是監(jiān)控，主要基于開(kāi)源Zabbix搭建監(jiān)控體系；自動(dòng)化與DevOps部分，以前更多是使用商業(yè)軟件，逐步以開(kāi)源的Ansible，Jenkins等軟件為后臺(tái)，做上層的封裝和整合。兩者通過(guò)IT服務(wù)管理進(jìn)行交互與流轉(zhuǎn)。最外層是應(yīng)用場(chǎng)景層面，會(huì)從應(yīng)用運(yùn)維角度看具體的痛點(diǎn)或需求，面向消費(fèi)場(chǎng)景來(lái)驅(qū)動(dòng)設(shè)計(jì)。我們?cè)陂_(kāi)源方面還是比較積極的，發(fā)展較快的。比如大數(shù)據(jù)平臺(tái)團(tuán)隊(duì)現(xiàn)在不光是在用開(kāi)源，而且開(kāi)始貢獻(xiàn)社區(qū)。慢慢的我們就會(huì)從購(gòu)買使用封閉的商業(yè)軟件轉(zhuǎn)向商業(yè)軟件與開(kāi)源的融合發(fā)展。下邊簡(jiǎn)單給大家介紹這幾個(gè)層次的情況。

核心基礎(chǔ)能力主要是指大數(shù)據(jù)基礎(chǔ)架構(gòu)，設(shè)計(jì)實(shí)現(xiàn)了三大集群，分計(jì)算集群、非計(jì)算集群和實(shí)時(shí)計(jì)算集群，三個(gè)平臺(tái)各司其職，分別服務(wù)于批量數(shù)據(jù)任務(wù)、聯(lián)機(jī)查詢以及實(shí)時(shí)消息和流處理。這么多資源怎么管控是一個(gè)很大的問(wèn)題，大數(shù)據(jù)管控平臺(tái)是我們團(tuán)隊(duì)專門(mén)自主研發(fā)的，用于支撐大數(shù)據(jù)基礎(chǔ)架構(gòu)運(yùn)行。平臺(tái)層面實(shí)現(xiàn)界面邏輯和執(zhí)行層Ansible的封裝。支持項(xiàng)目管理、功能管理，同時(shí)還有批量作業(yè)發(fā)起，資源池使用監(jiān)控跟蹤等功能。日志技術(shù)平臺(tái)，主要是基于ELK技術(shù)棧構(gòu)建，我們建立了全行的整體日志視圖，總行和分行的分層體系結(jié)構(gòu)，通過(guò)平臺(tái)統(tǒng)一管理所有的日志。包括日志收集、傳輸、存儲(chǔ)、分析、可視化，都在這個(gè)大平臺(tái)里面完成。

監(jiān)控方面，主要是在zabbix之上做二次開(kāi)發(fā)和封裝，一個(gè)是建立新的監(jiān)控體系，二是和老的監(jiān)控平臺(tái)的集成融合。通過(guò)大數(shù)據(jù)平臺(tái)做分析，以及后處理響應(yīng)動(dòng)作。另外，我們近期在實(shí)施容器云，容器方面的監(jiān)控重要的工作，我們也是通過(guò)基于Zabbix的新監(jiān)控體系來(lái)實(shí)現(xiàn)對(duì)容器的支持。

接下來(lái)是重點(diǎn)的應(yīng)用場(chǎng)景層。應(yīng)用場(chǎng)景我們更多是從應(yīng)用運(yùn)維角度出發(fā)進(jìn)行設(shè)計(jì)實(shí)現(xiàn)。給大家介紹幾個(gè)場(chǎng)景，第一個(gè)場(chǎng)景， onplat全景運(yùn)維平臺(tái)，實(shí)現(xiàn)實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)分析和可視化。主要功能包括業(yè)務(wù)數(shù)據(jù)可視化，實(shí)時(shí)分析，根本原因分析與問(wèn)題診斷，主動(dòng)感知系統(tǒng)交易質(zhì)量，包括異動(dòng)、風(fēng)險(xiǎn)，及時(shí)反饋。這個(gè)項(xiàng)目在去年獲了兩個(gè)獎(jiǎng)，一個(gè)是金融電子化頒發(fā)的運(yùn)維創(chuàng)新貢獻(xiàn)獎(jiǎng)，一個(gè)是行內(nèi)科技創(chuàng)新二等獎(jiǎng)。這個(gè)圖比較直觀，當(dāng)前銀行的架構(gòu)變得越來(lái)越復(fù)雜，比如SOA，分布式、微服務(wù)化面臨同樣的問(wèn)題。舉一個(gè)例子，3秒鐘的交易，要穿過(guò)很多城市機(jī)房、系統(tǒng)，包括服務(wù)器，怎么定位，怎么找問(wèn)題原因，其實(shí)是一個(gè)特別難的話題。

下邊這幅圖是以前的一個(gè)真實(shí)的案例，一個(gè)比較局部的交易緩慢問(wèn)題引發(fā)的一次特別費(fèi)力的診斷過(guò)程，這里不再詳細(xì)描述，主要是兩大難題亟待解決。一個(gè)是全局優(yōu)化沒(méi)有特別直觀的告訴我們到底哪個(gè)點(diǎn)出了異常，二是局部問(wèn)題掩蓋在全局得海量交易里面，難于定位。

基于這些痛點(diǎn)，我們開(kāi)始著手發(fā)起這個(gè)項(xiàng)目。主要的設(shè)計(jì)思路是在應(yīng)用服務(wù)運(yùn)行過(guò)程中，旁路無(wú)感知的自動(dòng)完成信息收集和各項(xiàng)檢查，通過(guò)API提供給上層做實(shí)時(shí)展示，多維度分析，甚至通過(guò)動(dòng)態(tài)規(guī)則引擎、機(jī)器學(xué)習(xí)的參與，再反饋到上層做問(wèn)題根本原因分析和整體運(yùn)行情況匯聚實(shí)時(shí)展示。下邊這幅圖是當(dāng)前的實(shí)現(xiàn)，一個(gè)是非常簡(jiǎn)單的主頁(yè)入口，能輸入很多要素，比如返回碼、IP系統(tǒng)簡(jiǎn)稱、流水號(hào)、服務(wù)名、日期、系統(tǒng)A到系統(tǒng)B的訪問(wèn)關(guān)系等，后臺(tái)自動(dòng)區(qū)分進(jìn)入不同的分析視圖。另外也可以直接訪問(wèn)系統(tǒng)全局運(yùn)行視圖，實(shí)時(shí)地匯聚展示了系統(tǒng)健康情況和每個(gè)系統(tǒng)之間鏈路的情況。如果下層某個(gè)指標(biāo)出現(xiàn)異動(dòng)，會(huì)在上層快速響應(yīng)出來(lái)，比如做紅色高亮顯示，能夠很快知道出了問(wèn)題以及問(wèn)題所在。視圖支持點(diǎn)擊下鉆到應(yīng)用或鏈路視圖。我們?cè)O(shè)立了三個(gè)指標(biāo)集，交易量、性能和異常，圍繞這三個(gè)指標(biāo)集進(jìn)行多維度分析。

應(yīng)用視圖，用于展示應(yīng)用和交易鏈路的情況，同樣圍繞著剛才提到的三個(gè)指標(biāo)集進(jìn)行分析。通過(guò)動(dòng)態(tài)規(guī)則引擎以及機(jī)器學(xué)習(xí)，進(jìn)行分析和判斷，識(shí)別異常變動(dòng)和趨勢(shì)。例如左下角的服務(wù)調(diào)用分析，通過(guò)規(guī)則判斷，展示當(dāng)前交易情況和歷史同期正常情況，進(jìn)行比對(duì)展示。另外還有交易尖峰分析，我們可以在界面上快速拖拉拽，快速識(shí)別異常點(diǎn)和問(wèn)題原因。

下邊的功能場(chǎng)景是單筆交易鏈路分析。這部分功能對(duì)于運(yùn)維來(lái)講非常有用，比如圖上這一筆端到端的交易調(diào)用，途經(jīng)十幾個(gè)系統(tǒng)、服務(wù)，通過(guò)這個(gè)功能可以直觀的看到具體慢在哪個(gè)原子服務(wù)，到底哪個(gè)環(huán)節(jié)出了異常。

這個(gè)平臺(tái)整個(gè)框架比較簡(jiǎn)單，數(shù)據(jù)分析邏輯是基于大數(shù)據(jù)平臺(tái)來(lái)實(shí)現(xiàn)的，使用了Kafka，Spark Streaming，ES，Redis等等組件。流程可視化層，利用民生自有的開(kāi)放框架形成平臺(tái)，上層使用開(kāi)源的UI組件，嵌入自然語(yǔ)言處理。

第二個(gè)應(yīng)用場(chǎng)景是我們的自主創(chuàng)新項(xiàng)目實(shí)時(shí)指標(biāo)駕駛艙，用于展示商業(yè)銀行的基本經(jīng)營(yíng)指標(biāo)，包括資產(chǎn)、負(fù)債等等的實(shí)時(shí)情況。民生銀行過(guò)去只能做到T+1日?qǐng)?bào)表查看前一天的數(shù)據(jù)，通過(guò)這套新的框架，現(xiàn)在可以秒級(jí)近實(shí)時(shí)地看到當(dāng)前指標(biāo)，包括存款、貸款等各項(xiàng)指標(biāo)?，F(xiàn)在我們的行領(lǐng)導(dǎo)每天都要多次查看這個(gè)功能。這個(gè)功能可以在手機(jī)上方便的查看實(shí)時(shí)情況，實(shí)現(xiàn)下鉆分析到多個(gè)維度，比如按機(jī)構(gòu)統(tǒng)計(jì)。另外實(shí)現(xiàn)快速識(shí)別大額異動(dòng)的交易。邏輯角度不再詳細(xì)描述，主要包括三層，數(shù)據(jù)接入層，數(shù)據(jù)計(jì)算層，接口服務(wù)層，最終提供到手機(jī)上進(jìn)行展示。

第三個(gè)場(chǎng)景是針對(duì)更多的分布式系統(tǒng)上線，提供關(guān)鍵的分布式交易追蹤功能。分布式架構(gòu)內(nèi)部的調(diào)用復(fù)雜，難于故障排查。我們通過(guò)分布式的服務(wù)框架，逐筆按照規(guī)范定義記錄調(diào)用信息，通過(guò)ES進(jìn)行持久化存儲(chǔ)，集成開(kāi)源Zipkin進(jìn)行分布式追蹤展示，這樣分布式系統(tǒng)的問(wèn)題定位會(huì)很便捷。這個(gè)功能已經(jīng)與之前的Onplat項(xiàng)目打通，實(shí)現(xiàn)外部調(diào)用與內(nèi)部調(diào)用的聯(lián)動(dòng)整合。

第四個(gè)是應(yīng)用系統(tǒng)一眼清平臺(tái)，實(shí)現(xiàn)基于模板快速進(jìn)行配置，把所有信息匯集在一起，包括交易情況，各種中間件、服務(wù)器、數(shù)據(jù)庫(kù)等中下層基礎(chǔ)設(shè)施的信息，做到一眼就能看清應(yīng)用系統(tǒng)的整體運(yùn)行情況。

剛才提到的這些應(yīng)用案例只是我們運(yùn)維工具和平臺(tái)建設(shè)的一部分，還有其他的一些工作。比如正在進(jìn)行的標(biāo)準(zhǔn)化組件開(kāi)發(fā)，我們建立了標(biāo)準(zhǔn)的日志組件提供給應(yīng)用開(kāi)發(fā)團(tuán)隊(duì)使用，其他類型的組件也在設(shè)計(jì)。運(yùn)維下一步的規(guī)劃分幾個(gè)方面，一方面深入設(shè)計(jì)應(yīng)用場(chǎng)景，部分開(kāi)始實(shí)現(xiàn)業(yè)務(wù)方面的需求，這個(gè)我們與業(yè)務(wù)部門(mén)在做合作推廣；另一方面，會(huì)加強(qiáng)前端平臺(tái)層面的建設(shè)，即時(shí)通訊的聯(lián)動(dòng)，提供更豐富的API，移動(dòng)端的展示等等；同時(shí)，計(jì)劃把更多海量數(shù)據(jù)通過(guò)機(jī)器學(xué)習(xí)，抽象為知識(shí)沉淀到知識(shí)管理體系，再形成一套固定的后處理方案，通過(guò)自動(dòng)化，實(shí)現(xiàn)自愈自治的能力。

我的分享就到這里，謝謝大家！

文章編輯：CobiNet(寧波)  
本公司專注于電訊配件,銅纜綜合布線系列領(lǐng)域產(chǎn)品研發(fā)生產(chǎn)超五類，六類,七類線，屏蔽模塊，配線架及相關(guān)模塊配件的研發(fā)和生產(chǎn)。

歡迎來(lái)電咨詢0574 88168918,郵箱sales@cobinet.cn，網(wǎng)址m.czchengbang.com