四川省農(nóng)村信用社聯(lián)合社（以下簡(jiǎn)稱“四川農(nóng)信”）誕生于1951年，緊盯打造“農(nóng)村金融主力軍、地方金融主力軍、普惠金融主力軍”目標(biāo)愿景，全面推進(jìn)合規(guī)銀行、智慧銀行、主力軍銀行建設(shè)。至2021年12月底，四川農(nóng)信有5131個(gè)營(yíng)業(yè)網(wǎng)點(diǎn)，近4萬名從業(yè)人員，資產(chǎn)規(guī)模達(dá)1.8萬億元，各項(xiàng)存款1.5萬億元，各項(xiàng)貸款8775億元，資產(chǎn)規(guī)模、存款規(guī)模位居全省同業(yè)第一位、全國(guó)農(nóng)信系統(tǒng)第七位。

作為全國(guó)排名前列的省級(jí)農(nóng)信，四川農(nóng)信很早就意識(shí)到信息化支撐的重要性，并建設(shè)了眾多自動(dòng)化運(yùn)維工具。

然而隨著業(yè)務(wù)的高歌猛進(jìn)，IT規(guī)模成倍數(shù)增長(zhǎng)。原有運(yùn)維工具分散帶來的問題日益凸顯，部分運(yùn)維能力不足，限制了運(yùn)維管理工作效率的進(jìn)一步提升，難以滿足新業(yè)務(wù)環(huán)境運(yùn)維需求。另外運(yùn)維人員對(duì)于運(yùn)維場(chǎng)景的創(chuàng)新想法，也缺乏好的手段和技術(shù)支撐而較難落地，運(yùn)維自主性難以體現(xiàn)。

如何進(jìn)行多數(shù)據(jù)中心統(tǒng)一運(yùn)維建設(shè)？如何整合原有零散工具進(jìn)行體系化發(fā)展建設(shè)？如何釋放技術(shù)人員創(chuàng)新活力？如何滿足個(gè)性化定制與自主可控要求？等等問題擺在了四川農(nóng)信運(yùn)維部門面前。

改變，勢(shì)在必行。

經(jīng)過長(zhǎng)時(shí)間的交流與研判，四川農(nóng)信最終選擇與嘉為藍(lán)鯨攜手，通過三個(gè)階段進(jìn)行自動(dòng)化運(yùn)維及運(yùn)維開發(fā)平臺(tái)建設(shè)，實(shí)現(xiàn)從平臺(tái)引入、到工具整合、再到自動(dòng)化運(yùn)維一體化集成的目標(biāo)。

01. 納管整合，構(gòu)建一體化運(yùn)維

藍(lán)鯨平臺(tái)是PaaS化技術(shù)架構(gòu)，可以提供基礎(chǔ)平臺(tái)運(yùn)維原子模塊能力，四川農(nóng)信可以基于平臺(tái)構(gòu)建運(yùn)維工具，并且將零散的工具通過藍(lán)鯨實(shí)現(xiàn)整合，逐步實(shí)現(xiàn)工具架構(gòu)的演變。

1）CMDB：自動(dòng)采集，支持消費(fèi)

作為自動(dòng)化運(yùn)維的基石，CMDB的重要性不言而喻。以往四川農(nóng)信基于Remedy進(jìn)行配置管理，功能有限。項(xiàng)目過程中，嘉為幫助四川農(nóng)信重新梳理CMDB數(shù)據(jù)，建設(shè)了可供消費(fèi)的配置管理數(shù)據(jù)庫(kù)。

貫穿應(yīng)用運(yùn)維及基礎(chǔ)架構(gòu)，已納管實(shí)例近2萬，開發(fā)數(shù)十個(gè)自動(dòng)發(fā)現(xiàn)和自動(dòng)采集腳本實(shí)現(xiàn)信息的自動(dòng)化采集。同時(shí)，完成近20個(gè)應(yīng)用系統(tǒng)的應(yīng)用拓?fù)淇梢暬渲?，可以從業(yè)務(wù)視角協(xié)助進(jìn)行故障定位和影響分析，實(shí)現(xiàn)應(yīng)用拓?fù)?、故障影響分析的CMDB數(shù)據(jù)信息消費(fèi)。

2）ITSM：靈活易用，體驗(yàn)提升

四川農(nóng)信原有使用Remedy進(jìn)行工單管理，然而使用成本高、體驗(yàn)亦不好。本次項(xiàng)目，啟用嘉為藍(lán)鯨IT服務(wù)管理中心，實(shí)現(xiàn)通用服務(wù)請(qǐng)求流程遷移，并且搭配使用智能客服，服務(wù)體驗(yàn)顯著提升。

3）監(jiān)控告警：集中管理，統(tǒng)一閉環(huán)

四川農(nóng)信沿用過往建設(shè)的監(jiān)控能力，結(jié)合嘉為藍(lán)鯨監(jiān)控中心和告警中心，通過平臺(tái)提供的API、插件等方式接入數(shù)據(jù)，實(shí)現(xiàn)告警事件全生命周期的統(tǒng)一閉環(huán)管理。

同時(shí)，可以聯(lián)動(dòng)CMDB拓?fù)湄S富告警信息，輔助根因定位，也支持移動(dòng)端通知、自愈審批、H5界面集成等便捷功能。

4）自動(dòng)化作業(yè)：靈活編排，效率提升

基于作業(yè)平臺(tái)和運(yùn)維腳本編排，四川農(nóng)信實(shí)現(xiàn)運(yùn)維自動(dòng)化作業(yè)。以往缺失的工具如自動(dòng)化發(fā)布等，也可以基于平臺(tái)實(shí)現(xiàn)。

以某系統(tǒng)發(fā)布為例，以往需要登錄幾十臺(tái)服務(wù)器人工操作，耗時(shí)50分鐘；目前實(shí)現(xiàn)一鍵發(fā)布，耗時(shí)僅需10分鐘，運(yùn)維工作效率提升5倍！

02. 自主開發(fā)，支持智慧創(chuàng)新落地

藍(lán)鯨平臺(tái)在四川農(nóng)信內(nèi)部的定位，除了是運(yùn)維工作平臺(tái)，更是運(yùn)維開發(fā)平臺(tái)。有了一體化運(yùn)維工具輔助，在提高了運(yùn)維效率之外，也讓運(yùn)維人員有更多寶貴的時(shí)間投入到更具創(chuàng)新的實(shí)踐中去。

藍(lán)鯨PaaS提供的運(yùn)行環(huán)境托管、前后臺(tái)開發(fā)框架、低代碼平臺(tái)等，有效支撐了四川農(nóng)信創(chuàng)新想法的落地。目前，四川農(nóng)信已經(jīng)基于平臺(tái)獨(dú)立自主研發(fā)了調(diào)用鏈分析、批處理監(jiān)控、通用查詢、備份恢復(fù)驗(yàn)證、故障進(jìn)度處理等等運(yùn)維場(chǎng)景，業(yè)務(wù)支撐愈加游刃有余。

1）調(diào)用鏈分析

通過應(yīng)用墻大屏總覽各應(yīng)用系統(tǒng)運(yùn)行情況，通過點(diǎn)擊圖標(biāo)可以跳轉(zhuǎn)對(duì)應(yīng)鏈路監(jiān)控頁(yè)面，查看鏈路交易情況。

2）批處理監(jiān)控

針對(duì)批量作業(yè)任務(wù)，集中監(jiān)控作業(yè)狀態(tài)、耗時(shí)情況等，點(diǎn)擊單個(gè)任務(wù)可查看任務(wù)內(nèi)的所有作業(yè)執(zhí)行狀態(tài)。

3）通用查詢

將常用后臺(tái)數(shù)據(jù)庫(kù)查詢界面化，供服務(wù)臺(tái)和運(yùn)維人員使用。目前日均減少核心系統(tǒng)運(yùn)維人員查詢工作時(shí)間2小時(shí)。

4）備份恢復(fù)驗(yàn)證

將數(shù)據(jù)庫(kù)備份數(shù)據(jù)恢復(fù)到驗(yàn)證環(huán)境，驗(yàn)證數(shù)據(jù)備份是否正常，保證備份數(shù)據(jù)的完整性和可用性。目前已經(jīng)實(shí)現(xiàn)多個(gè)數(shù)據(jù)庫(kù)、多個(gè)業(yè)務(wù)系統(tǒng)的備份自動(dòng)恢復(fù)。

5）故障進(jìn)度處理

集中展現(xiàn)故障處理進(jìn)度情況，能及時(shí)發(fā)現(xiàn)異常處理及時(shí)干預(yù)，提升故障處理效率。

03. 數(shù)據(jù)說話，初探智能化運(yùn)維

做好基于大數(shù)據(jù)計(jì)算的智能運(yùn)維需要幾步？四川農(nóng)信從日志數(shù)據(jù)著手開始探索，給出了實(shí)踐答案。

• 建設(shè)好CMDB、流程、監(jiān)控告警、自動(dòng)化等基礎(chǔ)自動(dòng)化運(yùn)維工具，逐步累積運(yùn)維數(shù)據(jù)。
• 通過藍(lán)鯨計(jì)算平臺(tái)和日志平臺(tái)，進(jìn)行基于大數(shù)據(jù)計(jì)算的日志分析。
• 聯(lián)動(dòng)平臺(tái)其他功能SaaS，進(jìn)行場(chǎng)景應(yīng)用。

1）日志平臺(tái)：快速查詢，聯(lián)動(dòng)告警

四川農(nóng)信過往日志分散，查詢效率低；另外無日志告警，無法及時(shí)發(fā)現(xiàn)問題。

通過藍(lán)鯨日志平臺(tái)統(tǒng)一收集各業(yè)務(wù)系統(tǒng)日志，能夠以業(yè)務(wù)系統(tǒng)為維度集中查詢系統(tǒng)交易日志，輔助分析故障，快速定位問題原因。同時(shí)聯(lián)動(dòng)監(jiān)控平臺(tái)，設(shè)置日志關(guān)鍵字監(jiān)控，一旦出現(xiàn)異常即可觸發(fā)告警。

2）計(jì)算平臺(tái)：異構(gòu)存儲(chǔ)，可視建模

藍(lán)鯨計(jì)算平臺(tái)，彌補(bǔ)了過往不同數(shù)據(jù)源無法關(guān)聯(lián)、數(shù)據(jù)開發(fā)門檻高的弊端，兼容多種異構(gòu)數(shù)據(jù)源采集存儲(chǔ)，提供一站式、低門檻的數(shù)據(jù)開發(fā)服務(wù)，和全流程、可視化的數(shù)據(jù)建模，提升數(shù)據(jù)開發(fā)效率。

經(jīng)過不斷論證調(diào)試，四川農(nóng)信也實(shí)踐出了多個(gè)場(chǎng)景的智能運(yùn)維應(yīng)用。

例如通過日志數(shù)據(jù)計(jì)算交易量、耗時(shí)、成功率、響應(yīng)率存儲(chǔ)到數(shù)據(jù)庫(kù)，聯(lián)動(dòng)四川農(nóng)信自主研發(fā)的調(diào)用鏈分析SaaS讀取數(shù)據(jù)進(jìn)行展示，能直觀看到各系統(tǒng)應(yīng)用的鏈路交易情況，實(shí)現(xiàn)對(duì)業(yè)務(wù)交易健康狀態(tài)的實(shí)時(shí)監(jiān)控。

打破煙囪模式，完善運(yùn)維工具，集成一體化運(yùn)維只是第一階段的目標(biāo)。未來，四川農(nóng)信將基于前期內(nèi)容進(jìn)行功能增強(qiáng)和功能擴(kuò)展，落實(shí)運(yùn)維數(shù)據(jù)規(guī)范化、運(yùn)維工具流程化、運(yùn)維工具一體化目標(biāo)，實(shí)現(xiàn)三地四中心五節(jié)點(diǎn)的多網(wǎng)域環(huán)境的統(tǒng)一運(yùn)維，優(yōu)化和深化各模塊和場(chǎng)景，持續(xù)探索大數(shù)據(jù)應(yīng)用，為主力軍銀行的建設(shè)貢獻(xiàn)智慧運(yùn)維力量！