01.前言

隨著云計算、分布式、微服務等前沿技術的廣泛應用，現代IT系統架構已經從傳統的單體結構演進到分布式和云原生架構。這種轉變雖然帶來了靈活性和擴展性的顯著提升，但同時也極大地增加了企業IT運維的復雜性，尤其是在構建有效的可觀測性系統方面面臨著前所未有的挑戰。

• 全棧數據接入壁壘。在異構組件（例如Kubernetes集群、國產化數據庫）間存在巨大適配差異，這不僅限制了數據的融合關聯，也使得人工開發采集插件成為一項耗時且低效的工作。面對這一問題，大模型通過其卓越的代碼生成能力，能夠自動編寫數據接入插件，完成數據格式清洗，極大提升了數據接入效率。
• 跨域根因分析低效。據統計，絕大部分的故障涉及數據庫、網絡、應用代碼等多個技術棧層面，人工排查通常需要切換使用5至8種不同的運維工具才能找到原因。而大模型憑借其對多模態數據的理解能力、知識推理能力，則可以通過綜合分析來自不同領域的信息，快速鎖定問題根源。
• 故障復盤難以落地，故障反復出現。對于那些在重啟后無法復現的故障，由于缺乏有效的根因追溯手段，容易造成隱患重復出現。大模型能夠通過對歷史數據的學習和理解，為這類難以捉摸的問題提供預防性建議，減少未來類似事件的發生概率。

綜上所述，大模型技術以其獨特的優勢，在應對現代IT系統可觀測性挑戰中扮演著至關重要的角色。它不僅能幫助克服現有技術障礙，還能推動企業向更加智能化的運維模式轉型。大模型憑借多模態理解、代碼生成、知識推理能力，為上述問題提供了突破性解決方案。

02.大模型在可觀測領域的應用

借助嘉為藍鯨底座LLMOps開發平臺，企業能夠快速對接異構大模型，并利用其提供的智能體開發框架，結合私域知識和觀測流數據，實現智能化運維場景的快速擴展。

通過智能編排與FunctionCall集成調度一體化運維平臺的原子模塊（如調度中心、作業中心、資源中心、監控中心、流程中心、操作中心等），顯著提升了可觀測系統的智能化水平，優化了從故障檢測到復盤的完整運維生命周期。企業不僅能夠實現對復雜IT環境的高效管理，還能通過全流程的智能化支持，顯著提升系統穩定性、縮短故障解決時間，并促進運維工作的持續優化與智能化升級。

1）事前：預防與準備

• 監控檢測：實時監控系統狀態和性能指標，快速分析異常日志和告警，發現潛在問題。
• 告警通知：在異常發生時，輔助值班，及時發送告警信息給相關人員或系統，確保快速響應。
• 告警預案：輔助預先制定詳細的告警處理方案，涵蓋不同場景下的應對措施，以便快速處置。

2）事中：分析與處置

• 告警根因：深入分析告警的根本原因，快速定位問題源頭。
• 告警關聯：整合相關聯的告警信息，幫助全面理解問題背景，便于更準確地判斷狀況。
• 日志分析：對系統日志進行深度解析，識別可能指向故障原因的關鍵線索。
• 故障影響：評估故障對業務和服務的具體影響范圍，確定優先級。
• 故障定界：明確故障的具體邊界，區分受影響區域與正常運行部分。
• 故障調度：根據故障性質和需求，靈活調度資源，為故障處理提供必要支持。
• 故障處置：實施具體的故障處理措施，盡快恢復正常服務。
• 預案推薦：根據當前情況推薦最適合的預設處理方案，加速決策過程。

3）事后：總結與優化

• 故障復盤：回顧整個故障處理過程，識別成功之處和需要改進的地方。
• 經驗總結：匯總每次故障處理的經驗教訓，形成有價值的參考資料。
• 知識沉淀：將積累的知識自動轉化為企業的內部存儲，用于提升團隊整體技術水平。
• 策略優化：基于學到的經驗，不斷優化監控策略，異常檢測更加準確。
• 預案優化：更新和完善現有的應急預案，使其更加貼合實際情況。
• 告警治理：持續改進告警機制，減少誤報和漏報，提高告警系統的可靠性和有效性。

4）大模型智能化運維的關鍵支撐

• 私域知識庫建設：構建一個包含企業特定信息和技術細節的知識庫，作為大模型訓練和推理的基礎，增強智能體的精準度和適用性。
• 觀測流數據整合：實時獲取并分析來自不同監控源的數據流，確保對系統狀態的全面了解和即時響應。
• LLMOps技術支持：通過LLMOps技術，在事前、事中、事后各階段實現高效故障管理，推動運維工作的智能化轉型。

03.場景說明

小鯨觀測助手，是基于嘉為藍鯨LLMOps平臺，結合嘉為藍鯨全棧智能觀測中心，自主研發的一款基于大模型的觀測平臺輔助分析工具。

1）腳本插件自動編寫

大模型可解析自然語言指令自動生成適配Prometheus格式的監控腳本、Exporter等插件，嘉為藍鯨全棧智能觀測中心無縫兼容Prometheus 插件生態，通過小鯨觀測助手，可在服務器性能、數據庫&中間件指標、API調用等多種場景自動編寫插件快速實現指標獲取。

2）日志正則提取規則編寫

大模型通過學習既有正則編寫規則，自動生成精準的正則表達式模板。無論是多變的日志格式，還是多層嵌套結構的數據字段，小鯨觀測助手都能快速識別規律，實現“輸入日志樣本→輸出解析規則”的自動化閉環。

3）系統數據自動查詢

傳統運維工程師面對系統異常時，還在反復切換監控平臺、日志平臺和SQL查詢工具進行查詢和分析，而大模型技術正在重新定義數據交互方式，基于Function Call無縫連接系統數據，通過小鯨觀測助手，實現自然語言聊天式快速獲取系統數據，輔助異常分析。

4）日志劃詞智能解析

基于大模型技術的日志劃詞智能解析，通過小鯨觀測助手的語義理解與動態優化能力，實現日志數據的秒級解釋說明與深度分析，助力企業高效挖掘數據價值。

5）告警智能知識推薦

基于內置運維知識庫，可以根據告警事件內容結合知識庫找出相關聯的知識，并給與解決方案的推薦。同時可批量導入知識庫文件，基于用戶歷史經驗提供更豐富的解決方案；告警產生后智能匹配知識庫里的解決方案。

6）告警劃詞智能解析

運維人員通常通過經驗或查找資料來處理告警事件，效率低下且耗時。可以通過小鯨觀測助手將問題直接拋給大模型，基于知識庫和經驗，直接提供優化解決方案。

7）告警根因智能分析

大模型技術通過融合多維算法引擎與全域關聯數據，重構告警根因定位范式。基于Embed向量化、logreduce日志聚類、知識圖譜拓撲推理等技術，大模型可快速解析海量告警間的潛在關聯，結合時序預測與異常檢測識別異常波動模式。同時，聯動歷史告警庫、變更記錄、處置經驗等數據，構建跨系統因果分析。這種“算法穿透+數據穿透”雙引擎，使系統能快速鎖定根因，并推薦處置方案，實現根因分析從經驗猜測邁向智能推演。

實現效果如下圖：

8）告警處置智能引導

結合預測性對話流與大模型，小鯨觀測助手能夠實現對話智能引導，引導用戶完成智能提單引導、智能故障處置引導等場景：根據故障排查的場景，預設引導性場景，智能機器人識別關鍵字以后進入引導場景，確保問題能夠迅速被識別和解決。

實現效果如下圖：

04.前景展望

通過上述可觀測性與大模型結合的應用場景，已經充分展現了大模型在運維領域的巨大潛力。展望未來，大模型的作用將不再局限于作為觀測的輔助工具，而是逐步邁向更高層次的智能化階段。

在不久的將來，大模型有望實現自主分析和定位問題的能力，并能夠直接參與甚至主導問題的解決過程。通過對觀測數據的深度學習和實時分析，大模型還能夠預測未來可能發生的潛在風險，提前發現隱患并采取預防措施，從而將問題消滅在萌芽狀態。

這種進化標志著可觀測性從傳統的“發現問題”向“快速處理問題”再到“主動預防問題”的全面蛻變。大模型的引入不僅提升了系統運維的效率和可靠性，還將推動整個可觀測領域進入一個全新的智能化時代——真正實現從事后響應到事前預防的質變，為企業構建更加穩定、高效、智能的IT環境奠定堅實基礎。