2025年初以來，低成本、高性能的新型AI模型迅速成為業界研究、應用的焦點，越來越多的傳統行業開始探索為自身的業務引入人工智能。不過在實際應用中，大部分政企用戶都面臨諸多挑戰，包括AI如何與傳統應用結合，如何搭建支持AI應用的軟硬件架構等等。在近日舉行的2025中國算力大會“云存智算創新實踐分論壇”上，浪潮云海正式對外發布了創新的AI云基礎設施平臺InCloud AIOS，為政企用戶低成本、高效率地接入AI提供了一條平滑演進之路。

浪潮數據云計算產品部副總經理張明燦在演講中表示，InCloud AIOS平臺具有開放兼容、平滑演進、簡化運維、極致性能等特點，是專為政企智能化轉型設計的“融合型AI底座”。“InCloud AIOS平臺可以幫助政企用戶解決異構算力協同難、傳統架構升級難、AI運維門檻高、性能與安全難平衡等難題，使得用戶能夠從傳統IT快速、穩妥地遷移到智能IT。”張明燦說。

打造靈巧、簡潔的智能云基礎設施

在引入私有化AI大模型之初，大多數政企用戶只是想要搭建智能問答助手應用，解決客服人手不足的問題，不過很快就會迸發出更多的想法，比如引入財務AI、辦公AI、生產線AI等等。這些應用往往來自不同部門，對大模型的參數規模、精度、調用數量等各不相同，對GPU、CPU等硬件的算力要求、計算類型也不一致，共同點是都要求運行安全穩定、日常運維簡單易行。另一方面，為了更好應對不斷變化的國際形勢，國內政企客戶都存在向國產化架構遷移的迫切需求，新舊芯片、架構、軟硬件環境等如何協同工作，也是一個迫切需要解決的問題。

據張明燦介紹，在具體實施過程中，有的客戶選擇各個部門自建一套AI基礎設施，不同部門的AI平臺、AI開發平臺各不相同。“這其實就是煙囪模式，會導致AI資源分散，難以統一運維、統一管理。”張明燦說，“更理想的做法是云化模式，像建云一樣搭建AI基礎設施，實現業務整合、數據集中、資源池化。”

云化模式部署AI基礎設施的好處很多。首先，AI業務通常都是從基于云端的傳統業務改造而來，云化模式可以實現傳統業務、AI業務的統一管理；其次，AI應用也需要調用虛擬機、容器、數據庫、PaaS服務、存儲等資源，私有云可以對此提供更好的支持；第三，私有云可以很好地支持AI所需要的多芯多模；第四，云化部署AI業務可以大大降低運維壓力，減少AI平臺的人力、物力、財力成本。

正是基于上述實際情況，浪潮云海近年來不斷完善其智能云框架，發展可演進的私有云解決方案，縱向實現各分層解耦、可繼承、可演進，橫向提高服務組件的按需選配能力。此次推出的InCloud AIOS平臺就可以幫助企業高效率、低成本地接入AI能力，破解AI落地中普遍存在的AI建設成本高、異構算力協同難、大模型運維門檻高、性能與安全難平衡等痛點。

四大特性，支持AI順利落地

據浪潮數據云計算產品部PDT經理呂廣杰介紹，從市場的實際需求出發，浪潮云海為InCloud AIOS平臺賦予了一云多算、平滑演進、極簡運維、軟硬協同四大特性。

一云多算是指InCloud AIOS平臺支持多元異構融合的AI基礎設施，可以兼容國內外廠商生產的主流GPU，使得客戶采購的多種GPU協同工作。在應用層面，InCloud AIOS平臺能夠提供各種開源大模型服務，為各種智能體提供標準的OpenAI接口，使得客戶和應用開發商無需考慮底層異構算力的差異。

平滑演進是指InCloud AIOS平臺提供私有云架構，客戶原有的數據中心無需改造，購買單臺AI服務器即可實現AI能力升級。依托InCloud AIOS平臺的云架構，客戶可以高效整合智算資源，打破單節點限制、跨域動態分配資源，提升推理效率和算力資源的使用效能。

極簡運維是InCloud AIOS平臺可以讓IT運維人員無需學習復雜的AI概念，像運維虛擬機一樣運維智能體，實現傳統業務與智能體應用的統一管理運維。InCloud AIOS平臺還提供了完善的智能化運維工具，不但可以保障大模型、智能體穩定運行，還支持大模型性能評估、彈性伸縮、自動高可靠保障等。InCloud AIOS平臺的安全機制也非常完善，確保客戶關鍵數據不出域、實時監測大模型對話內容，輸入有檢查，輸出有審計，切實保障AI業務在各類場景中都能安全可靠地使用。

軟硬協同是指浪潮云海在InCloud AIOS平臺中配置了自研AI引擎，針對國內外主流GPU進行聯合深度優化，從而獲得更強的推理性能。據實測驗證，InCloud AIOS平臺利用優化KV緩存策略使得長文本推理KV Cache命中率提升了13倍，運用DirectStorage技術使得相同硬件下模型加載速度提升了26倍，利用自研InLLM推理框架將模型吞吐提升了6倍，高并發下自動調度效率提升了26倍。

張明燦表示，浪潮云海現有約15000多家私有云客戶，這些客戶都有強烈的部署AI基礎設施的需求。“InCloud AIOS平臺可以幫助我們的客戶快速從私有云躍遷到AI云。”張明燦說。

三大突破，帶來極致性能表現

實測表明，在InCloud AIOS平臺PD分離、動態流量調度等技術的支持下，浪潮云海自研的InLLM推理模型吞吐量提高了6倍，同時模型預熱僅需37秒、多節點GPU顯存加載僅用了11 秒，加載時間直降30倍。在InCloud AIOS平臺智能調度策略、自動化彈性伸縮等技術的協同下，資源調度效率提升了26倍，足以應對高并發場景，節點故障的恢復效率也提升了5倍。在DP/TP/EP、MoE量化等多種應用并行的情況下，InCloud AIOS平臺能夠全面增強推理性能，多輪對話首Token延遲從3秒減到1秒，TTFT縮短了3倍。

張明燦告訴記者，為方便客戶盡快構建AI應用，浪潮云海還在InCloud AIOS平臺中內置了20多款開箱即用的AI智能體，非常受客戶歡迎，已在多個行業領域投入了實際應用。比如有大型科技企業采用InCloud AIOS平臺承載其辦公、財務、開發測試等系統，有頭部征信企業用InCloud AIOS平臺運行其客戶管理、風控、辦公等系統，某國際保險企業利用InCloud AIOS平臺運行其核保、理賠、智能客服、合規管理等核心業務。

浪潮云海推出的InCloud AIOS平臺具有純軟件、軟硬一體機兩種形態，各有偏重。張明燦解釋說，純軟件形態的InCloud AIOS平臺更強調對硬件的廣泛兼容，可以幫助客戶基于新舊算力基礎設施構建統一的私有AI云；一體機形態更強調整體的穩定性、開箱即用特性，幫助客戶簡單、快速地獲得AI云服務能力。

張明燦表示，InCloud AIOS平臺中內置的20多款AI智能體并不是全部，接下來浪潮云海將繼續適配更多的智能體，為客戶提供更多的選擇。在本次2025中國算力大會上，浪潮云海還發布了“云圖生態聯盟計劃”，計劃在針對傳統的硬件、應用合作伙伴進行優化之外，增強對大模型、智能體和各類GPU、算力互聯等設備的適配和調優。“我們的目標是吸引50家分銷商、100家行業用戶生態伙伴、100家應用生態伙伴，基于浪潮云海的平臺產品做深度優化。”張明燦說，“浪潮云海有優秀的AI基礎設施平臺，我們的伙伴有優秀的智能體應用，相向而行，就可以讓我們共同的最終用戶獲得更好的AI體驗。”