廣電五舟基于銀河麒麟操作系統的DeepSeek大模型解決方案
方案背景
Programme background
在人工智能技術迅猛發展的今天,大型語言模型(LLMs)已經在各行業中嶄露頭角,扮演著關鍵角色。2024年1月5日,杭州深度求索發布了第一個DeepSeek LLM大模型,DeepSeek LLM包含670億參數,從零開始在一個包含2萬億token的數據集上進行了訓練,數據集涵蓋中英文。2025年1月20日,DeepSeek正式發布 DeepSeek-R1 模型,并同步開源模型權重。DeepSeek-R1在后訓練階段大規模使用了強化學習技術,極大提升了模型推理能力。
方案概述
Overview of the solution
廣電五舟基于DeepSeek和麒麟系統,打造出性能卓越、易于使用的產品方案。該方案在高性能計算、大數據和AI技術等領域表現尤為突出,能夠適用于多種復雜場景。無論是氣象、生物信息學等大規模計算任務,還是金融、醫療行業的數據分析與決策工作,亦或是交通管理、安防監控等 AI 驅動場景,該產品方案都能憑借強大的性能和高安全性,為科研機構與企業提供堅實的技術支撐。
技術路線
Technical route
芯片架構:昇騰、英偉達、海光
整機硬件:S800K3、S800K2、S627G5、S627H5
操作系統:銀河麒麟高級服務器操作系統 V10、銀河麒麟桌面操作系統 V10
基礎軟件:MindIE、Vllm
應用軟件:openweb UI、oneapi
方案架構
Scheme architecture
方案優勢
Solution advantage
基于銀河麒麟操作系統對推理引擎深度優化,推理性能吞吐大幅度提升;
支持一鍵部署免去大量算力適配環節;
應用場景
Application scenarios
本方案主要應用于數字政府業務智能系統協同銀河麒麟高級服務器操作系統V10,結合上層智能化調度平臺,實現一站式大模型訓練推理調度開發,從而實現各種開放式能力服務。
成功案例
Success case
案例名稱:某市某政府單位大模型項目
建設內容:基于麒麟系統的deepseek大模型推理
案例價值:采用昇騰算力服務器,在銀河麒麟高級服務器操作系統V10上快速構建大模型推理應用,實現多個智能場景應用,例如:智能客服,,大數據分析總結,文檔智能生成審查等場景,大量減少重復性工作。