簡述:如果說您想要托管很多臺服務(wù)器的話,就可以選擇機柜租用。IDC機柜的租賃成本與機房的硬件設(shè)施水平直接相關(guān)。
百舸一體機搭載了百舸異構(gòu)計算平臺,擁有不少硬核產(chǎn)品能力。它能高效管理異構(gòu)資源,提供豐富的資源調(diào)度策略,具備全方位的故障感知與容錯機制,還能實現(xiàn)極致的存訓(xùn)推一體化加速,以及便捷的多芯適配和業(yè)務(wù)遷移。面向政務(wù)、金融、能源、教育等行業(yè)客戶,它能端到端提供芯片、框架、模型、應(yīng)用的軟硬一體解決方案,而且可以平滑地從單機擴展至大規(guī)模集群。
百舸一體機產(chǎn)品架構(gòu)
百舸一體機融合了資源調(diào)度、多芯異構(gòu)、訓(xùn)推加速等多項異構(gòu)算力管理能力,能實現(xiàn)從模型訓(xùn)練、推理到多角色協(xié)作的全生命周期AI任務(wù)管理。它兼容市場上的主流大模型,像DeepSeek、Llama、Qwen等都不在話下,并且針對軟硬件進行了深度優(yōu)化,大大提升了資源利用率和業(yè)務(wù)迭代效率。具體來看,基礎(chǔ)設(shè)施層支持NVIDIA、昆侖芯等AI加速卡,也兼容CentOS、Ubuntu、麒麟等系統(tǒng);平臺組件層整合了容器引擎、鏡像管理、BCCL通信庫、AIAK加速套件、AI組件及算力池化技術(shù);能力中心層則提供用戶權(quán)限管理、多形態(tài)資源調(diào)度、大規(guī)模訓(xùn)練任務(wù)管理、彈性模型部署及自動化運維等功能。
百舸一體機適用場景
在模型彈性化托管方面,它能提供靈活的模型托管服務(wù),支持模型彈性伸縮,以適應(yīng)不同規(guī)模的業(yè)務(wù)需求。在訓(xùn)練推理加速上,通過算子優(yōu)化,能顯著提升模型訓(xùn)練和推理的速度。對于資源利用率提升,它提供多種資源調(diào)度策略,確保資源高效分配和使用,幫助企業(yè)降低成本。輕量快速交付也是其一大優(yōu)勢,通過容器化和輕量級部署,能實現(xiàn)快速交付和上線,縮短業(yè)務(wù)迭代周期,同時還提供從單機到集群的平滑擴展方案。
百舸一體機擴展方案
有一體機擴展方案和高可用方案可供選擇。一體機擴展方案適用于已交付百舸DeepSeek一體機的客戶,無需重新部署就能擴展異構(gòu)算力資源,包括高性能存儲、高性能網(wǎng)絡(luò)。其優(yōu)勢在于,單機使用后,企業(yè)可根據(jù)實際業(yè)務(wù)場景逐步增加資源,計算、網(wǎng)絡(luò)、存儲都能根據(jù)需求彈性擴展,相對靈活簡便。高可用方案則面向完整建設(shè)異構(gòu)計算平臺的企業(yè),能提供管控面高可用、一體化網(wǎng)絡(luò)及存儲(并行文件存儲、對象存儲)等能力,還可對接鏡像中心等客戶自有平臺。該方案的優(yōu)勢是提供全功能、高可用的完整版產(chǎn)品功能,能一次性滿足小、中、大規(guī)模異構(gòu)資源管理建設(shè)訴求。
百舸一體機還有昆侖版和NV版兩個版本。昆侖版支持訓(xùn)練推理全場景,算力采用“Intel/海光4號CPU+百度自研的昆侖芯P800加速卡模組”,集成了5大組件技術(shù),支撐7大能力中心。它深度適配DeepSeek V3&R1及蒸餾模型,提供友好的用戶界面及多種部署訪問方式,交付上線快,能加速客戶AI應(yīng)用落地,其預(yù)置功能包括資源中心(根據(jù)任務(wù)需求智能分配算力、存儲等資源)、用戶中心(提供自定義用戶、角色方便組織管理)、運維中心(提供豐富的可觀測指標及多維度事件統(tǒng)計)、訓(xùn)練任務(wù)(提供針對模型的訓(xùn)練、微調(diào)及加速能力)、模型部署(提供靈活、便捷的模型部署及加速能力)、聯(lián)網(wǎng)搜索(提供輕量化聯(lián)網(wǎng)搜索能力對接)等。
NV版同樣支持訓(xùn)練推理全場景,算力采用“Intel+4/8張Nvidia H20/L20 GPU卡加速卡”,也集成了5大組件技術(shù),支撐7大能力中心,并且深度適配DeepSeek V3&R1及蒸餾模型,提供友好的用戶界面及多種部署訪問方式,交付上線快,能加速客戶AI應(yīng)用落地。
騰佑科技是百度云服務(wù)中心,有需求可以咨詢我們,為您提供行業(yè)一體解決方案,價格優(yōu)惠,詳情留言咨詢。
搜索詞
熱門產(chǎn)品推薦