腾讯云助力MiniMax打造大模型:规模超千卡,可用性达99.9%

访客1年前AI生活89

高效灵活的云上基础设施,是大模型创业的必要底座。

7月20日,腾讯云对外披露助力MiniMax研发大模型的最新进展。目前,腾讯云长期支持MiniMax的千卡级任务稳定运行在腾讯云上,可用性达99.9%。

MiniMax是一家专注通用大模型研发的独角兽创业企业,拥有文本、语音、视觉多种模态融合的通用大模型引擎能力。研发过程中,每日亿级的调用次数,也带来了对算力的海量需求。

从2022年6月起,基于算力集群、云原生、大数据、安全等产品能力,腾讯云为MiniMax搭建了从资源层、数据层到业务层的云架构。

在资源层,高性能、高弹性和高稳定的算力需要借助专业的云服务。腾讯云协同优化单机算力、网络架构和存储性能,为MiniMax构建起大规模、分布式的HCC高性能计算集群。

借助腾讯自研的星脉网络,HCC集群将通信损耗降到更低;CFS Turbo、COS+GooseFS高性能存储,使得上千个计算节点能同时高速读取训练数据。

同时,利用腾讯云容器服务TKE,MiniMax实现了对不同规格云服务器的统一管理和调度,各种类型的应用和服务得以部署在同一套基础设施上,资源实现了高效整合,资源利用率大幅提升;

基于云原生的管理方式,支撑7*24小时的全局监控视角,支持编排、框架、实例等多层级的指标监控。一旦触发故障,能够在5分钟内恢复任务、10分钟内恢复基础设施,无需人工干预完成,能够最大化保障任务连续进行。

根据实测数据,在云底座的支撑下,激增的并发计算量;基于云原生支撑,MiniMax整体用云成本降低20%。

在数据层,MiniMax在大数据分析方面也有大量的任务需求。

通过腾讯云的数据集成DataInlong、流计算Oceanus、数据湖计算DLC等云原生大数据产品提供的数据处理能力,对大量数据做实时或离线分析,满足了MiniMax在各个阶段的数据分析需求,实现数据的快速灵活部署。以容器化的方式使用大数据组件,使得模型验证、推理等任务得以按计划推进。

此外,大模型研发过程中,MiniMax对云上资产安全、Web业务运营风险、DDoS攻击防护等高度关注。

通过引入腾讯云的防火墙、WAF、主机安全、漏洞扫描、数据加密、iOA零信任安全管理等一系列安全产品,MiniMax实现了对云上资产的全方位保护,确保业务的稳定运行和数据的安全性。

业务上云后,基于海量、弹性的算力支撑和大量改进调优,MiniMax的大模型研发得以加速。

MiniMax业务副总裁魏伟表示:“成熟的云基础设施,既满足了业务弹性与稳定性的需要,又提升了研发效率。MiniMax将进一步扩大用云规模, 与腾讯云加速训练、推理等更多业务场景的云上落地,共同打造面向大模型的云上基础设施。相信未来,云计算会为AIGC带来更多可能。”

在算力集群、星脉网络、向量数据库之外,腾讯云还推出了涵盖模型预训练、模型精调、智能应用开发的一站式行业大模型解决方案,助力企业快速搭建专属模型。

未来,腾讯云将继续通过软硬一体的方式,持续加速全社会云上创新。

本站部分文章来自互联网,文章版权归原作者所有。如有疑问请联系QQ:362580117!

相关文章

2023阿里全球数学竞赛:钢琴、冲浪、脱口秀,这届天才少年太会整活儿

2023阿里全球数学竞赛:钢琴、冲浪、脱口秀,这届天才少年太会整活儿

弹钢琴、冲浪、讲脱口秀,这届数学少年正在颠覆人们的认知。9月16日傍晚,2023阿里巴巴全球数学竞赛(以下简称“阿里数学竞赛”)获奖名单正式出...

800亿核规模的RISC-V市场,有AI和汽车两大机遇

800亿核规模的RISC-V市场,有AI和汽车两大机遇

RISC-V圈子近来颇为热闹,一场接一场的技术论坛轮番登场。 RISC-V发明者、SiFive联合创始人Krste Asanović教授在上海...

华为自动驾驶云服务首次在长沙湘江新区落地!

华为自动驾驶云服务首次在长沙湘江新区落地!

受疫情影响,“禁足”也成为自动驾驶车辆在这段时期的写照。 尽管实地路测受阻,但得益于自动驾驶仿真平台,线上的虚拟仿真路测仍旧得...

欧阳明高院士眼中的“能源革命”,一个近在咫尺的“中国梦”!

欧阳明高院士眼中的“能源革命”,一个近在咫尺的“中国梦”!

1、未来十年交通智慧能源生态的建设大概有两个组合:一个是分布式光伏+电池+电动汽车+物联网+区块链的黄金组合;一个是集中式的远距离的...

程序员的真人秀又来了!小哥哥们没有秃头,没有穿格子衫,节目没有剧本

程序员的真人秀又来了!小哥哥们没有秃头,没有穿格子衫,节目没有剧本

号外号外! 程序员代码竞技真人秀鼻祖,B站千人催更的热血综艺《燃烧吧!天才程序员 2》终于来了! 对于一场程序员“选秀”,人们也许遵循刻板印...

AI 大模型最新突破:帮科学家读论文,小菜一碟

AI 大模型最新突破:帮科学家读论文,小菜一碟

人类迈入信息时代开始,信息资源总量越来越多,信息过载的现象非常严重。 英国学者带姆·乔丹曾说:“拥有太多信息使信息...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。