大模型算力荒?浪潮信息也来“掘金卖铲”父亲跳海16年了,"追星狂人"杨丽娟,45岁没人敢娶如今过得怎样?
发布时间:2024-10-25 14:25:38 作者:玩站小弟 我要评论
图片来源@视觉中国刚刚过去的一周,浪潮信息发布新品OGAIOpen GenAI Infra)元脑生智,意在为大模型业务提供AI算力系统环境部署、算力调度及开发管理能力的软件栈。浪潮信息作为一家以服务器
。
图片来源@视觉中国刚刚过去的掘金卖铲一周,浪潮信息发布新品OGAI(Open GenAI Infra)元脑生智 ,大模得样意在为大模型业务提供AI算力系统环境部署、型算信息算力调度及开发管理能力的力荒浪潮软件栈
。浪潮信息作为一家以服务器为主营业务的也父杨丽企业
,受到来自生成式AI带来的亲跳算力牵引潜力
,下游客户需求旺盛,海年但另一方面,追星在英伟达、狂人英特尔等供应商出口限制的娟岁今过影响下,人工智能芯片普遍短缺,没人做软件 ,敢娶也是掘金卖铲增强市场竞争力的多一种选择
。浪潮信息高级副总裁刘军告诉钛媒体,大模得样当前阶段仍处于大模型开发阶段 ,型算信息除了缺算力外
,基础模型能力还没有足够高的提升,最终呈现出来的效果也不见得会真正能投入使用
。刘军认为
,算力供给解决到一定程度,基础大模型的开发能力提升到一定程度
,就具备了商业化能力,进而在各类场景、应用的落地通道也就打开了。而在中国
,现阶段能真正达到GPT-4的模型的还没有,这就意味着将应用创新能力都寄托在OpenAI上也是明显不可能,也是不现实的。大模型也需要生产力工具据公开信息,2021年9月
,浪潮信息就已经在研发大模型
,面向大模型场景解决方案
,支持AI芯片、服务器
,以构建低时延的分布式系统
。浪潮信息发布参数量为2457亿的中文大语言模型“源1.0”。在“源”大模型的研发过程中,浪潮信息的AI团队逐步建立了完整的从公开数据爬取到数据清洗、格式转化 、数据质量评估的完整流程和工具链
,并完成了5TB高质量中文数据集的清洗工作 。“源”大模型的数据集和清洗经验和帮助国内不少AI团队提升了其大模型的性能表现
。在这个过程中 ,浪潮信息遇到了很多大模型研发应用中的问题,例如公共算力调度问题、数据清洗问题、大模型分布式训练性能不佳等等。为此,浪潮信息团队从三个层面进行优化:一是系统全栈性
,对于涉及多团队 、多环节、多流程的业务
,需要系统性架构和全栈解决方案;二是兼容适配性,由于模型训练需要大量的开源工具、组件,但存在兼容和性能方面的问题;三是性能优化的挑战,一个大的集群系统涉及的组件数以千计,怎样优化性能是问题。举个例子,针对于提升大模型分布式训练的计算效率,特别是在实际的AI集群环境中,可能存在GPU之间的互联带宽受限
,或者AI服务器之间的网络互联带宽有限的情况,浪潮信息自2022年以来为客户将大模型训练的GPU峰值效率从30%左右提升到50% ,提升GPU利用率 。而在“源”大模型研发过程中,针对千卡规模算力的高效调度问题,浪潮信息通过对云原生的调度系统进行了改造来大幅加速其启动速度 ,并重点解决了RDMA网络在容器中的接入和适配优化,从而采取构建满足大模型需求的算力调度系统;针对训练任务的长期稳定运行问题,浪潮信息还引入了多种对集群性能的监控手段和性能数据分析方法 。客户最关心什么但实现AIGC的能力,除了算力资源的限制外,仍存在诸多技术难点
,包括在模型的训练、效果测评、落地场景应用方面兼具挑战性 ,对普通开发者和中小企业来说更是可望不可及 。整体来看,OGAI(Open GenAI Infra)元脑生智软件栈由5层架构组成,从L0到L4分别对应于基础设施层的智算中心OS产品 、系统环境层的PODsys产品、调度平台层的AIStation产品
、模型工具层的YLink产品和多模纳管层的MModel产品。L0层智算中心OS的定位是面向智算中心等公共算力服务平台
,面向多租户场景,提供灵活多样的以裸金属为主的AI算力服务。L1层PODsys聚焦于AI集群部署场景,提供了包括基础设施环境安装、环境部署
、用户管理
、系统监控和资源调度一整套工具链
,旨在打造一个易用、高效、开放、兼容的智算集群系统环境部署方案。L2层AIStation聚焦于AI开发场景,通过云原生技术对集群系统中的计算资源、存储资源和网络资源进行统一的接入和纳管 ,提供了易于使用的开发环境和作业管理界面 ,并基于内置算力调度系统和训练稳定保障系统来实现易于接入、按需分配、弹性扩展和高效稳定的AI研发应用支撑平台
。L3层YLink聚焦于大模型的开发过程,通过集成整合浪潮信息在大模型研发过程中的工具和开源工具,为用户提供高效
、便捷与标准化的大模型开发与优化流程。L4层MModel定位于多模型管理与服务平台,帮助客户更好地管理和评估模型,加速模型的部署和应用 。浪潮信息人工智能与高性能应用软件部AI架构师Owen ZHU还告诉钛媒体,“现在企业面临的最大挑战是,需要用大规模硬件的基础设施才能够训练一个类似于ChatGPT同等能力的模型,这个复杂性是固有的。”他解释 ,OGAI技术栈是从L0到L4层是分层解耦设计和实现的
,也就是说并不用把整个OGAI技术栈提供给用户,才能够实现大模型开发
,而是对应需要实现的层级功能进行选择。如果用户只需要提供算力多租户的裸金属方案
,可能只需要L0层智算中心OS,不用关心最终用户会怎样进行大模型开发;如果用户需要模型开发相关工具链,可以按需选择L3层YLink提供的各类工具进行研发生产。关于发布OGAI的初衷 ,Owen ZHU指出,“浪潮信息做这件事情 ,是先行者 ,这是由视角决定。浪潮信息服务了全球客户,包括国内也是最主要的AI应用客户群体,能够第一时间感知到大模型市场在缺什么,遇到了哪些问题
。”从用户的角度来看 ,更强的算力基础设施也会倒逼需求侧进一步升级。“做模型的不懂算力,做算力的不懂模型”,这种情况长期存在,但很多算法的创新与硬件的发展是相辅相成
,两者又需要共同发展。浪潮信息的这一做法是否切实可行
,仍需市场来验证。(本文首发钛媒体APP
,作者 | 杨丽)
相关文章
尘埃落定!浙江队被剥夺亚冠资格悬念揭晓,来看看名记传来的消息哥哥是皇帝,大伯是光绪,奶奶是慈禧,他却非常低调地活到2015年
亚冠小组赛最后一轮,浙江队将客场挑战澳大利亚球队墨尔本城。这是一场小组赛的榜首大战,更是一场生死之战!目前J组的积分榜上,墨尔本城队和甲府风林队积8分排名前两位,而武里南联和浙江队积6分排名后两位。这2024-10-25沃格尔天选主帅?四年前湖人12换1浓眉夺冠 今组三巨复刻詹眉路?
#挑战30天在头条写日记#北京时间6月19日,NBA发生一笔重磅交易,太阳用保罗、沙梅特、多个次轮签、多个首轮互换权从奇才换来了布拉德利-比尔,据悉这笔交易会在选秀夜达成,目前太阳跟奇才还在找第三方球2024-10-25中超-海港2-1逆转南通4分优势领跑 奥斯卡点射梅开二度造逆转
北京时间6月19日,中超第12轮,上海海港主场以2-1逆转南通支云,第8分钟卡斯蒂略闪击破门,下半时奥斯卡罚进2个点球,助上港完成逆转。上海海港以9胜2平1负积29分,领先身后的申花4分,巩固了榜首的2024-10-25- 界面新闻实习记者 | 薛昱婷作为有史以来规模最大的科学实验之一,国际热核聚变实验堆International Thermonuclear Experimental Reactor,下称ITER)计划正2024-10-25
原创 8人退出,亚冠变天,扎心中超球队,悲喜夜,日本球队或逆袭出线
原标题:8人退出,亚冠变天,扎心中超球队,悲喜夜,日本球队或逆袭出线 目前,亚冠西亚区选拔赛已经落幕,来自沙特的四支球队都挺进了淘汰赛,令人羡慕,而在东亚区域,武汉三镇所在小组也都完成了第六轮赛2024-10-25- 距离尘封42年的队史得分王还差161分,效力球队11年的布拉德利·比尔选择了离开。19日,据美国媒体报道,华盛顿奇才将布拉德利·比尔送至菲尼克斯太阳,太阳则送出保罗、沙梅特和一些二轮签和多个选秀签互换2024-10-25
最新评论