火山引擎发布大模型训练云平台:支持万卡训练,集群性能提升倍

AI大模型技术应用爆发,为云市场的变革再度踩下“油门”。

继阿里云之后,火山引擎今天在“原动力大会”上发布自研DPU等系列云产品,并推出新版机器学习平台:支持万卡级大模型训练、微秒级延迟网络,让大模型训练更稳更快。火山引擎总裁谭待表示,AI大模型有巨大潜力和创新空间,火山引擎会服务客户做好大模型,共同推动各行业的智能化升级。

“国内有数十家做大模型的企业,大多已经在火山引擎云上”,谭待认为,大模型不会一家独大。与其他云厂商力推自家大模型不同的是,火山引擎将接入多家大模型深度合作,为企业和消费者提供更丰富的AI应用。

解决大模型训练的成本控制问题

ChatGPT成为人类历史上最快获得上亿用户的消费级互联网应用。最新的GPT-4大模型,更是在法律、数学、生物学等多项测试中超过90%人类。

谭待表示,国内很多科技公司投入到大模型建设中,他们有优秀的技术团队,也有丰富的行业知识和创新想法,但往往缺乏经过大规模场景实践的系统工程能力。火山引擎要做的就是为大模型客户提供高稳定性和高性价比的AI基础设施。

据悉,火山引擎机器学习平台经过抖音等海量用户业务长期打磨,支持单任务万卡级别的超大规模分布式并行训练场景。GPU弹性计算实例可灵活调度资源,随用随取,最高可以为客户节省70%的算力成本。

字节跳动副总裁杨震原认为,业务创新需要试错,试错要大胆、敏捷,但试错也一定要控制成本。通过潮汐、混部等方式,火山引擎实现资源的高利用率和极低成本。以抖音推荐系统为例,工程师用15个月的样本训练某个模型,5小时就能完成训练,成本只有5000元。火爆全网的抖音“AI绘画”特效,从启动到上线只用一周多时间,模型由一名算法工程师完成训练。

MiniMax是目前国内少数已经推出自研大模型产品的AI技术公司,拥有文本、视觉、声音三种通用大模型引擎能力。据MiniMax联合创始人杨斌介绍,MiniMax与火山引擎合作建立了超大规模实验平台,实现千卡级常态化训练;超大规模推理平台有万卡级算力池,支撑单日过亿次调用。在火山引擎的云上,MiniMax大模型业务实现快速突破。

谭待透露,火山引擎的大模型云平台获得智谱AI、昆仑万维等众多企业的良好反馈。国内大模型领域,七成以上已是火山引擎客户。

向“多云多模型”架构演进

有评论称,大模型将成为云厂商弯道超车的机会。谭待对此表示,大模型还在发展初期,面临数据安全、内容安全、隐私保护、版权保护等许多问题需要努力解决。但可以预见,大模型将带动云上AI算力急剧增长,AI算力的工作负载与通用算力的差距会越来越小,这会为各家云厂商带来新的机会,同时也会对数据中心、软硬件栈、PaaS平台带来新的挑战。

以数据中心的算力结构为例,谭待表示:“大模型需要大算力,虚拟化会带来资源损耗,规模越大就损耗越多。未来3年内,大规模的算力中心,都将形成‘CPU+GPU+DPU’的混合算力结构,CPU负责通用计算,GPU负责AI计算,DPU负责资源卸载、加速和隔离,提升资源效率”。

此次原动力大会上,火山引擎发布了新一代自研DPU,实现计算、存储、网络的全组件卸载,释放更多资源给业务负载。火山引擎尽管是“最年轻”的云厂商,其自研DPU已达到业界领先水平,网络性能高达5000万pps转发能力、延迟低至20us。基于自研DPU的各类计算实例性能也有显著提升,例如适用于大模型分布式并行训练场景的GPU实例,相较上一代实例集群性能最高提升3倍以上。

自动驾驶公司毫末智行与火山引擎合作打造智算中心,为DriveGPT自动驾驶生成式预训练模型提供强大的算力支持。毫末智行CEO顾维灏介绍,DriveGPT使用量产车4000万公里的人驾数据训练,参数规模达1200亿,对自动驾驶认知决策模型进行持续优化。

谭待表示,在大模型及下游应用发展推动下,无论传统企业还是初创企业,对AI算力都有迫切需求,企业使用多家云服务将成为常态。同时,各行业有自己高质量的私有语料,大模型不会一家独大,而是会在千行百业生长,形成多模型共生甚至协作的生态。“未来将是‘多云多模型’的时代”,谭待称。

火山引擎也顺势推出了分布式云原生平台、多云安全、多云CDN、veStack混合云平台等系列产品,支持客户更好地使用多家云服务。“字节跳动用过全球几乎每一朵公有云,以及大多数CDN,形成一套完整的分布式云管理体系和架构实践”,谭待坚信火山引擎是最懂多云和分布式云的云服务商,这些技术能力都会毫无保留地提供给客户。

杨震原进一步表示,火山引擎对内对外提供统一的产品:“数字化时代,机器学习可以智能、高效地围绕目标解决问题。数字化的下一步是智能化,我们在机器学习方面的技术积累和经验,都会通过火山引擎提供给外部客户,帮助更多企业做好智能化”。

THE END
0.差异分析+火山图+COX模型构建生存分析之Cox模型简述与参数求解 edgeR需要的数据是reads数,可以设置BCV值,做单样本的差异分析。 edgeR包可以做无重复的差异分析,不过需要认为指定一个dispersion值(设置BCV值),这样得到的结果比较主观,不同的人就可以有不同的结果。通常如果是实验控制的好的人类数据,那么选择BCV=0.4,比较好的模式生物选择BCV=0.1 jvzquC41yy}/lrfpuj{/exr1r1?egl7c7475em
1.联手火山引擎,华硕利用大模型和向量数据库推出AI功能笔记本火山引擎所提供的字节大模型拥有优秀的语言感知能力,能够高效完成各类语言任务,通过自然语言交互在对话互动、信息获取和创作辅助等多种应用中展现出极高效能。目前,字节大模型已广泛应用于字节跳动内部50余条业务线,覆盖20个以上细分行业,尤其在文本分类、总结摘要、信息抽取、角色扮演、文案创作等多个方面表现出优势。 jvzquC41pg}t0|npc0ipo7hp1u~04976/2;.394fgvgjn6npcwzgv{72;682;7xjvor
2.火山翻译年度盘点:年底每天“干活”1.38亿次发现频道日前火山翻译团队发布《请翻译2020》年度盘点,详解过去一年上线的火山翻译Studio、火山同传等新品,以及在训练机器翻译模型过程中遭遇的技术难点和解决方案。2020年最后三天,火山翻译的调用量达日均1.38亿次,日均翻译的字符数超百亿规模。如果把火山翻译每天翻译的字符打印在A4纸上,堆起来的纸张相当于1.3个东方明珠的高度jvzq<84f0{uvvq3ep1tfy}jej1814:541v814:5432e24@568:6/j}r
3.火山方舟大模型服务平台火山引擎官方文档中心,产品文档、快速入门、用户指南等内容,你关心的都在这里,包含火山引擎主要产品的使用手册、API或SDK手册、常见问题等必备资料,我们会不断优化,为用户带来更好的使用体验jvzquC41yy}/xxqegpmjpn3eqo5eqlx1:498;
4.大模型的航海时代,火山引擎拼命造船股票频道在火山引擎位于海淀区大钟寺广场的办公楼见到谭待时,王慧文撤离大模型赛道的消息尚未传出,否则又会为这场专访提供一份堪称变量的背景。 话虽如此,大模型依然是全球资本追逐的宠儿,AI概念股推动纳斯达克在2023年实现了29%的涨幅,中国的下场者也高密度的出现在各家大厂和各所高校的顶尖名册里,但在大规模应用的构想里,所有人都还在等待jvzquC41uvudm7mgzwt/exr14284/9
5.火山方舟来了!字节首次公布大模型进展,要做淘金路上的卖水者自大模型被视为增长新动力(310328),在红海厮杀的云厂商无不争先恐后想要抓住这一机会,尤其后来者,更需要一个急转超车的时机。 但火山仍然迈出了谨慎的一步。6月28日,字节跳动旗下火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等服务。目前,“火山方舟”集成了智谱AI、MiniMax、百川智能jvzquC41vgii0qjzwp4dqv44249.2?24;181;:547:?/j}rn
6.火山引擎发布“火山方舟”,加速大模型应用落地  6月28日,在火山引擎主办、英伟达合作举办的“V-Tech体验创新科技峰会”上,火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等全方位的平台服务(MaaS,即Model-as-a-Service)。目前,“火山方舟”集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI(以拼音jvzq<84yyy4ykwmwcpku0lto1vkdj87245674A42g9=6e9h8g;g56jkcgeh34o5e;g<4;Ag1e0nuou
7.「分布式技术专题」三种常见的数据库查询引擎执行模型该计算模型将关系代数中每一种操作抽象为一个 Operator,将整个 SQL 构建成一个 Operator 树,查询树自顶向下的调用next()接口,数据则自底向上的被拉取处理。 火山模型的这种处理方式也称为拉取执行模型(Pull Based)。 大多数关系型数据库都是使用迭代模型的,如 SQLite、MongoDB、Impala、DB2、SQLServer、GreenplumjvzquC41dnuh0>6evq4dqv437363;<9148933?5
8.火山引擎发布“火山方舟”加速大模型应用落地6月28日,在火山引擎主办、英伟达合作举办的“V-Tech体验创新科技峰会”上,火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等全方位的平台服务(MaaS,即Model-as-a-Service)。目前,“火山方舟”集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI(以拼音首字母jvzq<84hkpgoen3eg0io1qtog1ps|z4fe1814<5814>0v;5452<3:h8:82>74?3ujvsm
9.字节参战!火山引擎明确不做大模型但已服务国内七成大模型厂商【TechWeb】“火山引擎自己是不做大模型的,我们首先服务好国内做大模型的厂商,等他们把大模型做好之后,我们再一起合作开展对外的服务。”火山引擎总裁谭待向TechWeb等表示。 随着ChatGPT的爆火,国内人工智能领域也风起云涌,互联网科技公司纷纷开启大模型军备竞赛。百度、阿里、360等大厂,以及MiniMax、智谱AI等创业公司jvzquC41pg}t0qjzwp4dqv44249.2=23;181:<9463>/j}rn
10.字节发布火山方舟:让大模型服务与应用像打车一样简单火山方舟平台的合作伙伴包括百川智能、出门问问、复旦大学 MOSS、IDEA 研究院、澜舟科技、MiniMax、智谱 AI等多家 AI 科技公司及科研院所。用户可以根据自己的需求,浏览和搜索不同类型和领域的模型,并查看模型的详细介绍和评价,也可以通过火山方舟平台,与服务商进行沟通和协商,定制专属于自己的模型服务方案。jvzquC41yy}/frfpmgpj0lto1pkxu8;5839/j}rn
11.让大模型信得过、用得起,火山方舟开辟了新玩法作为近年来发展速度最快的互联网厂商之一,字节旗下火山引擎虽然看似低调,不过凭借抖音等业务IT资源和基础架构的规模优势,已悄然将业务拓展至外部客户。在大模型领域,与大多数互联网厂商不同,火山引擎采取了“淘金卖水”的商业策略,类似于京东、天猫模式,不仅汇集了一批来自AI创新公司和科研院所的优秀模型,还提供充沛算jvzquC41o0gdh~s0ep5w1Hfe?6786?722(zzrnBctvodnn
12.火山“所想即所⻅,七⽕⼭⽂⽣视频Etna模型发布”,超讯摘要: 超讯通信 X七火山“所想即所⻅,七⽕⼭⽂⽣视频Etna模型发布”,超讯公布未来三年计划,国产Sora 发布会秒杀众多模型,行业大佬齐聚一堂,共议AI发展蓝图。看点: 1. 七火山文生视频模型Etna可稳定生成8-15秒的视频,背后是积累与沉淀。 2. 超讯通信 未来jvzquC41zwkrk~3eqo5659662;=2:87:2;625?7
13.集贤科技:联合博通集成及火山引擎大模型能力打造具备自然交互与集贤科技:联合博通集成及火山引擎大模型能力 打造具备自然交互与教育功能的下一代AI玩具Video Player is loading.00:00/00:00 Loaded: 0% 视频加载失败,请查看其他精彩视频 相关视频 猜你喜欢 00:03:34 法国人脸都绿了!毛子那个外交女发 00:01:05 广交会韩端科技展示开源鸿蒙版人形 00:01:08 中方jvzquC41xkjfq7xkpc4dqv3ep1v0hrscpek04977/29.3A4fgvgjn6npgr€uhy=;27;6:7i0jvsm
14.豆包图像编辑模型3.0上线火山方舟豆包图像编辑模型3.0上线火山方舟发现更多热门视频 天才就是天才 亚马尔中路油炸丸子强突+接费尔明脚后跟妙传抢射破门 不会杀球的张某人2万次播放 张颂文谈辛芷蕾演技变化,赞其演绎人物挣扎如动物嘶吼 电影拆台君3561次播放 太子破僵!福登禁区弧顶贴地斩破门,随后与场边球迷自拍庆祝 不会杀球的张某人9058次播放 勒布jvzquC41xkjfq7xkpc4dp8kkpctdg872473196821fkucrq/kpljht{g92619<80f0nuou