方舟启航,火山引擎这波在“大气层”百川大模型

过去一年,科技行业最热的话题,莫过于生成式 AI 了。ChatGPT 的火热,让其在全球掀起了人工智能的新浪潮,“AI 改变世界”这句话,仿佛第一次产生了实实在在的冲击力。

在这波新时代浪潮中,除了 ChatGPT,各种生成式 AI 大模型也如雨后春笋般涌现。中国科学技术信息研究所等机构发布的《中国人工智能大模型地图研究报告》显示,截至今年 5 月,国内已公开披露的大模型数量就已经达到 79 个。

这里面既有自然语言大模型,也覆盖了图像、语音、视频等多模态领域。除了各路企业,还有国内的高校、科研机构等不同类型的主体,都在积极参与大模型研发。

忽如一夜春风来,千树万树梨花开。

而就在这背景下,6 月 28 日,在火山引擎主办、英伟达合作举办的“V-Tech 体验创新科技峰会”上,火山引擎作出了让人眼前一亮的举措:推出大模型服务平台“火山方舟”,这是一个面向企业提供模型精调、评测、推理等全方位的平台服务(MaaS,即 Model-as-a-Service)。

当大部分企业都在降目光聚焦在大模型本身的搭建上时,火山引擎却不走寻常路,选择打造平台生态,他们为何要这么做?以及,这艘“方舟”会引领火山引擎在生成式 AI 的新时代驶向何处?这些都十分值得关注。

火山引擎为什么要做大模型的服务平台?

生成式 AI 大模型的火热程度已无需赘言。对于普通用户来说,我们可以用通用大模型快速获取各种知识、资料,让它辅助我们办公,生成文案、插画等等,或者仅仅是和大模型闲聊,也很有趣。但作为一项能够变革世界的技术,它所承载的使命显然远不止于此。而它更大的价值,其实是在 B 端。当 AI 大模型能够真正融入千行百业的科研、生产、制造、经营等全流程,对于社会生产力的提升无疑是决定性的。

比如说,医院能够利用 AI 大模型为病人生成更精准全面的电子病历,更高效地分配、管理医疗资源;

企业可以通过大模型强大的数据分析能力与各种办公系统结合,制定更精准的生产计划,还能对生产过程实时检测、对设备运行状态、工人产能、原材料消耗等进行实时分析,控制生产成本;

学校教育系统有了 AI 大模型的助力,老师将可以更快速、精准地掌握学生学情变化情况,同时还能辅助完成教学课程设计……

这些美好的场景,可以说是 AI 大模型必然要遵循的发展方向,否则便无法呈现其变革的力量。

基于此,火山引擎对于大模型产业未来的发展,也有着自己的清晰判断,这是他们找到自身定位的依据。

首先,未来的大模型市场应该是一个百花齐放的多模型生态。或许在这个生态系统中,会同时并存几个少数的超大规模的大模型,更重要的是会有多个中等规模的大模型和更多个行业的垂直模型。由此形成一个多云多模型的生态,反过来,开放的市场竞争和模型多样性,又会进一步促进整个技术的发展。

其次,火山引擎认为,在未来企业、尤其是行业头部企业,自身对于大模型的应用,将会是一个“1 + N”的应用模式。

即:企业通过自研或者与三方模型服务商的深度合作,形成企业自身的 1 个主力模型;在这个主力模型之外,在不同的场景中,企业还会同时应用 N 个外部模型。

这样的发展趋势下,就会衍生出一些重要且客观的问题。

随着大模型市场越来越多元,竞争越来越激烈。对于大模型提供商来说,训练、推理的成本会越来越高,如何控制成本是个问题。还有怎样让自家的大模型产品精准地找到对应的客户,也不容易。

反过来,对于模型使用者来说,他们也需要高效、快速地找到适合自己业务需求的大模型产品。而且,很多企业业务多元,不会只使用一种大模型,怎样方便快捷地调取这些服务,也很重要。

这时候,我们就需要一个平台,一个能同时服务于大模型供应商和使用方的平台,让供应方能便捷、低成本地训练、销售自己的大模型,让使用者能随时调用大模型的能力,即用即取,让供与求之间的通路得到打通……

这样的平台,就是火山引擎在这样的蓝图里,想要扮演的角色。

打一个或许不算恰当的比方,未来丰富多样的各种大模型产品就好像移动互联网时代的各种 App,而火山引擎要做的,是 AppStore。移动互联网时代的经验已经告诉我们,只有做平台、做生态,才能构建最牢不可破的护城河。

火山方舟是什么样的?

了解了火山引擎打造火山方舟的背后逻辑,下面我们来看看火山方舟是一个怎样的平台。

火山方舟平台由几个核心部分构成,行动路线设计符合大模型应用的工作习惯,并突出体现了火山引擎对如何用好大模型的理解。

火山方舟首先拥有模型广场,使用者可以在这里看到许多优秀的模型提供商,以及他们不同版本 / 不同尺寸的模型。

目前,“火山方舟”已经集成了百川智能、出门问问、复旦大学 MOSS、IDEA 研究院、澜舟科技、MiniMax、智谱 AI 等多家 AI 科技公司及科研院所的大模型,并已启动邀测。

使用者可以直接与这些模型交互,得到直观体验。在火山引擎上可以直接调用推理 API,接入大家的生产环境。这是一条敏捷的短链路,适合进行快速分析和 AB 实验,为算法工程师和业务团队不断缩短从新想法到试一试的距离。

此外,目前国内大模型发展还处于初级阶段,无法通过一个 API 满足企业需求,需要和行业场景、数据结合做精调和持续训练,火山方舟恰好也提供了这样一个平台。

在火山方舟上,企业还可以进行模型评估,可分为人工评估和自动化评估,人工评估可以精细化衡量模型的主观表现,自动化评估则能助你紧跟模型迭代的节奏。在不断对比 / 评估 / 试验的过程中,企业可以积累评估数据,给多样化的业务场景和业务入口,挑选不同的,最合适的模型。

选择了一个大模型后,你还可以进行模型精调。因为很多企业的业务是高度垂直化的,需要利用自有的数据和领域非公开数据进行持续训练,才能应用到正常的工作流中。而在火山方舟上,企业客户只需手动设置高级参数、验证集、测试集等,就能自由地使用模型精调功能。

使用者在发起模型精调任务的同时,火山方舟也会自动进行评估,精调的效果和运行指标都会在平台实时跟踪,并以简洁直观的方式展现给使用者。

此外,由于火山方舟是大模型的应用以及机器学习平台的完整集成。因此上述工作流也适用于客户自己训练的大模型,让训练 / 评估 / 对比 / 推理 / 迭代紧凑地联系在一起,一气呵成。

一个好的大模型服务平台,只有这些还不够。

对于火山方舟来说,它还致力于解决三个问题。

首先是安全和信任。在大模型时代,数据安全会迎来新的命题。据网络安全公司 Cyberhaven 的调查,此前至少有 4% 的员工会将企业敏感数据输入 ChatGPT,敏感数据占输入内容的比例高达 11%。2023 年初,三星公司在使用 ChatGPT 不到 20 天时,就发现其半导体设备相关机密数据被泄露,并连续发生 3 起类似事故。

火山方舟也确实将安全保障视为首要任务。根据火山引擎智能算法负责人吴迪介绍,目前他们已经上线了基于安全沙箱的大模型安全互信计算方案,利用计算隔离、存储隔离、网络隔离、流量审计等方式,实现了模型的机密性、完整性和可用性保证,适用于对训练和推理延时要求较低的客户。

同时火山方舟还使用基于硬件的可信计算环境,结合 CPU 的 TEE 技术,以及英伟达 H800 的可信计算技术,将在后续带来硬件级的信任环境加固。还有就是经过多年发展的联邦学习技术,也会在大模型领域发挥重要价值,它通过对数据资产拆分来获取双方的信任。

第二个问题,是性价比,也就是要降低大模型的使用成本。

在发布会上,火山引擎展示了大模型行业的两条增长曲线,第一条曲线是模型训练所承载的算力消耗,第二条曲线是模型应用和调优承载的算力消耗。他们预测,到 2024 年秋天之后,以推理为主的大模型应用消耗,将超过预训练消耗的 60%,并且在 2025 年的某个时刻,超越预训练算力消耗。

我们知道,目前训练大模型的成本已经很昂贵了,这两条曲线说明,未来模型推理的开销会超过训练的开销,会更昂贵。因此,降低推理成本会是大模型应用落地的重要因素,也是火山方舟存在的意义。

火山引擎为大模型的推理提供高可靠保障,以及企业级的负载均衡和容错能力。而随着平台不断迭代,对大模型的资源供应将更为弹性 / 动态和廉价。

同时,火山方舟还会通过流量错峰,训推一体等手段,将进一步降低推理的单位成本,这也是在大模型时代,用云 / 上云所带来的重要优势,因为云上规模最大,而规模决定单位成本,因此用云对大模型推理的成本控制非常重要。

只有当训练、推理的成本做得足够低,大家才能把更多的注意力集中在业务层面,大模型也才能真正被广泛使用。

最后是生态系统的问题,如果把大语言模型比作 CPU,那么作为服务平台的火山方舟,就是除了 CPU,还要把整个主板也制造出来,也就是一整个配套的工作都要做好。

具体来说首先是插件,后续,火山方舟将提供大量插件,并且会为各插件配套一个数据集,像说明书或者驱动程序那样,用来告诉基座模型如何正确地与之交互。

接着是领域模型的微服务网络。火山引擎相信,将来通用基座模型将更好地完成多模态任务。但是在一定时间内,以及一些非常重视推理成本的垂直应用中,领域模型和大语言模型将密切配合,完成一些复杂工作。后续在火山方舟上,将构建一个领域模型的微服务网络,内置包括图像分割,语音识别等众多专业模型,供中央处理器随时调用。

总之,现阶段企业选择大模型或者打算自研大模型,要考虑的事情有很多,包括性价比,什么推理成本、延迟等等,还要考虑自身的业务需求、安全性、便捷性等。而火山方舟作为一个刚刚启航的大模型服务平台,它的完整度已经足够让人惊艳,像成本、安全、使用的简洁性、还有训推一体的功能性等各方面都覆盖到了,目前集成的大模型种类也足够丰富。

如果把各种大模型比作商品、商店,那么讯飞方舟就仿佛一个大型的购物商超,现在这个商超环境大气、配套设施齐全、门店租金也低,地段也好,那么商家有何理由不入驻,消费者又怎会不爱逛呢?

火山方舟的发动机

火山方舟这艘巨轮能驶向哪里,驶得是否平稳,很大程度上取决于发动机,而这发动机,就是火山引擎。前面我们提到,火山方舟其实是“大模型技术”与“火山引擎机器学习平台”的有机整体,因此它能够提供给模型供应商充沛的算力支持、持续不断地性能优化,还有出色的性价比,这些优势,本质上都来自火山引擎。

我们知道,火山引擎是抖音的计算服务提供方,抖音短视频的业务场景对流量、时延、稳定性等方面的要求非常严苛,而火山引擎已经经过了充分的训练和验证,去年抖音还完美完成了世界杯的直播,也是火山引擎在提供算力支撑。

就在 4 月份,火山引擎还与字节跳动国内业务并池,基于内外统一的云原生基础架构,抖音等业务的空闲计算资源可极速调度给火山引擎客户使用,离线业务资源分钟级调度 10 万核 CPU,在线业务资源也可潮汐复用,还有数十 EB 的企业存储,这些都是国内领先的,构成大模型供应商们丰富的训练、推理资源。

未来的大规模算力中心都会以“CPU+GPU+DPU”的混合算力结构为主。就在不久前,火山引擎自研 DPU(Data Processing Unit)也已经成功应用,部署在上万台 DPU 服务器,其中,全新基于自研 DPU 的计算实例中,NVIDIA GPU 计算实例相较上一代实现 3 倍性能提升,新的 CPU 实例,小规格实例性能最高提升 6 倍以上。而他们的智能推荐-高速训练引擎,也可以大大优化模型的训练推理效率。

而在算法训练方面,火山引擎还有新版机器学习平台,可支持万卡级大模型训练、微秒级延迟网络、弹性计算可节省 70% 的算力成本,而且是经过抖音海量用户业务长期打磨的,十分可靠。

在商业落地方面,火山引擎也有完整的 ToB 服务体系和团队支撑,其实在火山方舟推出之前,前面提到的那些做大模型的企业,大多已经在火山引擎云上,像 MiniMax、智谱 AI、百川智能、澜舟科技、出门问问等等。

比如 MiniMax 就已经在火山引擎上实现了从月至周级别的大模型迭代速度,和指数级的用户交互增长,“或许是国内第一家在公有云上实现数千卡并行训练的公司”。MiniMax 还自研了超大规模的推理平台,稳定支撑着每天上亿次的大模型推理调用。同时,他们的文本、语音、视觉三个模态大模型都登陆了“火山方舟”,推动双方合作进一步深化。

再比如专攻 AI 医药的晶泰科技也在火山引擎上实现了极致弹性的计算需求,双方基于云原生的基座,打造了一个高速且弹性伸缩、可容纳巨大算力的混合高性能计算平台,在双方的努力下,晶泰科技实现了集群装箱率 95% 以上的高资源利用率,超高通量筛选的 AI 制药高性能实例,以及 50 万任务(CPU&GPU)精准下发的异构算力智能化调度。火山引擎的数字孪生技术也加速了药物研发的自动化实验,例如全流程 AI 生成策略、蛋白质孪生可视化和视觉辅助算法,赋能药物研发提升效率。

可以说,火山引擎,以及背后沉淀出来的技术能力、服务能力、和被验证过的实战能力,就是火山方舟能够在生成式 AI 浪潮中敢于做服务平台、敢于乘风破浪的底气。

结语大模型是当下最激动人心的技术创新,如果把大模型比作一个生态系统,显然只有更多样性的物种才能保障整个生态的健康持续。

在发布会上,火山引擎总裁谭待如是说。而火山方舟启航伊始,也许还有很多地方需要完善,但是它在大模型服务平台方面的探索,以及对于整个大模型行业上下游开发企业、服务企业、应用企业、创业者、开发者们的粘合作用,都是不容忽视的。相信在火山引擎的努力下,一个“多云多模型”的良好生态一定能够建成,大模型技术也一定能更好的服务于千行百业,共同推动社会整体的进步。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

THE END
0.大模型定价低于行业价格99%,火山引擎助力车企加速驶入“AI时代”近日,火山引擎举办2024春季Force原动力大会,首次发布了字节跳动自研大模型家族、升级火山方舟大模型服务平台,并联合中国电动汽车百人会、中国一汽等20余家组织、厂商成立汽车大模型生态联盟,探索新一代人车交互形态、提升汽车全场景AI新体验,全方位赋能汽车产业智能化转型。面对智能化带来的颠覆性变革,汽车产业要如何从容应jvzq<84yyy4dpjzvqpkxu7hqo1npw|mkejgoi8724651787:1fkucrqa42852>7:58;48@3jvor
1.“火山方舟”发布构建大模型服务平台6月28日,字节跳动旗下火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等服务。目前,“火山方舟”集成了百川智能、出门问问、智谱AI等多家AI科技公司及科研院所的大模型。 今年以来,云厂商纷纷召开相关产品发布会,而大模型成为吸引关注的重要砝码。3月底和4月初,百度和阿里巴巴先后公布大模jvzq<84hkgre0:5lsmg/exr0ep532;8284?0e?9:626:2@3ujvsm
2.云+AI,火山引擎助力泛互联网行业创新和增长火山引擎AI火山引擎凭借多年的技术沉淀和产品创新,已经形成云基础设施、豆包大模型和方舟2.0的全栈产品体系,可助力企业构建一个可信赖的大模型应用平台,满足企业在 AI 时代下的多元化需求,在数字化转型的道路上加速前行。 火山引擎智能算法负责人、火山方舟负责人吴迪表示,作为云基础设施提供商,火山引擎通过模型效果优化、系统性能强化、成本持续降 jvzquC41pg}t0|npc0ipo7hp1u~04976/2;.4=4fgvgjn6npcyogv};:379827xjvor
3.火山方舟点击查看豆包大模型手把手应用教程与解决方案白皮书 立即查看 最新活动 企业开通最新模型享五折,19.9元限量抢购最新模型千万Tokens 立即秒杀 特惠活动 最新福利 协作奖励计划二期全面升级,免费每日领取单模型最高500万Tokens 立即参与 极速体验火山方舟 极速体验模型 jvzquC41yy}/xxqegpmjpn3eqo5qtxiwev5btt
4.大模型产业,Maas成“风”?朱啸虎模型火山不同模型在不同的场景下,效果是各擅胜场。一个经过良好精调的中小规格模型,在特定工作上的表现可能不亚于通用的、巨大的基座模型,而推理成本可以降低到原来的十分之一。 在这种综合认知下,与其他大模型厂商所走的路径有所不同,火山引擎的切入方式并非是从头自研,而是发布大模型服务平台“火山方舟”,面向企业提供jvzq<84m0uooc7hqo0io1jwvkerfa@9836858>8a3dice=j2f2622:=:sd4ivvq
5.开发者指南|从购买到实战,手把手教你玩转火山方舟CodingPlan它兼容Anthropic API等主流开发环境,让你无需修改现有的集成代码,就能将豆包模型接入。 完美支持Claude Code、veCLI、Cursor、Cline、Codex CLI等主流工具环境,Coding Plan 都能很好地支持,让你在熟悉的工具中调用豆包模型。 稳定可靠的保障: 所有服务均依托火山方舟超大资源池,告别卡顿和排队,为你提供稳定、畅快的算力jvzquC41dnuh0lxfp0tfv8hufpyru}52685bt}neng5eg}fknu527=>73;:9
6.火山方舟大模型智能数据洞察(私有化)火山方舟大模型是特色专区算子中的智能化数据处理工具,支持对接火山引擎大模型服务,通过自定义模型配置、生成策略及角色人设,实现非结构化数据解析、多语言翻译等功能,适用于企业数据智能化处理场景。本文为您介绍如何使用火山方舟大模型。 功能概述 火山方舟大模型算子对接火山引擎大模型服务,可对存储在 TOS 存储桶中的jvzquC41yy}/xxqegpmjpn3eqo5eqlx169871:;237?5
7.DeepSeek+CherryStudio本地部署大模型(简单能用)三、对接火山引擎 豆包 使用抖音号、手机号、头条号注册均可 3.1注册 3.1.1进入控制台 3.2.2 进入火山方舟 点击左上角蓝色区域 点击火山方舟 3.2开通模型 3.3创建接入点 3.3.1创建 3.3.2复制模型ID 四、火山引擎接入cherryStudio 4.1添加模型 4.2接入检查 jvzquC41dnuh0lxfp0tfv8r2a8799;<2;1gsvrhng1jfvjnnu1762=77397
8.方舟招聘方舟招聘招聘AML-火山方舟大模型推理系统工程师 【上海-江湾】 35-65k·15薪 5-10年本科 字节跳动 互联网融资未公开10000人以上 杜女士 HRBP 汉氏方舟东营健康科普中心 【东营-西四路】 20-30k 3-5年大专 东营市优而美生物科技有限公司 专业技术服务1-49人 jvzquC41yy}/nrjrkp4dqv4u19?c6:96eg6ch:f3cd=4c?ih84k1g@hc51
9.豆包大模型应用落地,又有新进展。8月21日,火山引擎在AI创新巡展活搭载火山方舟大模型服务平台,通过火山引擎RTC实现语音数据的高效采集、处理和传输,并深度整合豆包·语音识别模型和豆包·语音合成模型,简化语音到文本和文本到语音的转换过程,火山引擎对话式AI实时交互解决方案,提供优秀的智能对话和自然语言处理能力,帮助应用快速实现用户和云端大模型的实时语音通话。 jvzquC41zwkrk~3eqo522B<86;9748823;>95?>
10.MetaGPT配置各个大模型APImetagpt配置qwen本地部署的大模型我们以OpenAI API为例说明配置过程,其他大模型的API配置过程是相同的。 您可以通过设置 config2.yaml完成配置 使用config2.yaml 在当前工作目录中创建一个名为config的文件夹,并在其中添加一个名为config2.yaml的新文件。 将示例config2.yaml文件的内容复制到您的新文件中。 jvzquC41dnuh0lxfp0tfv8f994916=6;1cxuklqg1fkucrqu13:739<9:2
11.微信小程序接入DeepSeek模型(火山方舟),并在视图中流式输出通过流式输出,DeepSeek模型可以在处理过程中实时地将结果发送给小程序,小程序前端则能够立即接收到这些数据,并在视图中动态展示出来。这样,用户就可以边等待边看到已经接收到的结果,大大提升了用户体验。 本文中的DeepSeek模型为火山方舟(字节跳动火山引擎)中的DeepSeek大模型,当前可以免费使用。jvzquC41dnuh0lxfp0tfv8qhs9<24991ctzjeuj1fgzbkux136;:;A<94
12.大模型加持,火山引擎加速数据价值的“飞轮效应”|火山引擎|字节今年6月,火山引擎推出了大模型服务平台火山方舟,来拥抱大模型时代的到来。在此次大会中,火山引擎数智平台VeDI对数据产品大数据研发治理套件DataLeap和智能数据洞察DataWind进行了升级,以AI加持,降低企业数据消费门槛。 字节跳动数据平台负责人罗旋表示:“无论何种技术赋能,其核心都在于进一步降低业务使用门槛,更好地探索数据jvzq<84m0uooc7hqo0io1jwvkerfa:<;:9=84=h23?14{t{30nuou