“火山方舟”aa平台亮相:集成七款大模型,抖音等业务团队已试用腾讯云开发者社区

6 月 28 日,火山引擎发布了大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等全方位的平台服务(MaaS,即 Model-as-a-Service)。据悉,目前“火山方舟”集成了百川智能、出门问问、复旦大学 MOSS、IDEA 研究院、澜舟科技、MiniMax、智谱 AI(以拼音首字母排序)等多家 AI 科技公司及科研院所的大模型,并已启动邀测。

对于中国的大模型发展,火山引擎有下面几个关键判断:

第一,未来的大模型 市场将是一个百花齐放的多模型生态。由于安全信任、行业壁垒和成本等因素,这个生态将同时并行存在几个少数的超大规模的大模型、多个中等规模的大模型和更多个行业的垂直模型。同时,开放的市场竞争和模型多样性又会进一步促进整个技术发展。

第二,企业,尤其是行业头部企业,自身对于大模型的应用,将是“1 + N”的应用模式,即:企业通过自研或者与三方模型服务商的深度合作,形成企业自身的一个主力模型;在这个主力模型之外的不同场景中,企业还会同时应用 N 个外部模型。

基于以上判断,火山引擎定位于为模型生产端和模型应用端提供底层能力和产品方案,解决计算、安全、成本等通用问题。据悉,火山方舟由以下几个核心部分构成:

第一个是模型广场,许多模型提供商会提供不同版本 / 不同尺寸的模型。企业可以直接与这些模型交互。在火山引擎上可以直接调用推理 API,接入生产环境。适合进行快速分析和 AB 实验。

第二个是模型评估。企业要把大模型用好,首先得想好自己的业务需求,并为之设计一套可量化的评估指标,并在不断对比 / 评估 / 试验的过程中,积累评估数据、快速迭代。要给多样化的业务场景和业务入口,挑选不同的、最合适的模型。

第三个是模型精调。对于要求较高的垂直场景,用户可能需要利用自有数据和领域非公开数据,进行持续训练,并且建设和积累自己的精调数据集。对精调的良好运用也有益于对更小尺寸模型的利用, 在特定工作上达到逼近通用大模型的水平,由此降低推理成本。火山方舟可以对一个模型或多个基座模型同时发起训练任务,同时实时跟踪模型精调的效果指标和运行情况。

随着平台不断迭代, 企业对大模型的资源供应将更为弹性 / 动态和廉价。火山引擎通过流量错峰、训推一体等手段,将进一步降低推理的单位成本。吴迪表示,这也是在大模型时代,上云所带来的重要优势。除此之外, 火山引擎将和大模型提供商联合进行深度的性能优化,包括火山引擎知名的 veLego 优化框架,还包括火山引擎将不断和大模型提供商分享 / 共创的诸多量化 /batching/ 调度等优化技术。

火山引擎总裁谭待 认为,除了算法、数据和算力外,企业做大模型还需要考虑以下问题:

火山引擎智能算法负责人吴迪表示,与其他很多云厂商单纯提供算力、基础底座不同,火山方舟平台一方面会在资源和优化方面跟模型提供商进行非常深度的合作,长期致力于降低推理成本,另一方面,火山算法团队会和客户做重点的应用共建和应用落地,催化整个大模型、大算力在千行百业的落地速度。

据悉,抖音集团内部已有十多个业务团队试用“火山方舟”,在代码纠错等研发提效场景,文本分类、总结摘要等知识管理场景,以及数据标注、归因分析等方面进行探索,利用大模型能力促进降本增效。这些内部实践也在快速打磨“火山方舟”,推动平台能力的进一步完善。“火山方舟”的首批邀测企业还包括金融、汽车、消费等众多行业的客户。

谭待坦言,“火山方舟”还在起步阶段,工具链和下游应用插件需要持续完善,平台还将接入更多大模型,并逐步扩大邀测范围,与企业客户共建开放合作的多模型生态,加速大模型在各行各业的应用落地。

THE END
0.大模型定价低于行业价格99%,火山引擎助力车企加速驶入“AI时代”近日,火山引擎举办2024春季Force原动力大会,首次发布了字节跳动自研大模型家族、升级火山方舟大模型服务平台,并联合中国电动汽车百人会、中国一汽等20余家组织、厂商成立汽车大模型生态联盟,探索新一代人车交互形态、提升汽车全场景AI新体验,全方位赋能汽车产业智能化转型。面对智能化带来的颠覆性变革,汽车产业要如何从容应jvzq<84yyy4dpjzvqpkxu7hqo1npw|mkejgoi8724651787:1fkucrqa42852>7:58;48@3jvor
1.“火山方舟”发布构建大模型服务平台6月28日,字节跳动旗下火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等服务。目前,“火山方舟”集成了百川智能、出门问问、智谱AI等多家AI科技公司及科研院所的大模型。 今年以来,云厂商纷纷召开相关产品发布会,而大模型成为吸引关注的重要砝码。3月底和4月初,百度和阿里巴巴先后公布大模jvzq<84hkgre0:5lsmg/exr0ep532;8284?0e?9:626:2@3ujvsm
2.云+AI,火山引擎助力泛互联网行业创新和增长火山引擎AI火山引擎凭借多年的技术沉淀和产品创新,已经形成云基础设施、豆包大模型和方舟2.0的全栈产品体系,可助力企业构建一个可信赖的大模型应用平台,满足企业在 AI 时代下的多元化需求,在数字化转型的道路上加速前行。 火山引擎智能算法负责人、火山方舟负责人吴迪表示,作为云基础设施提供商,火山引擎通过模型效果优化、系统性能强化、成本持续降 jvzquC41pg}t0|npc0ipo7hp1u~04976/2;.4=4fgvgjn6npcyogv};:379827xjvor
3.火山方舟点击查看豆包大模型手把手应用教程与解决方案白皮书 立即查看 最新活动 企业开通最新模型享五折,19.9元限量抢购最新模型千万Tokens 立即秒杀 特惠活动 最新福利 协作奖励计划二期全面升级,免费每日领取单模型最高500万Tokens 立即参与 极速体验火山方舟 极速体验模型 jvzquC41yy}/xxqegpmjpn3eqo5qtxiwev5btt
4.大模型产业,Maas成“风”?朱啸虎模型火山不同模型在不同的场景下,效果是各擅胜场。一个经过良好精调的中小规格模型,在特定工作上的表现可能不亚于通用的、巨大的基座模型,而推理成本可以降低到原来的十分之一。 在这种综合认知下,与其他大模型厂商所走的路径有所不同,火山引擎的切入方式并非是从头自研,而是发布大模型服务平台“火山方舟”,面向企业提供jvzq<84m0uooc7hqo0io1jwvkerfa@9836858>8a3dice=j2f2622:=:sd4ivvq
5.开发者指南|从购买到实战,手把手教你玩转火山方舟CodingPlan它兼容Anthropic API等主流开发环境,让你无需修改现有的集成代码,就能将豆包模型接入。 完美支持Claude Code、veCLI、Cursor、Cline、Codex CLI等主流工具环境,Coding Plan 都能很好地支持,让你在熟悉的工具中调用豆包模型。 稳定可靠的保障: 所有服务均依托火山方舟超大资源池,告别卡顿和排队,为你提供稳定、畅快的算力jvzquC41dnuh0lxfp0tfv8hufpyru}52685bt}neng5eg}fknu527=>73;:9
6.火山方舟大模型智能数据洞察(私有化)火山方舟大模型是特色专区算子中的智能化数据处理工具,支持对接火山引擎大模型服务,通过自定义模型配置、生成策略及角色人设,实现非结构化数据解析、多语言翻译等功能,适用于企业数据智能化处理场景。本文为您介绍如何使用火山方舟大模型。 功能概述 火山方舟大模型算子对接火山引擎大模型服务,可对存储在 TOS 存储桶中的jvzquC41yy}/xxqegpmjpn3eqo5eqlx169871:;237?5
7.DeepSeek+CherryStudio本地部署大模型(简单能用)三、对接火山引擎 豆包 使用抖音号、手机号、头条号注册均可 3.1注册 3.1.1进入控制台 3.2.2 进入火山方舟 点击左上角蓝色区域 点击火山方舟 3.2开通模型 3.3创建接入点 3.3.1创建 3.3.2复制模型ID 四、火山引擎接入cherryStudio 4.1添加模型 4.2接入检查 jvzquC41dnuh0lxfp0tfv8r2a8799;<2;1gsvrhng1jfvjnnu1762=77397
8.方舟招聘方舟招聘招聘AML-火山方舟大模型推理系统工程师 【上海-江湾】 35-65k·15薪 5-10年本科 字节跳动 互联网融资未公开10000人以上 杜女士 HRBP 汉氏方舟东营健康科普中心 【东营-西四路】 20-30k 3-5年大专 东营市优而美生物科技有限公司 专业技术服务1-49人 jvzquC41yy}/nrjrkp4dqv4u19?c6:96eg6ch:f3cd=4c?ih84k1g@hc51
9.豆包大模型应用落地,又有新进展。8月21日,火山引擎在AI创新巡展活搭载火山方舟大模型服务平台,通过火山引擎RTC实现语音数据的高效采集、处理和传输,并深度整合豆包·语音识别模型和豆包·语音合成模型,简化语音到文本和文本到语音的转换过程,火山引擎对话式AI实时交互解决方案,提供优秀的智能对话和自然语言处理能力,帮助应用快速实现用户和云端大模型的实时语音通话。 jvzquC41zwkrk~3eqo522B<86;9748823;>95?>
10.MetaGPT配置各个大模型APImetagpt配置qwen本地部署的大模型我们以OpenAI API为例说明配置过程,其他大模型的API配置过程是相同的。 您可以通过设置 config2.yaml完成配置 使用config2.yaml 在当前工作目录中创建一个名为config的文件夹,并在其中添加一个名为config2.yaml的新文件。 将示例config2.yaml文件的内容复制到您的新文件中。 jvzquC41dnuh0lxfp0tfv8f994916=6;1cxuklqg1fkucrqu13:739<9:2
11.微信小程序接入DeepSeek模型(火山方舟),并在视图中流式输出通过流式输出,DeepSeek模型可以在处理过程中实时地将结果发送给小程序,小程序前端则能够立即接收到这些数据,并在视图中动态展示出来。这样,用户就可以边等待边看到已经接收到的结果,大大提升了用户体验。 本文中的DeepSeek模型为火山方舟(字节跳动火山引擎)中的DeepSeek大模型,当前可以免费使用。jvzquC41dnuh0lxfp0tfv8qhs9<24991ctzjeuj1fgzbkux136;:;A<94
12.大模型加持,火山引擎加速数据价值的“飞轮效应”|火山引擎|字节今年6月,火山引擎推出了大模型服务平台火山方舟,来拥抱大模型时代的到来。在此次大会中,火山引擎数智平台VeDI对数据产品大数据研发治理套件DataLeap和智能数据洞察DataWind进行了升级,以AI加持,降低企业数据消费门槛。 字节跳动数据平台负责人罗旋表示:“无论何种技术赋能,其核心都在于进一步降低业务使用门槛,更好地探索数据jvzq<84m0uooc7hqo0io1jwvkerfa:<;:9=84=h23?14{t{30nuou