让大模型信得过用得起,火山方舟开辟了新玩法

ChatGPT火爆之后,国内不少企业纷纷发布大模型,百度的文心一言、阿里的通义千问、腾讯的混元大模型和华为盘古大模型……

作为近年来发展速度最快的互联网厂商之一,字节旗下火山引擎虽然看似低调,不过凭借抖音等业务IT资源和基础架构的规模优势,已悄然将业务拓展至外部客户。在大模型领域,与大多数互联网厂商不同,火山引擎采取了“淘金卖水”的商业策略,类似于京东、天猫模式,不仅汇集了一批来自AI创新公司和科研院所的优秀模型,还提供充沛算力、安全互信、企业服务等重要支持。

在最近火山引擎主办和英伟达合作举办的V-Tech体验创新科技峰会上,火山引擎发布大模型服务平台火山方舟,并面向企业提供模型精调、评测、推理等全方位的平台服务。目前,火山方舟集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI等多家AI科技公司及科研院所的大模型,并已启动邀测。

此次发布会上火山方舟产品的确让人眼前一亮。一般来说,企业为了数据安全会希望大模型在本地部署,然而这一模式又会导致大模型供应商的知识产权外漏,大模型的使用方与提供方彼此之间的信任问题势必需要解决。此次大会中,火山公布的大模型安全互信计算方案,有望从根本上解决产业互信的问题,为长期发展做铺垫。

在大模型站在风口的当下,虽然各类模型百花齐放,但如何以成本与效率兼顾的原则,挑选出适合企业本身的模型仍是个不小的学问。这也是为何我们认为火山方舟有很大看点的原因:解决互信问题、帮助企业挑选好适合自己的大模型、结合行业属性精调,让大模型发挥出更大价值,帮助更多企业踏上人工智能的时代快车。

01

应用好大模型将是企业未来的核心竞争力

随着ChatGPT在全球掀起热潮,一时之间其背后的AI大模型风起云涌。

对此,李开复甚至称AI大模型是绝对不能错过的历史机遇。因为这将是有史以来最大的平台革命,它将比Windows、安卓要大10倍甚至更多,它会让每个应用改写,会重新重构人类的工作,会让有创意的那些人的聪明才智被放大10倍或者更多。

在AI1.0的时代,数据集和模型之间较为孤立,需要大量的人工标记工作。然而到了AI2.0时代,超级巨量数据训练将会解决这些障碍,微调后就可以执行五花八门的任务。

根据产业发展规律,新技术发展初期,由于自身因素限制,往往很难形成大规模应用,但是起到了很好的改变市场认知作用,为后续增长空间做出很好的铺垫。而当新技术的限制因素被逐渐解决之后,其在产业的应用便会迅速落地,打开市场空间。

可以看到的是,大模型将会逐步过渡到商业化落地阶段,会在未来会给企业和员工的工作、运营方式带来变革性影响。作为比肩甚至超越移动互联网浪潮的时代机遇,学会用好大模型,将会成为企业和个人在未来的核心竞争力。

直到目前,国内外多家互联网公司都开启了大模型领域的应用布局,产业发展如火如荼。

在海外市场,谷歌I/O上发布一系列生成式AI新进展,包括新一代语言模型PaLM 2、升级AI聊天机器人Bard、生成式AI实验版搜索引擎、Duet AI for Workspace等;微软推出ZeRO++技术,可显著减少AI大模型训练时间和成本;Meta开源多感官大模型,让AI用6种模态体验虚拟世界,为实现元宇宙铺路。

国内的科技企业也没有闲着。百度文心大模型已经迭代到了3.5版本,与3.0版本相比,训练速度提升了2倍,推理速度提升了17倍;腾讯成立了混元助手项目组,由腾讯首席科学家张正友带队研发;阿里发布“通义千问”后,瞄向AI音视频赛道推出“通义听悟”,并且正式开启公测。

当然,市场上有竞争力的玩家并不止于大模型的供应方,还有火山引擎这类做大模型商业平台的创新型选手。火山引擎最初的定位就是将字节内部长期以来沉淀的技术能力和应用工具开放给外部企业。如今,在火山引擎发布的火山方舟大模型服务平台中,提供了面向企业开发者提供大模型精调、评测、推理、干预等全方位的大模型服务,加速大模型应用落地。

对于火山引擎这类采用“淘金卖水”式生意的公司而言,在AI风口下有望迎来更具确定性的增长。

02

企业如何挑选大模型

公开数据统计,自3月以来,国内已有超过20家企业入局大模型赛道,共计发布了79个10亿级参数规模的大模型,产业在短期内迎来了爆发式增长。

我们也可以看到通用大模型并不能解决全部问题,比如ChatGPT对于许多基础问题存在回答“张冠李戴”的现象。同时,由于专业知识训练的语料不够,ChatGPT在专业领域提供的回答通常过于肤浅,甚至经常存在生成质量不稳定、逻辑不连贯、重复或不一致的现象,这会导致回答缺乏可靠性,无法满足专业领域对回答质量的高要求。

因此,对于B端和G端客户来说,垂直大模型是重要的发展方向。通过精调,垂直大模型能够以更低的成本实现更精准的辅助工作。通用大模型更多的是解决80%的通识性问题,要100%解决场景问题必须结合行业属性,这一点在如今越来越成为共识。

比如对于医疗健康行业,容错性很低,模型的准确度可能要达到99%以上才可进入商业化阶段。而如此高的精准度自然是通用大模型无法达到的,将大模型结合行业属性,才是大模型在产业应用商业化落地的良药。

再比如,微软有一个研究团队,他们制作专门为回答医学问题而设计的语言模型——BioGPT。基于GPT-2,研究团队在预训练中使用8个Nvidia V100 GPU进行20万步,而微调则使用单个Nvidia V100 GPU进行32步,然后使用3.57亿个参数进行调整,最终让BioGPT相较于GPT-2而言,展示了更卓越的生物医学内容文本生成能力。

可见,一个经过良好微调训练的小模型,在特定工作上的表现上,甚至会优于一个通用的大基座模型。毕竟对于大多数行业而言,并不需要非常通用的、巨大的基座模型。

除此之外,由于通用大模型不是本地部署,许多问题需要上传到云端之后在异地进行解答,很容易导致企业内部数据泄露。而且对于大多数公司而言,通用大模型给企业带来的成本过高,很多时候百亿级垂直大模型就能满足需求,如果使用千亿级大模型就会造成成本的浪费。

从长期来看,大模型的推理开销会远大于训练开销。大的基座模型推理成本高昂,会倒逼企业选择大模型时更加考虑性价比因素。

最后,国内大模型还在初级阶段,技术流动和发展也非常快,并没有哪家大模型遥遥领先。众多大模型在不同任务上的效果表现各擅胜场,企业不该把业务绑定在一家大模型上,而是应该按照业务场景需求,择优选用不同的模型。

为了全方位支持企业挑选合适与自己的大模型,火山方舟还提供了统一的工作流对接多家大模型提供商,可以帮助企业为不同场景选择最合适的模型,包括大模型精调、评测(效果指标)、推理、干预(内容安全、质量评估)等全方位的专业支持,在基本不改变工作流的情况下可以切换使用多个不同模型。

03

为何要选择火山方舟?

目前,火山方舟集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI等多家AI科技公司及科研院所的大模型,并已启动邀测。

不同于自建应用,去服务企业和C端用户,火山方舟选择了类似于大模型领域的京东或天猫模式,通过汇集了一批来自AI创新公司和科研院所的优秀模型,提供充沛算力、安全互信、企业服务等重要支持。

不同的商业模式所打造出来的差异化服务,也成为企业选择火山方舟的重要原因。

首先,针对安全方面,对于企业而言,非本地部署的大模型会给企业信息安全带来很大隐患。然而,换个角度思考,如果将大模型私有化部署,不但企业将承担更高的成本,模型生产方的知识资产安全也无从保障。

为此,火山方舟在业内首创了安全互信计算,为大模型使用者、提供者和云平台提供可以互相信任的安全保障。

据火山引擎智能算法负责人吴迪介绍,火山方舟已上线了基于安全沙箱的大模型安全互信计算方案,利用计算隔离、存储隔离、网络隔离、流量审计等方式,实现了模型的机密性、完整性和可用性保证,适用于对训练和推理延时要求较低的客户。

会上,吴迪还表示,火山方舟还在探索基于NVIDIA新一代硬件支持的可信计算环境、基于联邦学习的数据资产分离等多种方式的安全互信计算方案,更全面的满足大模型在不同业务场景的数据安全要求。

其次,火山方舟提供了丰富的模型精调和评测支持。吴迪介绍,企业可以用统一的工作流对接多家大模型,对于复杂需求可设置高级参数、验证集、测试集等功能,再通过自动化和人工评估直观对比模型精调效果,在不同业务场景里还可灵活切换不同的模型,实现最具性价比的模型组合。

如此一来,企业可以大幅降低大模型的推理成本,并结合自身业务场景,选择更具性价比的模型。

目前,抖音集团内部已有十多个业务团队试用火山方舟,在代码纠错等研发提效场景,文本分类、总结摘要等知识管理场景,以及数据标注、归因分析等方面探索,利用大模型能力促进降本增效。

火山方舟的首批邀测企业,包括金融、汽车、消费等众多行业的客户。通过抖音的海量数据训练,火山方舟已有能力将沉淀下来的经验、方法为外部客户进行服务。

AI时代,在大模型领域绝不会一家独大,期待火山方舟能以不一样的方式,让更多企业踏上人工智能时代的快车。

THE END
0.大模型定价低于行业价格99%,火山引擎助力车企加速驶入“AI时代”近日,火山引擎举办2024春季Force原动力大会,首次发布了字节跳动自研大模型家族、升级火山方舟大模型服务平台,并联合中国电动汽车百人会、中国一汽等20余家组织、厂商成立汽车大模型生态联盟,探索新一代人车交互形态、提升汽车全场景AI新体验,全方位赋能汽车产业智能化转型。面对智能化带来的颠覆性变革,汽车产业要如何从容应jvzq<84yyy4dpjzvqpkxu7hqo1npw|mkejgoi8724651787:1fkucrqa42852>7:58;48@3jvor
1.“火山方舟”发布构建大模型服务平台6月28日,字节跳动旗下火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等服务。目前,“火山方舟”集成了百川智能、出门问问、智谱AI等多家AI科技公司及科研院所的大模型。 今年以来,云厂商纷纷召开相关产品发布会,而大模型成为吸引关注的重要砝码。3月底和4月初,百度和阿里巴巴先后公布大模jvzq<84hkgre0:5lsmg/exr0ep532;8284?0e?9:626:2@3ujvsm
2.云+AI,火山引擎助力泛互联网行业创新和增长火山引擎AI火山引擎凭借多年的技术沉淀和产品创新,已经形成云基础设施、豆包大模型和方舟2.0的全栈产品体系,可助力企业构建一个可信赖的大模型应用平台,满足企业在 AI 时代下的多元化需求,在数字化转型的道路上加速前行。 火山引擎智能算法负责人、火山方舟负责人吴迪表示,作为云基础设施提供商,火山引擎通过模型效果优化、系统性能强化、成本持续降 jvzquC41pg}t0|npc0ipo7hp1u~04976/2;.4=4fgvgjn6npcyogv};:379827xjvor
3.火山方舟点击查看豆包大模型手把手应用教程与解决方案白皮书 立即查看 最新活动 企业开通最新模型享五折,19.9元限量抢购最新模型千万Tokens 立即秒杀 特惠活动 最新福利 协作奖励计划二期全面升级,免费每日领取单模型最高500万Tokens 立即参与 极速体验火山方舟 极速体验模型 jvzquC41yy}/xxqegpmjpn3eqo5qtxiwev5btt
4.大模型产业,Maas成“风”?朱啸虎模型火山不同模型在不同的场景下,效果是各擅胜场。一个经过良好精调的中小规格模型,在特定工作上的表现可能不亚于通用的、巨大的基座模型,而推理成本可以降低到原来的十分之一。 在这种综合认知下,与其他大模型厂商所走的路径有所不同,火山引擎的切入方式并非是从头自研,而是发布大模型服务平台“火山方舟”,面向企业提供jvzq<84m0uooc7hqo0io1jwvkerfa@9836858>8a3dice=j2f2622:=:sd4ivvq
5.开发者指南|从购买到实战,手把手教你玩转火山方舟CodingPlan它兼容Anthropic API等主流开发环境,让你无需修改现有的集成代码,就能将豆包模型接入。 完美支持Claude Code、veCLI、Cursor、Cline、Codex CLI等主流工具环境,Coding Plan 都能很好地支持,让你在熟悉的工具中调用豆包模型。 稳定可靠的保障: 所有服务均依托火山方舟超大资源池,告别卡顿和排队,为你提供稳定、畅快的算力jvzquC41dnuh0lxfp0tfv8hufpyru}52685bt}neng5eg}fknu527=>73;:9
6.火山方舟大模型智能数据洞察(私有化)火山方舟大模型是特色专区算子中的智能化数据处理工具,支持对接火山引擎大模型服务,通过自定义模型配置、生成策略及角色人设,实现非结构化数据解析、多语言翻译等功能,适用于企业数据智能化处理场景。本文为您介绍如何使用火山方舟大模型。 功能概述 火山方舟大模型算子对接火山引擎大模型服务,可对存储在 TOS 存储桶中的jvzquC41yy}/xxqegpmjpn3eqo5eqlx169871:;237?5
7.DeepSeek+CherryStudio本地部署大模型(简单能用)三、对接火山引擎 豆包 使用抖音号、手机号、头条号注册均可 3.1注册 3.1.1进入控制台 3.2.2 进入火山方舟 点击左上角蓝色区域 点击火山方舟 3.2开通模型 3.3创建接入点 3.3.1创建 3.3.2复制模型ID 四、火山引擎接入cherryStudio 4.1添加模型 4.2接入检查 jvzquC41dnuh0lxfp0tfv8r2a8799;<2;1gsvrhng1jfvjnnu1762=77397
8.方舟招聘方舟招聘招聘AML-火山方舟大模型推理系统工程师 【上海-江湾】 35-65k·15薪 5-10年本科 字节跳动 互联网融资未公开10000人以上 杜女士 HRBP 汉氏方舟东营健康科普中心 【东营-西四路】 20-30k 3-5年大专 东营市优而美生物科技有限公司 专业技术服务1-49人 jvzquC41yy}/nrjrkp4dqv4u19?c6:96eg6ch:f3cd=4c?ih84k1g@hc51
9.豆包大模型应用落地,又有新进展。8月21日,火山引擎在AI创新巡展活搭载火山方舟大模型服务平台,通过火山引擎RTC实现语音数据的高效采集、处理和传输,并深度整合豆包·语音识别模型和豆包·语音合成模型,简化语音到文本和文本到语音的转换过程,火山引擎对话式AI实时交互解决方案,提供优秀的智能对话和自然语言处理能力,帮助应用快速实现用户和云端大模型的实时语音通话。 jvzquC41zwkrk~3eqo522B<86;9748823;>95?>
10.MetaGPT配置各个大模型APImetagpt配置qwen本地部署的大模型我们以OpenAI API为例说明配置过程,其他大模型的API配置过程是相同的。 您可以通过设置 config2.yaml完成配置 使用config2.yaml 在当前工作目录中创建一个名为config的文件夹,并在其中添加一个名为config2.yaml的新文件。 将示例config2.yaml文件的内容复制到您的新文件中。 jvzquC41dnuh0lxfp0tfv8f994916=6;1cxuklqg1fkucrqu13:739<9:2
11.微信小程序接入DeepSeek模型(火山方舟),并在视图中流式输出通过流式输出,DeepSeek模型可以在处理过程中实时地将结果发送给小程序,小程序前端则能够立即接收到这些数据,并在视图中动态展示出来。这样,用户就可以边等待边看到已经接收到的结果,大大提升了用户体验。 本文中的DeepSeek模型为火山方舟(字节跳动火山引擎)中的DeepSeek大模型,当前可以免费使用。jvzquC41dnuh0lxfp0tfv8qhs9<24991ctzjeuj1fgzbkux136;:;A<94
12.大模型加持,火山引擎加速数据价值的“飞轮效应”|火山引擎|字节今年6月,火山引擎推出了大模型服务平台火山方舟,来拥抱大模型时代的到来。在此次大会中,火山引擎数智平台VeDI对数据产品大数据研发治理套件DataLeap和智能数据洞察DataWind进行了升级,以AI加持,降低企业数据消费门槛。 字节跳动数据平台负责人罗旋表示:“无论何种技术赋能,其核心都在于进一步降低业务使用门槛,更好地探索数据jvzq<84m0uooc7hqo0io1jwvkerfa:<;:9=84=h23?14{t{30nuou