大模型容易忽视的安全,火山方舟早就「刻」进了基因

大模型时代,企业使用云上模型的痛点有哪些?

你可能会说模型不够精准,又或者成本太高,但这些随着AI技术的快速发展,在不远的将来或许都不再是问题。

比如成本,自豆包大模型首次将价格带进“厘”时代以来,行业纷纷跟进,企业客户从此不再为使用模型的成本过度高昂而烦扰。在未来,随着行业技术进步,成本或许将越来越不再是问题。

与前述问题比起来,安全是一个容易被大多数人忽视但又极为重要的事项。伴随模型能力的快速发展,企业在使用大模型过程中面临的安全挑战越来越多:从安全漏洞导致的用户数据泄露,到部分公司违规抓取数据,都已经出现相关案例。

企业在使用新技术的同时,必须时刻拧紧安全的阀门,这是关乎企业生存的根基,一点马虎不得。因为一旦发生意外,损失便有可能是致命的。

1、大模型时代的安全挑战

AI正在重塑行业。

自Open AI发布的ChatGPT引领互联网行业进入AI 2.0时代以来,无数企业和AI创业者投身行业。在国内,除了

百度、字节、阿里等传统互联网大公司斥资投入,更是有智谱AI、月之暗面、Minimax等明星创业公司散落其间。

短短两年间,市场似乎已经从早期的莽荒开拓期进入到淘汰期。前段时间,有媒体报道称,国内AI“六小虎”至少有两家已放弃预训练模型。在美国,不少大模型公司都在卖身,仅剩OpenAI、Anthropic、Meta、谷歌,以及马斯克旗下的xAI等公司还在大手笔投入基础大模型的研发。

以某知名生成式对话大模型产品X为例,自发布以来,曾多次被爆出存在安全漏洞。

早在2023年,就有用户爆料X存在明显漏洞,致使少数用户能够看到其它用户与AI对话历史记录的标题。今年5月份,有研究员再次发现上述产品存在的安全漏洞,该漏洞允许黑客在用户的长期记忆设置中存储虚假信息和恶意指令。但当时,相关公司对其报告并没有给予重视,草草结束调查。

同样在2023年,某提供导航服务的公司向当地报案称,发现有人利用技术手段盗取公司服务器内全国的导航地图信息数据,并在论坛售卖,导致公司直接经济损失约21万元。

今年7月,美国某电信巨头披露,客户数据在第三方AI数据云平台发生大规模泄露,超过1亿条用户数据被黑客获得,涉及几乎所有移动客户的通话和短信记录。涉事平台因大量客户遭黑客攻击饱受质疑,该电信巨头只是众多受影响的企业之一。

越来越多的安全事故显示出, 随着AI多模态大模型等新技术普及,用户数据正面临越来越严峻的安全挑战。企业在使用大模型时,不得不更加警示可能存在的潜在安全风险。毕竟,安全无小事。

正因如此,以火山方舟为代表的不少Maas(模型即服务)平台,始终对安全相当重视。火山方舟是火山引擎旗下一站式大模型服务平台,一年多前,刚刚对外发布时,方舟平台就同步上线了基于安全沙箱的大模型安全互信计算方案,利用计算隔离、存储隔离、网络隔离、流量审计等方式,实现模型的机密性、完整性和可用性保证。这也是大模型行业内首创的安全互信机制。

2、把安全「刻」进基因

安全从来都不是一朝一夕的事情。

在同行几乎都卯足劲发展大模型能力时,火山方舟从开始就把安全作为一项基本功能,用最严格的标准要求自己。用火山方舟自己的话说,要保证你的数据,唯你可见,唯你所用,唯你所有。

近期,雷峰网与火山引擎智能算法负责人、火山方舟负责人吴迪进行了近一个小时交流,了解到更多火山方舟为保证客户数据安全做出的不懈努力。

火山方舟平台还没有成型的时候,方舟的团队就在谈安全、隔离、沙箱。可以说,火山方舟从开始就把安全「刻」进了它的基因。正因此,那时就有很多同行来问吴迪为什么如此重视安全。

在火山方舟看来,生成式AI的机会还远没有完全显现,未来的市场容量可能是今天的1000倍,它会渗透到千行万业的核心业务当中,是很多企业核心业务的重要依赖。在这种情况下,一家公司核心业务将离不开大模型,除了追求效果、性价比,数据安全将愈加重要。

另一方面,生成式 AI 的发展将对安全产生更多新的挑战。换句话说,AI 1.0时代的安全方案在生成式AI时代未必可行。过去,为了确保数据的安全,企业的选择经常是数据不动模型动,也就是说很多企业客户会把数据留在自己的私域空间里,请模型服务商把模型部署到自己的私有化空间,但是这一套实践可能在生成式 AI 的时代就行不通了。

其一,私有化大模型很难追随着公有云上最先进的大模型同时升级迭代;其二,私有化大模型所消耗的基础算力的单位价格是远远高于公有云上大模型服务,从性价比角度来讲,公有云上的集中调度更加便宜、更加方便。

在公有云条件下,用户对云上操作不可见,如何让用户充分信任云上数据的安全性始终是一个难题,这也是火山方舟过去一年始终致力于探索解决的问题。

吴迪告诉雷峰网(公众号:雷峰网),火山方舟对安全的代码实践是直接渗透到系统的核心设计中的,包括所有的执行环境、日志审计环境,它是随着系统本身的搭建一起进行的。打个比方,这就好像大厦水泥基柱中的钢筋一样,保证了数据非常高的安全性。相比较而言,部分不那么重视安全的平台,可能会先把大厦建立起来,然后再在外面贴保温层、防护层加固。长期来看,这种模式的大厦是抵御不了台风等恶劣环境的。

不仅如此,火山方舟的安全团队独立于其它团队之外,拥有一批优秀的工程师,随时准备应对内外部的安全测试。字节跳动内部有专门的蓝军攻防系统,随时可能进行各个角度渗透攻击,独立验证火山方舟的安全方案。从日、周、月、到季度,火山方舟几乎都有不同级别的安全演练。

3、如何帮客户实现「会话无痕」

正是基于从开始就把安全当作一项基本功能的理念,以及对生成式AI前景的坚信,火山方舟对安全的投入毫不吝惜,方向也越走越明,研发出一套全周期的安全可信方案。

具体而言,这套方案主要包括四大能力:链路全加密、数据高保密、环境强隔离,以及操作可审计。

如此说来,不少用户大概会感到晦涩难懂,我们不妨稍加展开。

所谓“链路全加密” ,包括网络层传输加密和应用层会话加密方案,简单来讲,它主要用来防止用户数据在传输链路阶段被截获;“数据高保密”保证用户数据仅本人可见;环境强隔离,用于杜绝外部风险入侵、内部数据泄密,就好像一座安全堡垒;“操作可审计”仿佛一座瞭望塔,能够帮助用户查看几乎一切影响其数据资产的操作记录。

整个方案四大能力围绕数据传输、数据使用、数据静态存储等阶段相互协作,共同致力于提升用户在使用模型时的安全性, 为平台提供了全周期的安全能力,最终实现会话无痕(你的数据,唯你可见,唯你所用,唯你所有)的安全目标。

随着大模型普及,企业效率得到提升的同时,对数据安全的需求也在不断迭代更新。

晓多科技是一家智能客服的SaaS企业,围绕大模型做了两款独立产品,其一是通过豆包大模型模拟买家训练新人客服,上岗时间缩短了一半以上。其二是,结合晓多原有的知识库,豆包大模型加成后,在客服接线时针对商品知识问答、商品对比、商品推荐等复杂场景,给人工客服提供副驾驶能力。

晓多科技首席技术官向海直言,他们在为客户提供线服务能力过程中,也要保证访问链路的加密和租户数据的隔离。“这个过程跟方舟思路差不多的,当然,投入肯定没(方舟)那么大。”向海笑着说道。

向海坦言,在没有大模型时,前述产品是很难做出来的。只有有了生成能力,才能大量模拟买家,去与新的客服人员对话。豆包大模型出现以后,特别是,经过半年围绕客户真正需求精调后,客户满意了,产品才能做出来。

从安全角度讲,客户把自己的知识、培训内容、技巧,甚至于流程都固化到产品中,其中一部分变成参数,直接被集成到提示词中。无论是晓多科技,还是他们服务的商家,都非常关心方舟是如何保证这些承载用户知识数据安全性的。

从诞生至今一年多时间,火山方舟一直致力于提高用户数据资产(模型、会话数据、训练数据等)的安全水位。火山方舟负责人吴迪在直播中表示,目前火山方舟已经达到Don't be evil(不作恶)。这意味着,方舟平台能保证除了用户外的任何方一旦做恶(违反方舟的数据安全策略),都能够第一时间被用户或者方舟的安全团队发现并追责。

不过,Don't be evil 只能算是一个基础安全水位。长远而看,Can't be evil 才是火山方舟始终追求的安全目标。吴迪也坦言,信息安全有个特点,只能接近满分,但永远无法达到。

在被问道,与客户接触过程中有没有印象深刻的故事,吴迪开玩笑般说到:“我觉得安全方面没有故事,只有事故。”

但我们反过来想,一直以来,火山方舟都没有发生事故,或许就是最好的故事,也是最朴素的真实。

THE END
0.大模型定价低于行业价格99%,火山引擎助力车企加速驶入“AI时代”近日,火山引擎举办2024春季Force原动力大会,首次发布了字节跳动自研大模型家族、升级火山方舟大模型服务平台,并联合中国电动汽车百人会、中国一汽等20余家组织、厂商成立汽车大模型生态联盟,探索新一代人车交互形态、提升汽车全场景AI新体验,全方位赋能汽车产业智能化转型。面对智能化带来的颠覆性变革,汽车产业要如何从容应jvzq<84yyy4dpjzvqpkxu7hqo1npw|mkejgoi8724651787:1fkucrqa42852>7:58;48@3jvor
1.“火山方舟”发布构建大模型服务平台6月28日,字节跳动旗下火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等服务。目前,“火山方舟”集成了百川智能、出门问问、智谱AI等多家AI科技公司及科研院所的大模型。 今年以来,云厂商纷纷召开相关产品发布会,而大模型成为吸引关注的重要砝码。3月底和4月初,百度和阿里巴巴先后公布大模jvzq<84hkgre0:5lsmg/exr0ep532;8284?0e?9:626:2@3ujvsm
2.云+AI,火山引擎助力泛互联网行业创新和增长火山引擎AI火山引擎凭借多年的技术沉淀和产品创新,已经形成云基础设施、豆包大模型和方舟2.0的全栈产品体系,可助力企业构建一个可信赖的大模型应用平台,满足企业在 AI 时代下的多元化需求,在数字化转型的道路上加速前行。 火山引擎智能算法负责人、火山方舟负责人吴迪表示,作为云基础设施提供商,火山引擎通过模型效果优化、系统性能强化、成本持续降 jvzquC41pg}t0|npc0ipo7hp1u~04976/2;.4=4fgvgjn6npcyogv};:379827xjvor
3.火山方舟点击查看豆包大模型手把手应用教程与解决方案白皮书 立即查看 最新活动 企业开通最新模型享五折,19.9元限量抢购最新模型千万Tokens 立即秒杀 特惠活动 最新福利 协作奖励计划二期全面升级,免费每日领取单模型最高500万Tokens 立即参与 极速体验火山方舟 极速体验模型 jvzquC41yy}/xxqegpmjpn3eqo5qtxiwev5btt
4.大模型产业,Maas成“风”?朱啸虎模型火山不同模型在不同的场景下,效果是各擅胜场。一个经过良好精调的中小规格模型,在特定工作上的表现可能不亚于通用的、巨大的基座模型,而推理成本可以降低到原来的十分之一。 在这种综合认知下,与其他大模型厂商所走的路径有所不同,火山引擎的切入方式并非是从头自研,而是发布大模型服务平台“火山方舟”,面向企业提供jvzq<84m0uooc7hqo0io1jwvkerfa@9836858>8a3dice=j2f2622:=:sd4ivvq
5.开发者指南|从购买到实战,手把手教你玩转火山方舟CodingPlan它兼容Anthropic API等主流开发环境,让你无需修改现有的集成代码,就能将豆包模型接入。 完美支持Claude Code、veCLI、Cursor、Cline、Codex CLI等主流工具环境,Coding Plan 都能很好地支持,让你在熟悉的工具中调用豆包模型。 稳定可靠的保障: 所有服务均依托火山方舟超大资源池,告别卡顿和排队,为你提供稳定、畅快的算力jvzquC41dnuh0lxfp0tfv8hufpyru}52685bt}neng5eg}fknu527=>73;:9
6.火山方舟大模型智能数据洞察(私有化)火山方舟大模型是特色专区算子中的智能化数据处理工具,支持对接火山引擎大模型服务,通过自定义模型配置、生成策略及角色人设,实现非结构化数据解析、多语言翻译等功能,适用于企业数据智能化处理场景。本文为您介绍如何使用火山方舟大模型。 功能概述 火山方舟大模型算子对接火山引擎大模型服务,可对存储在 TOS 存储桶中的jvzquC41yy}/xxqegpmjpn3eqo5eqlx169871:;237?5
7.DeepSeek+CherryStudio本地部署大模型(简单能用)三、对接火山引擎 豆包 使用抖音号、手机号、头条号注册均可 3.1注册 3.1.1进入控制台 3.2.2 进入火山方舟 点击左上角蓝色区域 点击火山方舟 3.2开通模型 3.3创建接入点 3.3.1创建 3.3.2复制模型ID 四、火山引擎接入cherryStudio 4.1添加模型 4.2接入检查 jvzquC41dnuh0lxfp0tfv8r2a8799;<2;1gsvrhng1jfvjnnu1762=77397
8.方舟招聘方舟招聘招聘AML-火山方舟大模型推理系统工程师 【上海-江湾】 35-65k·15薪 5-10年本科 字节跳动 互联网融资未公开10000人以上 杜女士 HRBP 汉氏方舟东营健康科普中心 【东营-西四路】 20-30k 3-5年大专 东营市优而美生物科技有限公司 专业技术服务1-49人 jvzquC41yy}/nrjrkp4dqv4u19?c6:96eg6ch:f3cd=4c?ih84k1g@hc51
9.豆包大模型应用落地,又有新进展。8月21日,火山引擎在AI创新巡展活搭载火山方舟大模型服务平台,通过火山引擎RTC实现语音数据的高效采集、处理和传输,并深度整合豆包·语音识别模型和豆包·语音合成模型,简化语音到文本和文本到语音的转换过程,火山引擎对话式AI实时交互解决方案,提供优秀的智能对话和自然语言处理能力,帮助应用快速实现用户和云端大模型的实时语音通话。 jvzquC41zwkrk~3eqo522B<86;9748823;>95?>
10.MetaGPT配置各个大模型APImetagpt配置qwen本地部署的大模型我们以OpenAI API为例说明配置过程,其他大模型的API配置过程是相同的。 您可以通过设置 config2.yaml完成配置 使用config2.yaml 在当前工作目录中创建一个名为config的文件夹,并在其中添加一个名为config2.yaml的新文件。 将示例config2.yaml文件的内容复制到您的新文件中。 jvzquC41dnuh0lxfp0tfv8f994916=6;1cxuklqg1fkucrqu13:739<9:2
11.微信小程序接入DeepSeek模型(火山方舟),并在视图中流式输出通过流式输出,DeepSeek模型可以在处理过程中实时地将结果发送给小程序,小程序前端则能够立即接收到这些数据,并在视图中动态展示出来。这样,用户就可以边等待边看到已经接收到的结果,大大提升了用户体验。 本文中的DeepSeek模型为火山方舟(字节跳动火山引擎)中的DeepSeek大模型,当前可以免费使用。jvzquC41dnuh0lxfp0tfv8qhs9<24991ctzjeuj1fgzbkux136;:;A<94
12.大模型加持,火山引擎加速数据价值的“飞轮效应”|火山引擎|字节今年6月,火山引擎推出了大模型服务平台火山方舟,来拥抱大模型时代的到来。在此次大会中,火山引擎数智平台VeDI对数据产品大数据研发治理套件DataLeap和智能数据洞察DataWind进行了升级,以AI加持,降低企业数据消费门槛。 字节跳动数据平台负责人罗旋表示:“无论何种技术赋能,其核心都在于进一步降低业务使用门槛,更好地探索数据jvzq<84m0uooc7hqo0io1jwvkerfa:<;:9=84=h23?14{t{30nuou