相比起三方提供商模型，自部署模型拥有数据主权、高度定制化、稳定性等优势，适合对于隐私性、垂直场景适配度和长期可控性都要求很高的业务。
今天分享一个超简单、实用的教程，无需任何代码，只需简单 4 步，就能快速通过火山引擎边缘大模型网关调用自部署模型。通过大模型网关实现内网穿透，提供对外域名访问能力，同时对自部署模型轻松实现鉴权、限流、安全、监控等能力！
第一步：添加自部署模型
第一步是将自部署模型添加到边缘大模型网关，这里的“自部署模型”指的是在自己管控的算力环境中私有化部署的模型，一般通过内网或公网提供服务。如果还在探索如何进行模型的本地化部署，下面提供一个通过 Ollama 部署模型的教程。
Ollama 是一个专为本地部署和管理大型语言模型（LLM）设计的开源框架。以部署 Deepseek-R1 模型为例，从 Ollama 官网下载安装包，用 pull 命令从在线模型库中选择 Deepseek-R1 进行下载，这一步需要考虑模型量化文件大小及计算机运行内存。在模型下载完成后，通过 Ollama 直接留空进入对话模式，用斜杠引出命令，或使用 API 方式进行访问即可在本地运行 Deepseek-R1。
将本地部署的 Deepseek-R1 命名为“私有化 Deepseek-R1”，这就是一个部署且运行在本地的私有化大模型了，不仅无需网络即可运行，还可以通过上传本地数据，打造属于自己的“知识库”。如果想通过边缘大模型网关调用“私有化 Deepseek-R1”，并进行全链路的管控，应该怎么操作呢？第一步就是添加自部署模型，以下是详细步骤：
对于仅支持内网访问的自部署模型，边缘大模型网关提供基于远程访问代理的内网穿透方案。您需要在本地或局域网内服务器上运行指定的代理工具（详见第二步），以将内网中的模型服务暴露给边缘大模型网关。
第二步：创建调用渠道
为使边缘大模型网关能够调用您的自部署模型，您需要提供模型的 API 密钥以建立调用渠道。有了 API 密钥，边缘大模型网关即可顺利访问并调用您的模型。
本机服务代理：适用于模型服务部署在本地计算机，只支持内网访问。该模式表示通过代理本地模型服务实现内网穿透，使本地模型服务可通过边缘大模型网关的公网域名远程访问。若选择该模式：1. 需要设置本地端口号（指模型服务的端口）。2. 在调用渠道创建成功后，您还必须在本地计算机上运行指定的代理工具。
本地局域网服务代理：适用于模型服务部署在本地局域网内的某台服务器，只支持内网访问。该模式表示通过代理局域网内模型服务实现内网穿透，使局域网内模型服务可通过边缘大模型网关的公网域名远程访问。若选择该模式：1. 需要设置 IP 地址（指模型服务器的内网 IP 地址）和端口号（指模型服务的端口）。2. 在调用渠道创建成功后，您还必须在模型服务所在局域网内的任意一台服务器上运行指定的代理工具。
在自部署模型列表，调用渠道数字表示一个自部署模型下已创建的调用渠道的数量。以上操作完成后，相应自部署模型的调用渠道数量会增加。您可以单击调用渠道数字，查看和管理（如编辑、删除）自部署模型下已添加的调用渠道。
安装代理工具（适用于本机服务代理或本地局域网代理模式）
如果调用渠道中的模型代理方式是本机服务代理或本地局域网代理，您必须在调用渠道创建成功后安装代理工具，否则边缘大模型网关无法访问您的模型。
本机服务代理模式（参照以下步骤在本地计算机上安装并运行代理工具）：
本地局域网服务代理模式（参照以下步骤在模型服务所在局域网内的任意一台服务器上安装并运行代理工具）：
第三步：绑定调用渠道到网关访问密钥
要访问边缘大模型网关 API，您需要一个网关访问密钥。通过将您的模型调用渠道绑定到一个网关访问密钥，您就可以在使用此网关访问密钥时，选择指定模型作为被调用对象。您可以在创建网关访问密钥时绑定调用渠道，也可以编辑已有网关访问密钥来绑定新的调用渠道。
第四步：使用网关访问密钥
当您的网关访问密钥绑定了自部署模型调用渠道，您在获取此网关访问密钥对应的示例代码时，就可以选择指定模型作为被调用对象。将示例代码集成到您的业务逻辑后，您的边缘大模型网关请求将触发指定模型调用。
END
火山引擎边缘大模型网关采用基于远程访问代理的内网穿透方案，解决自部署模型公网访问难题。您只需在本地或局域网服务器上运行指定的代理工具，即可将自部署模型的访问请求转发至边缘大模型网关的公网域名，实现安全、便捷的远程访问。此外，边缘大模型网关还提供完善的鉴权、限流、安全防护和监控等功能，帮助您全面、精细地管理大模型应用落地，助力大模型应用的全生命周期管理。