Higress AI Gateway Background
网关解决方案

通过 AI 网关、API 网关及Himarket,解决模型、工具及Agent统一代理问题,并助力企业构建AI中台,加速AI落地。

Gateway Solution Architecture

场景体验

提供开源版本和商业化产品的两种渠道,一键体验AI应用场景。

多模型代理
阅读时长: 5 分钟

AI 网关能够将外部调用不同大模型的请求,通过统一的调用方式转发到内部对应的大模型上,使得后端模型调度更加灵活;Higress.a i支持常用的 100+ 个模型的统一协议转换,并支持模型级 Fallback。

立即体验
多模型代理
了解详情
AI 网关能够将外部调用不同大模型的请求,通过统一的调用方式转发到内部对应的大模型上,使得后端模型调度更加灵活;Higress.a i支持常用的 100+ 个模型的统一协议转换,并支持模型级 Fallback。
应用防护
阅读时长: 8 分钟

AI 网关能够保护和大模型交互时的数据安全,一方面对于输入到外部模型的数据进行隐私保护,另一方面对于输出给用户的数据进行内容过滤。

立即体验
应用防护
了解详情
AI 网关能够保护和大模型交互时的数据安全,一方面对于输入到外部模型的数据进行隐私保护,另一方面对于输出给用户的数据进行内容过滤。
AI 缓存
阅读时长: 6 分钟

AI 网关支持精确缓存及语义缓存推理的结果上下文,对于常见的相似/重复的问题节省 Token 并减小时延,从而提升调用体验。

立即体验
AI 缓存
了解详情
AI 网关支持精确缓存及语义缓存推理的结果上下文,对于常见的相似/重复的问题节省 Token 并减小时延,从而提升调用体验。
Token 管控
阅读时长: 7 分钟

AI 网关能够对大模型使用的 Token 数量进行追踪,在消费者使用超额时进行限制,从而更好管理调用 AI 应用的用户额度,为 Token 使用分析提供数据支持。

立即体验
Token 管控
了解详情
AI 网关能够对大模型使用的 Token 数量进行追踪,在消费者使用超额时进行限制,从而更好管理调用 AI 应用的用户额度,为 Token 使用分析提供数据支持。