_作者：金峰（项良）、朱永林、赵世振（寰奕）_ 一、公司简介 杭州热联集团股份有限公司成立于 1997 年 10 月，是隶属杭州市实业投资集团的国有控股公司。公司专业从事国际、国内钢铁贸易黑色大宗商品及产业服务，业务品种涵盖钢铁原料、钢铁产品及以铜为主的有色金属等。 2023 年，热联集团实现销售总量 9634 万吨，销售收入 2555 亿元，业绩增长 50%。 20162023 年，公司连续八年蝉联中国钢贸企业百强榜综合榜前三。入选国务院国资委“双百行动”企业名单，以及浙江省政府“凤凰计划”名单，被列入浙江省首批内外贸一体化“领跑者”培育企业。 目前热联集团的网点建设遍布国内...

作者：程治玮，Higress Reviewer，目前在 SAP 从事可观测性相关工作 一、前言 什么是 AI Gateway AI Gateway 的定义是 AI Native 的 API Gateway，是基于 API Gateway 的能⼒来满⾜ AI Native 的需求。例如： + 将传统的 QPS 限流扩展到 token 限流。 + 将传统的负载均衡/重试/fallback 能力延伸，支持对接多个大模型厂商 API，提高整体稳定性。 + 扩展可观测能力，支持不同模型之间效果的对比 A/B Test，以及对话上下⽂链路 Tracing 等。 Higress 是阿⾥云开源的...

一、前言什么是 Prompt Engingering提示工程（Prompt Engingering），也被称为上下文提示（InContext Prompting），指的是通过结构化文本等方式来完善提示词，引导LLM输出我们期望的结果。通过提示词工程可以在不更新模型权重的情况下，让LLM完成不同类型的任务。面对同样一个问题，为LLM设置不同的提示词，能够得到不同的回答结果。我们可以通过对Prompt的优化提升LLM的回答精度。例如：点击图片可查看完整电子表格什么是 AI GatewayAI Gateway的定义是AI Native的API Gateway，是基于API Gateway的能⼒来满⾜...

作者：邢云阳，Higress Contributor 一、前言 什么是 AI Agent 随着大模型技术的快速发展，越来越多的公司在实际业务中落地了大模型应用。但是人们逐渐发现了大模型能力的不足。例如：由于大模型的训练数据是有限的，因此一些垂直领域的知识，如金融，医疗等等，大模型无法回答，或者容易出现幻觉。并且随着业务的复杂度提高，如何能让大模型像人一样思考，深度的分析解决问题，也对大模型的理解力提出了挑战。在这样的背景下，业界提出了AI Agent的概念。AI Agent中文翻译成智能体，旨在让大模型像人脑一样思考问题，通过在思考过程中的不断反馈以及工具的调用，最终实现逐步完成给...

作者澄潭、望宸一、前言网关在网络通信中扮演着诸多角色，包括数据转发、协议转化、负载均衡、访问控制和身份验证、安全防护、内容审核，以及服务和 API 颗粒度的管控等，因此常见的网关种类有流量网关、安全网关、微服务网关、API 网关等。在不同语义下，网关的命名也会有所不同，例如 K8s 体系下，有 ingress 网关，在 Sping 体系下，有 Spring Cloud Gateway。但不论如何命名，网关的管控内容几乎都离不开流量、服务、安全和 API 这 4 个维度，只是功能侧重不同、所遵循的协议有差异。另外，随着互联网从 Web 2.0 迈进到 AI 时代，用户和互联网的交互方式，AI 时...

作者：古建国 一、关于美洽 美洽作为全球智能云客服服务商，10 年来深耕智能客服领域，旗下拥有在线客服、呼叫中心、客服机器人、工单系统、语音机器人等智能客服系列产品矩阵，覆盖不同行业客户服务场景，致力于帮助企业获客、销售和服务场景的效率提升。目前，美洽全链路产品已经服务超过 40 万家企业客户，覆盖互联网软件、教育培训、医疗、电子商务、金融、生活服务和房地产等行业领域。 二、需求背景 1. 多条业务线使用了了不同编程语言，在微服务化演进的路上困难重重； 2. 历史架构使用多个流量转发中间件导致流量路径冗长、复杂且故障排查困难（LB + OpenResty + Nginx + Cadd...

OpenAI 国内停服，除了各个大模型厂商提供的迁移方案外，是否有其他更平滑的迁移方案呢？本文以 OpenAI 切换到通义千问为例，介绍开源网关 Higress 的应对方案。优势是： 默认按照模型价格和能力进行了合理映射，且支持用户自定义调整配置 可以通过 OpenAI 的统一协议对接多种大模型，屏蔽实现细节，降低接入新大模型的 API 适配成本 Higress 可以提供 token 限流插件、内容审核插件，通过网关的工程化能力实现业务收益 实操视频 步骤介绍 准备工作：需要登陆阿里云 第一步：启动 Higress AI 网关 Higress 有多种部署方式，例如...

作者介绍：Sealos 创始人，环界云计算 CEO 方海涛Sealos 公有云_（https://cloud.sealos.io）_几乎打爆了市面上所有主流的开源网关，本文可以给大家很好的避坑，在网关选型方面做一些参考。 Sealos Cloud 的复杂场景 Sealos 公有云上线以来，用户呈爆发式增长，目前总共注册用户 8.7w，每个用户都去创建应用，每个应用都需要有自己的访问入口，就导致整个集群路由条目非常巨大，需要有支撑数十万条 Ingress 的能力。另外，在公网提供共享集群的服务，对多租户要求极为苛刻，用户之间的路由必须不能相互影响，需要非常好的隔离性，以及流量控制能力。公有...

作者：赵伟基，力铭，澄潭 OpenKruiseGame（下文简称：OKG）是一个面向多云的开源游戏服Kubernetes工作负载，是CNCF工作负载开源项目OpenKruise在游戏领域的子项目，其提供了热更新、原地升级、定向管理等常用的游戏服管理功能。而游戏作为典型的流量密集型场景，在吞吐量、延迟性能、弹性与安全性等方面对入口网关提出了很高的要求。 Higress是基于阿里内部两年多的 Envoy 网关实践沉淀，以开源Istio与Envoy为核心构建的下一代云原生网关。Higress实现了安全防护网关、流量网关、微服务网关三层网关合一，可以显著降低网关的部署和运维成本。Hi...