AI 驱动的应用程序开发、部署和运维，给应用带来了新的生命力和想象空间。但大部分开发者对 AI 应用的编程框架、可观测体系、网关架构的设计和使用依旧不太熟练，生产环境下的工程化实践仍不太丰富。为此，Higress 联合 Kubesphere 邀请了深耕 AI 应用工程化的一线研发工程师，分享他们的生产经验。本次活动因场地限制，采取报名审核制度。

11 月 08 日，云原生开源开发者沙龙丨AI 应用工程化专场在杭州顺利举办。现场座无虚席，阿里云一线工程师围绕《构建面向 AI 应用可观测能力》、《Java 开发者如何玩转 AI》、《事件驱动构建 AI 原生应用》、《智启未来：通过 AI 网关快速构建智能应用》4 个当下热门议题深入分享，讲师们的精彩演讲引发了现场开发者的强烈共鸣，并积极参与提问和讨论，现场互动氛围十分热烈。活动最后，现场开发者还通过实操环节进一步巩固了所学知识，整个活动充实而富有成效。点击文末阅读原文课可预约沙龙回放视频。 点击可免费获得杭州站讲师 PPT 合辑 一、精彩回顾 下面就让我们一起回顾本次活动上...

_作者：金峰（项良）、朱永林、赵世振（寰奕）_ 一、公司简介 杭州热联集团股份有限公司成立于 1997 年 10 月，是隶属杭州市实业投资集团的国有控股公司。公司专业从事国际、国内钢铁贸易黑色大宗商品及产业服务，业务品种涵盖钢铁原料、钢铁产品及以铜为主的有色金属等。 2023 年，热联集团实现销售总量 9634 万吨，销售收入 2555 亿元，业绩增长 50%。 20162023 年，公司连续八年蝉联中国钢贸企业百强榜综合榜前三。入选国务院国资委“双百行动”企业名单，以及浙江省政府“凤凰计划”名单，被列入浙江省首批内外贸一体化“领跑者”培育企业。 目前热联集团的网点建设遍布国...

唯一不变的是变化，在现代复杂的商业环境中，企业的业务形态与规模往往处于不断变化和扩大之中。这种动态发展对企业的信息系统提出了更高的要求，特别是在软件架构方面。为了应对不断变化的市场需求和业务扩展，软件架构必须进行相应的演进和优化。网关作为互联网流量的入口，其形态也在跟随软件架构持续演进迭代中。我们下面就聊一聊网关的演进历程以及在时下火热的AI浪潮下，网关又会迸发怎样新的形态。 网关演进形态概览 软件架构的演进是一个不断适应技术发展和业务需求变化的过程，伴随着软件架构的演进网关的形态也在随之持续迭代，在不同软件架构阶段中网关也呈现其不同的形态。 软件架构的演进是技术发展和业务需求不断...

网关承载了业务开发和后端运维的诸多需求，例如路由管理、流量调度、API 管理、入口安全管理等，另外网关侧也需要结合服务治理来保障全链路的稳定性，针对大模型场景，还有例如模型重试&切换、token 配额管理&限流等新需求，这就造成了大部分企业采用多层网关架构，这对性能优化、成本管理、运维监控、故障排查都带来了诸多挑战。因此，统一多层网关架构成了基础架构、运维、开发等团队均会关注的趋势和架构演进选项。 基于此，我们结合阿里自身的网关架构统一实践、服务云上企业客户升级网关架构的经验，开发了这套《统一多层网关架构系列视频教程》，通过该课程，您将体系化了解应用网关的发展趋势和最佳实践。课程配套资料或...

编者按：云原生 API 网关系列教程即将推出，欢迎文末查看教程内容。本文整理自阿里云智能集团资深技术专家，云原生产品线中间件负责人谢吉宝（唐三）的精彩分享。讲师深入浅出的分享了软件架构演进过程中，网关所扮演的各类角色，AI 应用的流量新特征对软件架构和网关所提出的新诉求，以及基于阿里自身实践所带来的开源贡献和商业能力。通过本文，您将收获： + 系统化了解软件架构的演进过程和由此产生的新的业务需求 + 由里及表的认知统一网关架构的优势 + 通义 APP、模型服务灵积灵积、PAI、零一万物、震坤行在 AI 应用上构建网关的实践 一、软件架构的演进过程和新需求 演进历程 首先我们一起回...

作者：聪言 亲爱的开发者们： 我们激动地宣布，Nacos Python SDK——nacossdkpython1.0.0 稳定版正式发布啦！Nacos 从 0.8.0 版本开始就一直参与 Python 生态建设，努力作为 Python 生态中分布式微服务发现和配置管理的解决方案一直往前演进。目前随着 AI 领域的发展，Nacos 社区的 Python 开发者用户越来越多，因此这次我们迭代了 Python 的 GA 稳定版本，对不少历史问题做了修复以及易用性层面的各项兼容优化，帮助大家可以更好的在大模型时代落地自己的业务场景。 一、核心亮点 全面兼容性：支持 Python 2....

作者：程治玮，Higress Reviewer，目前在 SAP 从事可观测性相关工作 一、前言 什么是 AI Gateway AI Gateway 的定义是 AI Native 的 API Gateway，是基于 API Gateway 的能⼒来满⾜ AI Native 的需求。例如： + 将传统的 QPS 限流扩展到 token 限流。 + 将传统的负载均衡/重试/fallback 能力延伸，支持对接多个大模型厂商 API，提高整体稳定性。 + 扩展可观测能力，支持不同模型之间效果的对比 A/B Test，以及对话上下⽂链路 Tracing 等。 Higress 是阿⾥云开源...

一、前言什么是 Prompt Engingering提示工程（Prompt Engingering），也被称为上下文提示（InContext Prompting），指的是通过结构化文本等方式来完善提示词，引导LLM输出我们期望的结果。通过提示词工程可以在不更新模型权重的情况下，让LLM完成不同类型的任务。面对同样一个问题，为LLM设置不同的提示词，能够得到不同的回答结果。我们可以通过对Prompt的优化提升LLM的回答精度。例如：点击图片可查看完整电子表格什么是 AI GatewayAI Gateway的定义是AI Native的API Gateway，是基于API Gateway的能⼒来满...