携程旅游的 AI 网关落地实践
本文整理自携程旅游研发总监董艺荃在2025中国可信云大会上的分享,董艺荃 GitHub ID CH3CHO,同时也是 Higress 的 Maintainer。分享内容分为以下4部分。
· 大规模应用 AI 技术的过程中遇到了哪些问题
· 网关选型上有哪些考虑
· 落地 AI 网关时,有哪些难点和如何应对的
· 应用成效和未来规划
01 大规模应用 AI 技术的过程中遇到了哪些问题
为了进一步提升服务水平和服务质量,携程很早就开始在人工智能大模型领域进行探索。而随着工作的深入,大模型服务的应用领域不断扩大,公司内部需要访问大模型服务的应用也越来越多,不可避免的就遇到了下面这几个问题...
CH3CHO | 2025-08-25
20年金融投资数据沉淀,正式开放 MCP 能力
作者:李勤
01 如何让大模型金融高效应用落地?
在瞬息万变的⾦融市场中,数据是洞察趋势、发掘价值、精准决策的核⼼驱动⼒。但是获取专业的金融数据服务,存在着诸多挑战。包括:
第一,价格⾛势的波动、政策法规的变化、海量的研究报告、上市公司公告以及层出不穷的市场资讯,共同构成了⼀个巨⼤且错综复杂的信息海洋。
第二,⾦融证券业对数据有着⾼准确、⾼时效、⾼覆盖、⾼合规和⾼稳定等⾼于⼀般⾏业应⽤的要求,仅凭联⽹或模型本身有限的知识极易造成“数据幻觉”。随着⼤型语⾔模型技术在⾦融证券业的快速应⽤,对⾦融数据进⾏及时、准确、⾼效地获取、整合并利⽤成为了⾄关重要却⼜⾯临挑战的核⼼瓶颈点。
第三,⾦融...
CH3CHO | 2025-07-07
自建DeepSeek时代已来,联网搜索如何高效实现
一、开源LLM的新纪元:DeepSeek带来的技术平权
随着DeepSeek等高质量开源大模型的涌现,企业自建智能问答系统的成本已降低90%以上。基于7B/13B参数量的模型在常规GPU服务器上即可获得商业级响应效果,配合Higress开源AI网关的增强能力,开发者可快速构建具备实时联网搜索能力的智能问答系统。
二、Higress:零代码增强LLM的瑞士军刀
Higress作为云原生API网关,通过wasm插件提供开箱即用的AI增强能力:
主要能力矩阵:
联网搜索:实时接入互联网最新信息
智能路由:多模型负载均衡与自动兜底
安全防护:敏感词过滤与注入攻击防御
效能优化:...
CH3CHO | 2025-02-26
大模型应用部署过程中流量管控的常见需求和应对方案
作者:梧同、望宸
背景
目前,和 DeepSeek 相关的需求总结为两类:
+ 因官方 APP/Web 服务经常无法返回结果,各类云厂商、硬件或软件企业提供满血版或蒸馏版的 API + 算力服务,还有不少基于开源+家用计算和存储设备的本地部署方案,以分担 DeepSeek 官方的服务压力。
+ 各行各业开始调用 DeepSeek API 来设计大模型应用,服务于企业内外部,关注应用的构建效率和稳定性。
此前,我们已经针对以上的第一点需求,发布了不少云端和本地的部署;本篇文章,将针对第二点需求,谈谈流量管理层的工程化方案。
DeepSeek 部署
由于 DeepSeek 开源了...
CH3CHO | 2025-02-10
基于API网关践行API First开发实践
作者:泮圣伟(十眠)
API 是连接数字生态系统中各应用的桥梁,是提升企业效率和数字化体验的关键。而 API First 开发模式的核心在于:以 API 为先,将其视为“头等公民”,在构建应用、服务及集成之前,应优先定义并设计 API 及其配套。API First 作为一种相对较新的开发模式,它已逐渐流行并获得业内的广泛认可。尤其是在微服务架构中,随着微服务的持续拆分,API 的数量呈指数级增长,API First 方法的优势与其重要性愈发突出。
什么是API First?
API First 是一种开发模式,它优先于构建应用程序的其他组件,专注于 API 的创建和使用。这意味着首先...
CH3CHO | 2025-02-06
DeepSeek-R1来了,如何从OpenAI平滑迁移到DeepSeek
背景
1 月 20 日晚,DeepSeek(深度求索)公司发布推理模型 DeepSeekR1 正式版,同步开源模型权重,并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。网友热评:这,才是真正的OpenAI。能力相当于一个月 200 美元的 ChatGPT o1 版本,却完全免费。
同时 DeepSeek 也开放了对应的 API 调用方式,过去依赖 OpenAI 的业务,可以考虑直接迁移到 DeepSeek,节省大量成本。
而 Higress 作为一款开源的 AI 网关工具,可以提供基于灰度+观测的平滑迁移方案:
快速安装 Higress
仅需一行命令,即可快速在本地搭建好...
CH3CHO | 2025-01-22
智保未来:国泰产险的 AI 网关革新之旅
在数智化转型的大潮中,国泰产险以其前瞻性的视角,全面拥抱大模型技术,在外呼、客服、内容生成等多个业务场景中实现了大模型的深度应用。
一、引言
在数字化转型的浪潮中,国泰产险以其前瞻性的视角,全面拥抱大模型技术,在外呼、客服、内容生成等多个业务场景中实现了大模型的深度应用。通过引入阿里云云原生 API 网关,国泰产险不仅简化了大模型的接入复杂性,还有效提升了数据安全性和成本管控能力,成为保险行业数智化转型的典范。
二、背景
国泰财产保险有限责任公司(简称“国泰产险”)于 2008 年 8 月 28 日在上海创立。公司注册资本 26.3 亿元,在中国东南沿海和中西部地区多个省市设有分支机构...
CH3CHO | 2024-12-29
政采云业务网关实践——使用Higress统一替代APISIX/Kong/Istio Ingress
作者简介:政采云基础架构团队技术专家 朱海峰(片风)
业务网关项目背景
由于一些历史的背景,政采云平台在网关建设上遇到一些问题:
+ 容器网关配置较多,配置方式多样,运维压力较大
配置多是因为容器网关配置分为服务路由、搭建类路由、return/rewrite类路由不同类型的路由。微服务架构使得服务数目多,搭建类平台的技术方案导致子域名非常多,网关的配置复杂度就是MXN(M是服务个数,N是域名的个数),比如子域名个数约400多,服务个数约500多,整个配置量约20w+;搭建类平台子域名单独定义根路径转发,每个页面的分发路径随意填写,导致网关的配置需要支持到每个搭建页面到路径的映射关系...
CH3CHO | 2024-12-27
铭师堂的云原生升级实践
作者:升学e网通研发部基建团队
公司介绍
杭州铭师堂,是一个致力于为人的全面发展而服务的在线教育品牌。杭州铭师堂秉持“用互联网改变教育,让中国人都有好书读”的使命,致力于用“互联网+教育”的科技手段让更多的孩子都能享有优质的教育,促进他们的全面成长。
成立十余年以来,铭师堂不断汇聚优质的全国各地教育资源,并展开先进科学技术在学校教育智能化领域、学生个性化学习领域的应用研究。杭州铭师堂始终坚守使命,持续创新,“赋能学校、培养学生”,在教育信息化 2.0 趋势下,致力于促进线上教育与线下教育的高度融合,以学校为核心场景,与学校携手共建互联网学习空间,为学校与学生提供学习解决方案,极大促进...
CH3CHO | 2024-12-11