作者：望宸 大模型性能的持续提升，进一步挖掘了 RAG 的潜力，突破“检索拼贴”的原始范式。 详见下方“RAG 的定义、优势和常见架构” 这张图近期在国外社区传播比较多，结构化的描述了 RAG 的主流架构。RAG 用于提升大模型的生成效果，使得大模型更加智能，而持续提升的大模型语义和逻辑推理能力，又能更加精准的识别和应用专业知识库。本文将梳理 RAG 的基本信息，旨在获得更加清晰的理解。 目录 + 为什么需要 RAG + RAG 的定义、优势和常见架构 + 还有哪些方式，可以提升大模型的生成结果 + RAG 实践 为什么需要 RAG？ 早期，大模型在进行训练的时...

作者：望宸 随着 DeepSeek R1 和 Qwen2.5Max 的发布，国内大模型推理需求激增，性能提升的主战场将从训练转移到推理。 由于无论是训练还是推理，如何提升性能都是业内讨论最多的话题之一。为什么是性能呢？做过在线业务工程化的人都知道，性能的提升，直接带来的效果有两个： + 计算资源成本的下降，更便宜 + 客户端体验的提升，内容生成更快 在大模型消耗计算资源多、客户端内容流式生成的场景下，性能显得尤为重要。。 推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。...

作者：望宸 因为实时通信已经成了大模型应用的标配。 我们先简单明了的给出了回答，然后再一起重新认识下这两位新时代里的老朋友。 目录 + SSE 和 WebSocket 是什么？ + 大模型应用出现前的主流网络通信协议是什么？ + 为什么大模型应用没有沿用 Web 类应用的主流通信协议？ + 为什么 SSE 和 WebSocket 更适合支持大模型应用？ + 实时通信协议的技术挑战和应对方案 + What's Next？ SSE 和 WebSocket 是什么？ SSE（ServerSent Events，服务器推送事件）是一种基于 HTTP 的网络通信协议，允许服务...

事情经过 OneAPI 是在开源代码托管平台 GitHub 上拥有 2万 Star 的 AI 网关工具，该工具的用户发现安装最新版本镜像后，会固定消耗一定比例的 CPU： 最终定位是 DockerHub 的镜像被投毒，向镜像植入了 XMR 门罗币挖矿脚本，导致 CPU 跑高： 目前可以确认是 DockerHub 的推送密钥泄漏，导致黑客向多个镜像版本植入了挖矿脚本： 因为加密货币行情的火热，近年来挖矿脚本相关的安全事件也呈不断上升趋势，黑客会找一些流行开源项目的 DockerHub 仓库进行攻破。 Palo Alto Network 的安全研究员 Aviv Sa...

背景 1 月 20 日晚，DeepSeek（深度求索）公司发布推理模型 DeepSeekR1 正式版，同步开源模型权重，并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。网友热评：这，才是真正的OpenAI。能力相当于一个月 200 美元的 ChatGPT o1 版本，却完全免费。 同时 DeepSeek 也开放了对应的 API 调用方式，过去依赖 OpenAI 的业务，可以考虑直接迁移到 DeepSeek，节省大量成本。 而 Higress 作为一款开源的 AI 网关工具，可以提供基于灰度+观测的平滑迁移方案： 快速安装 Higress 仅需一行命令，即可快速在本地搭建好...

团队和人员更迭的情况下，不可避免地会出现很多技术债。标准化是一种解决思路，分层、插件、统一技术栈是比较容易落地的路径。 和大部分企业一样，政采云也因各种历史原因，面临着网关上很多的技术债，例如容器网关配置较多，配置方式多样，带来较大的运维压力；5类开源网关并存，协作和迭代成本；业务诉求不断，网关上的业务逻辑越堆越多，风险无法收敛。 01.业务网关的项目背景 由于一些历史的背景，政采云平台在网关建设上遇到一些问题： + 容器网关配置较多，配置方式多样，运维压力较大 配置多，是因为容器网关配置分为服务路由、搭建类路由、return/rewrite类路由不同类型的路由。微服务架构使得服...

在数智化转型的大潮中，国泰产险以其前瞻性的视角，全面拥抱大模型技术，在外呼、客服、内容生成等多个业务场景中实现了大模型的深度应用。 一、引言 在数字化转型的浪潮中，国泰产险以其前瞻性的视角，全面拥抱大模型技术，在外呼、客服、内容生成等多个业务场景中实现了大模型的深度应用。通过引入阿里云云原生 API 网关，国泰产险不仅简化了大模型的接入复杂性，还有效提升了数据安全性和成本管控能力，成为保险行业数智化转型的典范。 二、背景 国泰财产保险有限责任公司（简称“国泰产险”）于 2008 年 8 月 28 日在上海创立。公司注册资本 26.3 亿元，在中国东南沿海和中西部地区多个省市设有分支机构...

作者简介：政采云基础架构团队技术专家 朱海峰(片风) 业务网关项目背景 由于一些历史的背景，政采云平台在网关建设上遇到一些问题： + 容器网关配置较多，配置方式多样，运维压力较大 配置多是因为容器网关配置分为服务路由、搭建类路由、return/rewrite类路由不同类型的路由。微服务架构使得服务数目多，搭建类平台的技术方案导致子域名非常多，网关的配置复杂度就是MXN(M是服务个数，N是域名的个数)，比如子域名个数约400多，服务个数约500多，整个配置量约20w+；搭建类平台子域名单独定义根路径转发，每个页面的分发路径随意填写，导致网关的配置需要支持到每个搭建页面到路径的映射关系...

作者：升学e网通研发部基建团队 公司介绍 杭州铭师堂，是一个致力于为人的全面发展而服务的在线教育品牌。杭州铭师堂秉持“用互联网改变教育，让中国人都有好书读”的使命，致力于用“互联网+教育”的科技手段让更多的孩子都能享有优质的教育，促进他们的全面成长。 成立十余年以来，铭师堂不断汇聚优质的全国各地教育资源，并展开先进科学技术在学校教育智能化领域、学生个性化学习领域的应用研究。杭州铭师堂始终坚守使命，持续创新，“赋能学校、培养学生”，在教育信息化 2.0 趋势下，致力于促进线上教育与线下教育的高度融合，以学校为核心场景，与学校携手共建互联网学习空间，为学校与学生提供学习解决方案，极大促进...