国外 up 主让 DeepSeek 跟 ChatGPT 下了一把国际象棋，DeepSeek 借助“孙子兵法”，让 ChatGPT 在优势局面下，直接认输： 如果让两个 AI 在中国象棋上对弈一把，效果会如何呢？话不多说，让我们直接来看看效果： 相比传统基于搜索算法等棋类 AI，至少目前看大模型没有太多优势。不过相比传统 AI，因为大模型可以输出一些聊天对话，会让棋局变得更有趣味性。 如果你对此感兴趣，可以看看下方的实现原理，在你自己的电脑上复现一把。 对弈实现原理 首先找了一个开源的基于终端命令行输出的象棋对弈程序： 因为是基于终端命令行的，棋局也很方便通过...

作者：望宸 大模型性能的持续提升，进一步挖掘了 RAG 的潜力，突破“检索拼贴”的原始范式。 详见下方“RAG 的定义、优势和常见架构” 这张图近期在国外社区传播比较多，结构化的描述了 RAG 的主流架构。RAG 用于提升大模型的生成效果，使得大模型更加智能，而持续提升的大模型语义和逻辑推理能力，又能更加精准的识别和应用专业知识库。本文将梳理 RAG 的基本信息，旨在获得更加清晰的理解。 目录 + 为什么需要 RAG + RAG 的定义、优势和常见架构 + 还有哪些方式，可以提升大模型的生成结果 + RAG 实践 为什么需要 RAG？ 早期，大模型在进行训练的时...

作者：望宸 随着 DeepSeek R1 和 Qwen2.5Max 的发布，国内大模型推理需求激增，性能提升的主战场将从训练转移到推理。 由于无论是训练还是推理，如何提升性能都是业内讨论最多的话题之一。为什么是性能呢？做过在线业务工程化的人都知道，性能的提升，直接带来的效果有两个： + 计算资源成本的下降，更便宜 + 客户端体验的提升，内容生成更快 在大模型消耗计算资源多、客户端内容流式生成的场景下，性能显得尤为重要。。 推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。...

作者：望宸 因为实时通信已经成了大模型应用的标配。 我们先简单明了的给出了回答，然后再一起重新认识下这两位新时代里的老朋友。 目录 + SSE 和 WebSocket 是什么？ + 大模型应用出现前的主流网络通信协议是什么？ + 为什么大模型应用没有沿用 Web 类应用的主流通信协议？ + 为什么 SSE 和 WebSocket 更适合支持大模型应用？ + 实时通信协议的技术挑战和应对方案 + What's Next？ SSE 和 WebSocket 是什么？ SSE（ServerSent Events，服务器推送事件）是一种基于 HTTP 的网络通信协议，允许服务...

事情经过 OneAPI 是在开源代码托管平台 GitHub 上拥有 2万 Star 的 AI 网关工具，该工具的用户发现安装最新版本镜像后，会固定消耗一定比例的 CPU： 最终定位是 DockerHub 的镜像被投毒，向镜像植入了 XMR 门罗币挖矿脚本，导致 CPU 跑高： 目前可以确认是 DockerHub 的推送密钥泄漏，导致黑客向多个镜像版本植入了挖矿脚本： 因为加密货币行情的火热，近年来挖矿脚本相关的安全事件也呈不断上升趋势，黑客会找一些流行开源项目的 DockerHub 仓库进行攻破。 Palo Alto Network 的安全研究员 Aviv Sa...

团队和人员更迭的情况下，不可避免地会出现很多技术债。标准化是一种解决思路，分层、插件、统一技术栈是比较容易落地的路径。 和大部分企业一样，政采云也因各种历史原因，面临着网关上很多的技术债，例如容器网关配置较多，配置方式多样，带来较大的运维压力；5类开源网关并存，协作和迭代成本；业务诉求不断，网关上的业务逻辑越堆越多，风险无法收敛。 01.业务网关的项目背景 由于一些历史的背景，政采云平台在网关建设上遇到一些问题： + 容器网关配置较多，配置方式多样，运维压力较大 配置多，是因为容器网关配置分为服务路由、搭建类路由、return/rewrite类路由不同类型的路由。微服务架构使得服...

问题背景 在大部分基于 Envoy 实现的网关里，都存在这样一个问题，当开启 http2 时，客户端访问会出现偶发的 404，并且可以从日志注意到这些 404 的请求，:authority 头里的域名和 SNI 里的域名不一致。 且在使用泛域名证书，且配置了多个域名的路由的情况下，这个问题特别容易出现。 问题相关的社区 issue： 问题成因 为什么 :authority 头和 SNI 不一致 这个问题涉及到客户端的连接复用机制，对于 http2 来说，连接多路复用的能力是对比 http1 的一个核心差异。特别是对于浏览器场景，尽可能的连接复用，可以在开启 TLS 的场...

11 月 08 日，云原生开源开发者沙龙丨AI 应用工程化专场在杭州顺利举办。现场座无虚席，阿里云一线工程师围绕《构建面向 AI 应用可观测能力》、《Java 开发者如何玩转 AI》、《事件驱动构建 AI 原生应用》、《智启未来：通过 AI 网关快速构建智能应用》4 个当下热门议题深入分享，讲师们的精彩演讲引发了现场开发者的强烈共鸣，并积极参与提问和讨论，现场互动氛围十分热烈。活动最后，现场开发者还通过实操环节进一步巩固了所学知识，整个活动充实而富有成效。点击文末阅读原文课可预约沙龙回放视频。 点击可免费获得杭州站讲师 PPT 合辑 一、精彩回顾 下面就让我们一起回顾本次活动上都...

唯一不变的是变化，在现代复杂的商业环境中，企业的业务形态与规模往往处于不断变化和扩大之中。这种动态发展对企业的信息系统提出了更高的要求，特别是在软件架构方面。为了应对不断变化的市场需求和业务扩展，软件架构必须进行相应的演进和优化。网关作为互联网流量的入口，其形态也在跟随软件架构持续演进迭代中。我们下面就聊一聊网关的演进历程以及在时下火热的AI浪潮下，网关又会迸发怎样新的形态。 网关演进形态概览 软件架构的演进是一个不断适应技术发展和业务需求变化的过程，伴随着软件架构的演进网关的形态也在随之持续迭代，在不同软件架构阶段中网关也呈现其不同的形态。 软件架构的演进是技术发展和业务需求不断推...