Higress 技术词汇表

Token

Token 是大语言模型处理文本的基本单位。模型将输入文本分割成一系列 Token 进行处理，每个 Token 可能是一个单词、子词或字符。Token 数量直接影响 API 调用成本和响应时间。

Large Language Model

LLM（Large Language Model）即大语言模型，是一种基于深度学习的自然语言处理模型，通过海量文本数据训练，能够理解和生成人类语言。代表产品包括 GPT、Claude、通义千问、DeepSeek 等。

Prompt

Prompt 是用户向大语言模型发送的输入指令或问题。高质量的 Prompt 设计（Prompt Engineering）对于获得准确、有用的模型输出至关重要。

AI Agent

AI Agent 是能够自主感知环境、做出决策并执行任务的智能系统。它结合大语言模型的推理能力和外部工具的执行能力，实现复杂任务的自动化处理。

AI Hallucination

幻觉是指大语言模型生成看似合理但实际上不准确、无事实依据或与其训练数据不符的信息的现象。这是由于模型是基于概率预测下一个 Token，而非真正理解事实。

Prompt Engineering

提示词工程是通过设计、精炼和优化输入给 AI 模型的指令（Prompt），以引导模型生成更高质量、更准确输出的技术。它包括结构化提示、少样本引导等多种策略。

Model Routing

模型路由是根据请求的复杂度、成本要求、响应时间或内容类型，动态选择最合适 LLM 的技术。它可以平衡成本与性能，实现 AI 资源的最优利用。

AI Content Safety

AI 内容安全是指对大语言模型的输入（Prompt）和输出（Response）进行审查，识别并拦截违规、有害、色情或敏感内容，确保 AI 应用符合合规要求。

Model Context Protocol

MCP（Model Context Protocol）是 Anthropic 提出的开放标准协议，用于连接 AI 模型与外部数据源和工具。它定义了统一的接口规范，让 AI 应用能够安全地访问各种资源。

Retrieval-Augmented Generation

RAG 是一种将信息检索与文本生成相结合的技术。它先从知识库中检索相关文档，再将检索结果作为上下文输入给 LLM 生成答案，有效减少模型幻觉并提供最新信息。

Embedding

Embedding 是将文本、图像等数据转换为高维向量的技术。这些向量能够捕捉数据的语义信息，使得语义相似的内容在向量空间中距离接近，是实现语义搜索和 RAG 的基础。

Function Calling

Function Calling 是 LLM 与外部系统交互的能力。模型可以根据用户意图，决定调用预定义的函数并生成符合函数签名的参数，实现查询数据库、调用 API 等操作。

Context Window

上下文窗口是 LLM 单次处理的最大 Token 数量限制。它决定了模型能够"记住"多少对话历史和参考信息。更大的上下文窗口支持更长的对话和更多的参考文档。

AI Gateway

AI 网关是专为 AI 应用设计的 API 网关，提供大模型 API 的统一接入、协议转换、流量管理、安全防护和可观测性等能力，是企业 AI 基础设施的核心组件。

API Gateway

API 网关是微服务架构中的统一入口点，负责请求路由、协议转换、认证授权、限流熔断、监控日志等功能。它将后端服务的复杂性对客户端屏蔽，提供统一的 API 访问层。

Rate Limiting

限流是控制 API 请求速率的技术，通过限制单位时间内的请求数量，保护后端服务免受过载，确保系统稳定性和公平的资源分配。常见算法包括令牌桶、漏桶、滑动窗口等。

Load Balancing

负载均衡将流量分发到多个后端服务实例，提高系统的可用性和处理能力。常见策略包括轮询、加权轮询、最少连接、一致性哈希等。

Circuit Breaker

熔断器是一种容错机制，当下游服务出现故障时，自动"断开"请求链路，快速返回错误响应，防止故障蔓延。待服务恢复后自动"闭合"恢复正常调用。

Failover

Failover 是系统在检测到故障时自动切换到备用资源的机制。它确保在主服务不可用时，请求能够自动路由到健康的备用服务，保证业务连续性。

Health Check

健康检查是定期探测后端服务状态的机制，通过主动或被动方式检测服务是否正常运行。不健康的实例会被自动从负载均衡池中移除，防止请求路由到故障节点。

Reverse Proxy

反向代理位于服务器端，接收客户端请求并转发到后端服务器，对客户端隐藏真实服务器地址。它可以实现负载均衡、缓存、SSL 终止、安全防护等功能。

Service Discovery

服务发现是微服务架构中自动检测和定位服务实例的机制。服务启动时注册到注册中心，其他服务通过注册中心获取可用实例地址，实现动态的服务调用。

Canary Release

灰度发布是一种渐进式发布策略，将新版本先部署给一小部分用户，观察运行状态后再逐步扩大范围。它降低了发布风险，支持快速回滚。

gRPC Remote Procedure Call

gRPC 是谷歌开发的现代、高性能、开源的远程过程调用（RPC）框架。它使用 Protocol Buffers 作为接口描述语言和底层序列化格式，支持双向流处理和高效的跨语言调用。

WebSockets

WebSockets 是一种在单个 TCP 连接上进行全双工通信的协议。它允许服务器主动向客户端推送数据，实现实时的交互式 Web 应用。

Observability

可观测性通过度量指标（Metrics）、分布式追踪（Tracing）和日志（Logging）三大支柱，帮助开发者理解复杂系统的运行状态，快速定位生产环境中的问题。

Kubernetes

Kubernetes 是开源的容器编排平台，自动化部署、扩展和管理容器化应用。它提供服务发现、负载均衡、存储编排、自动回滚等能力，是云原生基础设施的事实标准。

Kubernetes Ingress

Ingress 是 Kubernetes 中管理集群外部访问的 API 对象，定义 HTTP/HTTPS 路由规则，将外部流量导入到集群内的 Service。Ingress Controller 负责实现这些路由规则。

Kubernetes Gateway API

Gateway API 是 Kubernetes 新一代的网关标准，相比 Ingress 提供更丰富的路由能力和更清晰的角色分离。它支持 HTTP、TCP、gRPC 等多种协议，是 Ingress 的演进方向。

Envoy Proxy

Envoy 是 CNCF 的高性能边缘和服务代理，专为云原生应用设计。它支持动态配置、丰富的可观测性、高级负载均衡等特性，是 Istio、Higress 等项目的核心组件。

Service Mesh

服务网格是微服务间通信的基础设施层，通过 Sidecar 代理处理服务间的网络通信，提供负载均衡、服务发现、加密、可观测性等能力，将这些关注点从业务代码中分离。

Istio Service Mesh

Istio 是开源的服务网格平台，提供流量管理、安全、可观测性等能力。它由控制平面（istiod）和数据平面（Envoy 代理）组成，是企业级服务网格的首选方案。

WebAssembly

WebAssembly 是一种可移植的二进制指令格式，支持多种编程语言编译。在网关场景中，Wasm 插件可以安全、高效地扩展网关功能，支持热更新且通过沙箱隔离保障安全。

Nacos

Nacos 是阿里巴巴开源的服务发现和配置管理平台，支持动态服务发现、配置管理、DNS 服务等功能，是微服务架构中注册中心和配置中心的流行选择。

Sidecar Pattern

Sidecar 是一种部署模式，将辅助功能（如代理、日志收集）部署为与主应用容器并行运行的独立容器。这种模式实现了关注点分离，无需修改应用代码即可增强功能。

Control Plane

控制平面是分布式系统的"大脑"，负责管理配置、制定路由策略和监控数据平面的状态。它不处理实际的用户业务流量，而是向数据平面下发指令。

Data Plane

数据平面负责实际处理和转发业务流量。它根据控制平面下发的配置，执行路由、过滤、限流、加解密等具体操作。

Custom Resource Definition

CRD 是 Kubernetes 的扩展机制，允许用户定义自己的 API 对象类型。通过 CRD，你可以像使用原生的 Pod、Service 一样，使用 kubectl 管理自定义的业务资源。

JSON Web Token

JWT 是一种紧凑的、URL 安全的令牌格式，用于在各方之间安全地传递信息。它由 Header、Payload、Signature 三部分组成，常用于身份认证和信息交换。

OAuth 2.0

OAuth 2.0 是授权框架的行业标准，允许第三方应用在用户授权下访问其资源，而无需共享用户凭证。它定义了授权码、隐式、密码、客户端凭证等多种授权流程。

OpenID Connect

OIDC 是基于 OAuth 2.0 的身份认证协议，在 OAuth 授权流程上增加了身份层。它提供标准化的用户信息获取方式，是现代单点登录（SSO）的基础。

Mutual TLS

mTLS 是双向的 TLS 认证，不仅服务器向客户端证明身份，客户端也向服务器证明身份。它提供了比单向 TLS 更强的安全保障，是零信任架构的重要组成。

Web Application Firewall

WAF 是保护 Web 应用的安全防护系统，通过分析 HTTP 流量，识别和阻断 SQL 注入、XSS、CSRF 等常见 Web 攻击，是应用安全的重要防线。

API Key

API Key 是一种简单的 API 认证方式，客户端在请求中携带预先分配的密钥来证明身份。它实现简单但安全性较低，适用于内部服务或低风险场景。

SSL Termination

SSL 终止是在网关层解密 HTTPS 流量的技术，网关负责 TLS 握手和加解密，后端服务只需处理明文 HTTP 请求。这简化了后端服务的证书管理，同时允许网关检查和处理请求内容。

Zero Trust Architecture

零信任是一种安全模型，核心原则是"永不信任，始终验证"。它假设网络内外都不安全，每个请求都需要验证身份和权限，最小化攻击面和横向移动风险。