孙耀武

资深 AI 应用后端 / LLM 工程化方向工程师，专注大模型网关、Agent 工具链与 AI 应用可靠性建设。

核心方向

多模型网关与路由：多供应商统一抽象、有序降级链、Key 池轮询与额度感知容灾。

Agent 工具链：MCP / Tool Calling 接入、权限作用域、人工审批门、失败分类与重试策略。

可靠性工程：流式协议转换（SSE / Anthropic 事件流）、静默失败检测、限流熔断与优雅降级。

成本治理：模型分级路由（分类与摘要走小模型、推理走强模型）、token 预算管理、上下文压缩。

AI 应用工程：RAG 落地、向量检索、结构化输出校验、模型评测与回归验证。

工程项目经验

生产级多模型 LLM 网关：Python / FastAPI / asyncio / httpx，约 11,000 行，对外提供统一模型接口，承载真实线上流量与多客户端接入。其中静默截断检测尤为关键——上游模型在长上下文场景下会返回 HTTP 200、流正常关闭，但缺少 finish_reason、进行中的工具调用未闭合、总输出为零；我的处理是流结束语义校验，判定为失败并抛出真实可重试错误，而非伪装成功交由客户端，从而避免上下文污染与静默卡死。

供应商容灾与配额治理：多 API Key 轮询，单 Key 额度耗尽自动切换，全部付费额度耗尽时回落至免费限速通道；跨供应商熔断器与退避重试，兼顾稳定性与成本。

AI 工具链日常化开发：以 Claude Code 等 Agent 工具作为核心开发基础设施，用 AI 开发 AI 基础设施本身，对工具在真实生产环境下的失败模式有系统性认知与工程化处理经验。

客户端协议兼容：为多类 Agent 框架保住 tool_calls / tool_call_id 等字段契约，修复导致框架中断的边界情况。

协作方式

在职，业余时间可稳定投入每周 20-40 小时，无竞业限制。习惯以书面规格驱动开发，交付带测试与技术文档，沟通直接、有问题第一时间同步。工作方式异步优先，可配合多时区弹性安排。

技术栈

Python、FastAPI、asyncio、httpx、SSE 流式协议、LLM 网关与路由、MCP、Tool Calling、RAG、向量检索、Redis、PostgreSQL、Docker、模型评测与成本优化