高级SRE工程师（AI推理方向）

关于岗位
我们正在建设面向开发者的 AI 推理服务。你将负责在线服务的可靠性与容量演进，并参与外部模型供应商的接入和运营，推动平台在用户与并发增长时稳定、可控地扩展。
## 你将负责

• 负责 API Gateway、模型编排服务及相关依赖的发布、扩容、监控、值班和事故响应。
• 建立容量模型与压测体系，覆盖长连接/SSE、长耗时请求、单请求多模型扇出、长上下文和突发流量；完善准入、背压、超时、取消和优雅下线。
• 负责模型供应商治理，包括渠道接入、协议验证、账号与配额管理、RPM/TPM/并发测量，以及 429/5xx、熔断和故障切换。
• 与模型团队运营多供应商路由，在质量、延迟、容量和成本之间进行权衡，建设灰度和自动/人工降级能力。
• 建立 SLI/SLO、Dashboard、告警和安全 trace，定位请求、处理阶段及供应商 endpoint 的尾延迟、错误和饱和问题。
• 提升认证、计费与用量链路的可靠性，并推进不可变构建、配置与密钥管理、滚动发布、回滚、备份及 Runbook 自动化。

## 我们希望你具备

• 5 年以上 DevOps、SRE、平台工程或高可用后端经验，有支撑业务增长的实际经历。
• 扎实的 Linux、TCP/HTTP、DNS、TLS、反向代理、负载均衡和进程/容器运行时知识，能够独立诊断网络、资源、应用和外部依赖问题。
• 有高并发 API、长连接或流式服务经验，理解连接数、并发、QPS、吞吐、队列和尾延迟的区别。
• 有外部 API 容量治理经验，能管理并发、RPM/TPM 和配额，并针对 429、5xx、超时及流式中断设计重试、熔断和切换策略。
• 理解单请求调用多个下游带来的流量放大，以及多副本服务对共享外部配额的影响；能设计分层准入和容量预算。
• 熟悉 Prometheus、Grafana、结构化日志或分布式追踪，能够定义有效的 SLI/SLO 和告警。
• 熟悉主流云平台及 Terraform、Ansible 等 IaC 工具，具备容器和 Kubernetes 实践经验。
• 能使用 Python、Go、TypeScript、Rust 或 Shell 中至少一种语言编写可靠的运维工具，并能阅读服务端代码完成跨层排障。

## 加分项

• 运营过 OpenAI、Anthropic、Google、OpenRouter 或其他大模型 API/推理集群，了解不同供应商在协议、流式输出、缓存、限流和错误语义上的差异。
• 做过 AI/API Gateway、服务网格或路由熔断系统，熟悉并发准入、自适应限流和重试风暴。
• 有 Kafka、Redis、MySQL 等依赖的可靠性和容量治理经验，了解 outbox、幂等与 at-least-once 语义。
• 有 GPU 推理、跨区域容灾、分布式配额、FinOps 或 API 用量计费经验。