跳转到内容
TKE Workshop

Inference on TKE

Inference on TKE

Section titled “Inference on TKE”

!!! warning “建设中” 本章节正在建设中，欢迎贡献内容。

概述

Section titled “概述”

在 TKE 上部署高性能、可扩展的模型推理服务，涵盖推理框架选型、服务部署、性能优化等最佳实践。

学习目标

Section titled “学习目标”
  • 部署 TensorRT/vLLM/Triton 推理服务
  • 配置模型服务的自动扩缩容
  • 优化推理延迟和吞吐量
  • 实现模型版本管理和 A/B 测试
  • 监控推理服务性能
  • 优化推理成本

章节内容

Section titled “章节内容”
章节内容状态
推理框架TensorRT、vLLM、Triton 等框架对比🚧 待建设
服务部署KServe/Seldon Core 部署指南🚧 待建设
LLM 推理大语言模型推理优化🚧 待建设
自动扩缩容基于请求量的弹性伸缩🚧 待建设
性能优化推理延迟和吞吐量优化🚧 待建设
模型管理模型版本管理和 A/B 测试🚧 待建设

相关链接

Section titled “相关链接”

最后更新: 2026-03-05