大语言模型服务管理的实践分享_29页_11mb

总结：大语言模型服务管理的实践

演讲者

• 王夕宁：阿里云容器服务技术研发负责人

主要内容

• 特征与挑战：GenAI/LLM服务管理面临独特的挑战，如请求/响应大小较大、处理时间长、不易缓存和AI感知的流量调度需求。
• 应对思路与方案：包括SSJF调度器（基于Token长度预测）、智能工作负载优先级调度、流量调度管理套件（如令牌桶、权重公平排队）。
• 技术扩展：通过服务网格技术增强AI服务管理，支持声明式API、LLM请求路由（动态调整模型Provider）、安全防护和可观测性（如OpenTelemetry兼容）。
• Model Service Mesh：整合服务网格和模型服务编排，提供统一的GenAI/LLM工作负载管理方式，支持流量路由、安全防护和无感扩展。