电子行业“AI的裂变时刻”系列报告3：为什么H20的推理性价比高？-240317-广发证券-14页_705kb

NVIDIA中国市场定制芯片性能总结：H20与L20的推理表现分析

核心发现

尽管NVIDIA为满足出口管制要求，大幅削弱了H20和L20芯片的算力参数，但在多数推理场景下：

1. 推理性能表现优异：

• H20在多数推理场景（如Llama2-13B模型）中，推理速度为A100的18倍、为H100的11倍。
• L20性能接近L40S，在FP16条件下三组场景下的平均速差仅约2%。

2. 性能优势的关键：

• Decode阶段：H20得益于高显存带宽，显著提升Token生成速度，弥补了算力的不足。
• 多数用户体验：尽管FirstToken延迟较高，但整体响应速度较快（每秒生成≥57个Token），且硬件成本效益更高。

3. 局限性与风险场景：

• 特殊场景（长输入短输出）下，H20的算力劣势会导致延迟显著增加，性能下降较明显。
• 理论计算与实际测试存在误差，需结合具体环境验证，同时需关注大模型架构颠覆或AI应用进展的不确定性。

总结建议

• 适用场景：H20与L20更适合预算受限且主要处理标准推理任务（如语言处理、文本生成）的企业，尤其是开发者与云服务商。
• 需谨慎考虑：对Latency要求极高的场景（如长文本生成、实时交互），更推荐采用H100、A100等高性能芯片。