要搞懂这个问题，我们先理清两个核心概念的关系：张量并行（TP）是vLLM把大模型拆到多张GPU上跑的技术，多头注意力（MHA）的head是注意力机制的独立计算单元——TP对MHA的最优拆分方式是「按head均分」，这也是性能最高的方案。
当 head 数量不是 GPU 数量的整数倍时，核心矛盾是“没法均分”，但vLLM已经帮我们做了自动兼容，小白不用慌。下面从“为什么要均分”→“vLLM自动怎么处理”→“手动优化方案”一步步讲透。
一、入门级：先搞懂核心逻辑——为什么TP偏爱head数是GPU的整数倍？
用一个分苹果的类比，小白秒懂：
- 把MHA的head数量比作10个苹果；
- 把TP的GPU数量比作3个小朋友；
- 最优分配是每个小朋友分到一样多的苹果，这样大家一起吃完（计算完成），效率最高。
对应到vLLM的TP原理：
- MHA的head是独立计算的：每个head负责一部分注意力的计算，互相不干扰，天生适合并行拆分；
- TP按head拆分的优势：如果head数是GPU数的整数倍（比如 32个head → 4张GPU），每张GPU分到相同数量的head（8个/卡），计算负载完全均衡，GPU之间的通信开销最小，推理速度最快；
- 非整数倍的问题：比如 32个head → 3张GPU，没法均分（3×10=30，剩2个），必然导致部分GPU分到的head更多，负载不均。
