背景痛点：传统 TTS 方案为什么“跑不动”
过去做文本转语音，要么直接调云厂商 API，要么本地跑 VITS/Tacotron2。云 API 按字符计费，一上量就心疼；本地方案更糟：
- 高延迟：单句 3~5 s 起步，串行推理，前端等得原地爆炸。
- 资源碎片化：PyTorch 脚本一把梭，显存随用随申，推理完不释放，GPU 利用率 30% 晃悠。
- 链路黑盒：声学模型 + 声码器两段式，日志各自为政，出问题只能“靠猜”。
一句话：开发效率低、运维成本高，想横向扩容还得重写调度层，实在卷不动。
技术选型：为什么选了 ComfyUI，而不是 Gradio/Streamlit
Gradio/Streamlit 胜在“30 分钟 Demo”，但落地生产就露怯：
- 交互链路固定，难做节点级复用；
- 后端单进程，并发一上来就阻塞；
- 无原生批处理抽象，想加速得自己写 Queue。
ComfyUI 把“Stable Diffusion 那套节点编排”搬到了通用深度学习：
- 节点即模块，输入输出强类型检查，可插义；
- 工作流 JSON 就是 DAG，天然支持并行与缓存；
- 内置 API Server，/prompt 路由一键 POST，前后端彻底解耦。
对 TTS 来说，这意味着“声学模型→声码器→后处理”能被拆成可拖拽的积木，想换 MelGAN 直接替换节点，0 代码侵入。
核心实现：搭一条可量产的语音合成流水线
1. 整体架构
[文本] → TextClean 节点 → VITS 声学节点 → MelGAN 声码节点 → WAV 输出所有节点继承comfyui.nodes.BASE，统一走EXECUTE方法，返回(sample_rate, numpy_array)，下游自动连接。
2. API 网关设计
ComfyUI 自带/api/prompt就是 DAG 执行入口。我们加一层/v1/tts封装：
- 接收 JSON：
{"text":"你好世界","voice":"zh_female","speed":1.0} - 把参数映射到工作流 JSON，动态替换节点字段；
- 返回：
{"audio":"base64_wav","duration":1.24,"rtf":0.031}
这样前端无需感知 ComfyUI，老项目改一行 URL 就能切流。
3. 语音模型节点化封装
以 VITS 为例，核心是把model.infer()包进EXECUTE：
- 输入：
phoneme_ids, speaker_id, length_scale - 输出：
mel_spec - 节点内部用 LRU 缓存已加载模型，显存常驻 1.1 GB → 600 MB；
- 支持多 speaker：节点属性暴露下拉框，前端直接选。
4. 批处理与内存共享
ComfyUI 的BatchInput类型允许一次喂 8 条文本。VITS 节点里把torch.cat拼成(B, T)大矩阵，一次前向，GPU 利用率飙到 95%。
内存共享技巧：
- 声码器输入
mel_spec用torch.float16，显存砍半； - 输出
numpy后立刻.share_memory_()，多进程后端取流无拷贝。
实测：A10 单卡，32 句×10 s 音频，批处理 3.2 s 完成，RTF=0.024，比串行快 12×。
代码示例：工作流 JSON + 自定义节点 + 异步接口
1. 最小工作流模板tts_simple.json
{ "1": { "inputs": {"text": "你好世界", "voice": "zh_female"}, "class_type": "TextClean" }, "2": { "inputs": {"phoneme": ["1", 0], "speaker_id": 107}, "class_type": "VITSInfer" }, "3": { "inputs": {"mel": ["2", 0]}, "class_type": "MelGANVocoder" }, "4": { "inputs": {"audio": ["3", 0]}, "class_type": "SaveAudio" } }2. 自定义 VITS 节点（节选）
# nodes/vits_node.py import torch, os, json from comfyui.nodes.BASE import BaseNode from models import VITSModel # 自己封的 class VITSInfer(BaseNode): def __init__(self): self.cache = {} # 模型缓存 @classmethod def INPUT_TYPES(cls): return { "required": { "phoneme": ("STRING", {"forceInput": True}), "speaker_id": ("INT", {"default": 107, "min": 0, "max": 255}) } } RETURN_TYPES = ("MEL",) FUNCTION = "execute" def execute(self, phoneme, speaker_id): key = f"vits_zh_{speaker_id}" if key not in self.cache: model = VITSModel(speaker_id) model.eval().half().cuda() self.cache[key] = model model = self.cache[key] with torch.no_grad(): mel = model.infer(phoneme) # (1, 80, T) return (mel,)3. 异步推理接口（FastAPI）
# api_server.py from fastapi import FastAPI, BackgroundTasks import httpx, base64, io, soundfile as sf app = FastAPI() async def run_workflow(text: str): # 1. 构造 prompt prompt = json.load(open("tts_simple.json")) prompt["1"]["inputs"]["text"] = text # 2. 提交到 ComfyUI async with httpx.AsyncClient() as client: r = await client.post("http://localhost:8188/api/prompt", json={"prompt": prompt}) prompt_id = r.json()["prompt_id"] # 3. 轮询结果 while True: async with httpx.AsyncClient() as client: r = await client.get(f"http://localhost:8188/api/history/{prompt_id}") history = r.json() if history.get(prompt_id): output = history[prompt_id]["outputs"]["4"]["audio"] break await asyncio.sleep(0.2) # 4. 转 base64 wav, sr = sf.read(io.BytesIO(output)) buf = io.BytesIO() sf.write(buf, wav, sr, format="WAV") return base64.b64encode(buf.getvalue()).decode() @app.post("/v1/tts") async def tts_endpoint(text: str, bg: BackgroundTasks): audio_b64 = await run_workflow(text) return {"audio": audio_b64}性能优化：让 GPU 既跑得快又吃得少
量化部署
VITS Encoder 用torch.quantization.fuse_modules把conv+relu绑一起，再 INT8 权重量化，显存 600 MB → 320 MB，MOS 评测降 0.03，耳朵基本听不出。动态负载均衡
起 4 个 ComfyUI 实例，前端挂 Nginx，按/$http_prompt_id做一致性哈希，保证同一说话人落到同卡，L1 缓存命中率 90%+。显存池化
写了一个CudaPool，推理前pool.acquire()，完事pool.release()，避免 PyTorch 懒释放；同时把 MelGAN 的hann_window预生成并常驻，减少 7% 显存抖动。
压测结果：A10×4，并发 64 路，平均延迟 0.9 s，GPU 内存占用峰值 5.1 GB，比原始方案降 40%，吞吐量翻 3 倍。
避坑指南：别在这些阴沟里翻船
线程安全
ComfyUI 默认单线程执行 DAG，一旦在节点里开torch.multiprocessing会死锁；正确姿势用asyncio.to_thread把 CPU 预处理丢出去。模型热加载
直接del model并不会立刻释放显存，需torch.cuda.empty_cache()+gc.collect()；另外切换 speaker 时先加载新权值再删旧模型，防止空窗 OOM。日志监控
节点里用logger = logging.getLogger(f"comfyui.{__name__}")，统一 JSON 输出；Promtail 收集后 Grafana 展示 RTF、排队长度，告警阈值设 RTF>0.05，提前扩容。
效果展示
下图是我们把整条流水线拖到 ComfyUI 界面的样子：文本节点→VITS→MelGAN→保存，一条线串到底，中间任意插节点就能换模型、加音效，鼠标点点就能复现实验，比写脚本爽太多。
再上一张 4 卡并发压测时的 Grafana 面板：延迟稳定在 1 s 内，GPU 显存像刀削一样平整，强迫症看了极度舒适。
小结与开放讨论
用 ComfyUI 做 TTS 大模型流水线，本质是把“模型-声码器-后处理”拆成可复用积木，再用 DAG 调度器解决并行与缓存。模块化 + 可视化让算法同学专注调模型，工程同学专心写 API，两边互不打扰，效率直接拉满。
当然，新问题也随之而来：批处理提速后，基频预测偶尔出跳点， MOS 掉 0.05；走 INT8 量化，爆破音在高频会有毛刺。——你觉得在实时语音场景里，该如何平衡质量与延迟？欢迎评论区聊聊你的调参玄学或者硬核方案。
