Linly-Talker：支持图片上传的AI数字人对话系统

Linly-Talker：支持图片上传的AI数字人对话系统（一站式全栈解决方案，支持实时语音交互与任意图像驱动）

欢迎访问项目仓库并点亮 ⭐ 支持我们：GitHub - Linly-Talker

B站持续更新演示视频，直观展示效果 → 点击查看

你有没有想过，只需一张照片和一段语音，就能让任何人的“数字分身”开口说话？在虚拟主播、智能客服、个性化内容创作日益普及的今天，Linly-Talker正在把这种设想变为现实。

这不仅仅是一个技术玩具，而是一套真正可用的全栈式 AI 数字人对话系统。它将大型语言模型、语音识别、语音合成、面部动画生成等前沿技术无缝整合，构建出一个从输入到输出完全闭环的智能体交互平台。用户无需编写代码或部署复杂环境，通过简洁的 Web 界面即可完成整个流程。

更关键的是——它支持任意人脸图像上传。无论是明星、老师、亲人，还是你自己，只要有一张清晰正面照，就能驱动生成口型同步、表情自然的“会说话头像”。

核心能力：不只是“动嘴”，而是“有思想地表达”

传统数字人系统往往停留在“嘴皮子对得上”这一层，但 Linly-Talker 的目标是让数字人真正具备“理解—思考—回应”的完整能力链。

从一张图开始：SadTalker 驱动的真实感说话头

系统采用 CVPR 2023 提出的 SadTalker 模型作为核心视觉引擎。该模型仅需一张静态人脸图像，即可生成具有丰富微表情和精确唇形同步的动态视频。

其工作流程如下：

1. 人脸特征提取：使用 DECA 模型分析输入图像的关键点、三维结构与皮肤纹理。
2. 音频驱动运动：通过 Audio2Motion 网络将 TTS 输出的语音频谱映射为面部动作参数。
3. 高保真渲染：结合 Face-Detailer 技术增强细节，并利用 GFPGAN 进行人脸修复，确保最终画质清晰自然。

所有预训练权重可通过脚本一键下载：

bash bash scripts/download_models.sh

包括SadTalker_V0.0.2_256.safetensors、mapping_00109-model.pth.tar及 GFPGAN 模型。

输出视频默认保存在results/目录下，格式为 MP4，可直接用于发布或嵌入网页。

值得一提的是，系统引入了人脸特征缓存机制：对于同一张输入图像，首次处理后会自动缓存 landmarks 和 matting 结果，后续调用无需重复计算，响应速度提升约 40%。

听懂你说什么：Whisper 实现高鲁棒性 ASR

语音输入方面，采用 OpenAI 开源的 Whisper 模型进行自动语音识别。它不仅支持中英文混合识别，还具备出色的噪声抑制能力，在非理想录音环境下仍能保持较高准确率。

推荐使用base或medium模型以平衡性能与延迟：

import whisper model = whisper.load_model("base") result = model.transcribe("audio.wav") print(result["text"])

为了优化资源占用，系统实现了模块懒加载策略——ASR 模块仅在用户点击语音输入时才被激活，冷启动时间减少 60% 以上。

让TA用自己的声音说话：Edge-TTS + 语音克隆双模式

文本转语音（TTS）部分提供两种选择：

• 默认方案：基于微软 Edge-TTS 引擎，发音自然流畅，支持多种语言和音色，如zh-CN-XiaoxiaoNeural。

bash edge-tts --text "你好，我是你的AI助手。" \ --voice zh-CN-XiaoxiaoNeural \ --rate=+10% \ --output output_audio.mp3

• 进阶方案：集成 So-VITS-SVC 或 YourTTS 框架实现语音克隆。只需提供约 30 秒的目标人物音频样本（.wav），即可训练轻量级声学模型，复刻其独特音色。

这意味着你可以打造一个“说你想说的话、用你熟悉的声音、长着你喜欢的脸”的专属数字人形象。比如用已故亲人的老录音训练音色模型，生成一段温暖的新年祝福视频——技术在此刻有了温度。

相关训练脚本位于/src/voice_cloning/，支持端到端推理接口调用。

赋予“大脑”：多大模型自由切换的认知核心

如果说语音和画面是躯壳，那 LLM 就是 Linly-Talker 的灵魂。系统设计上充分考虑灵活性，支持三种主流大模型接入方式，可根据实际资源情况自由切换。

✅ 本地部署中文增强模型：Linly-AI / Qwen

来自深圳大学数据工程国家重点实验室的Linly-AI是基于 LLaMA-2 构建的中文增强版模型，特别优化了中文语义理解和对话连贯性。

git clone https://huggingface.co/Linly-AI/Chinese-LLaMA-2-7B-hf

Python 加载示例：

from llm import Linly llm = Linly(mode='offline', model_path="./Chinese-LLaMA-2-7B-hf") response = llm.generate("请介绍一下你自己")

此外也集成了阿里云推出的高性能开源模型Qwen（通义千问），支持从 1.8B 到 72B 多种参数版本，适合不同算力场景。

from llm import Qwen llm = Qwen(mode='offline', model_path="Qwen/Qwen-1_8B-Chat") answer = llm.generate("解释一下什么是人工智能？")

这类本地部署方案适合注重隐私保护或需要离线运行的企业级应用。

✅ 云端调用更强逻辑：Gemini-Pro API

若追求更高的知识广度与推理能力，可启用 Google 的Gemini-Pro模型，借助其强大的多模态理解能力应对复杂问答任务。

from llm import Gemini llm = Gemini( model_path='gemini-pro', api_key='your_api_key_here', proxy_url=None # 如需代理可设置 ) answer = llm.generate("帮我写一首关于春天的诗")

注意：此模式需联网调用，请妥善保管 API 密钥。

在app.py中，只需简单注释切换即可更换主引擎：

# 选择其中一个启用： # llm = Gemini(model_path='gemini-pro', api_key='xxx') # llm = Qwen(mode='offline', model_path="Qwen/Qwen-1_8B-Chat") llm = Linly(mode='offline', model_path="./Chinese-LLaMA-2-7B-hf")

这种插件化架构极大提升了系统的可维护性和扩展性。

工程实践中的性能优化细节

为了让这套复杂的多模态系统能在消费级设备上流畅运行，我们在底层做了大量针对性优化。

这些优化均已集成至主干代码，用户无需手动配置即可享受更佳体验。

例如，原先生成一段 10 秒视频平均耗时接近 90 秒（RTX 3060），经过优化后已压缩至 50 秒以内，且内存占用下降近 30%。

用户交互设计：Gradio 打造零门槛入口

很多人误以为搭建 AI 数字人必须懂前端、会运维。但在 Linly-Talker 中，这一切都被简化成了一个 Python 文件。

我们使用 Gradio 构建交互式 Web 界面，实现了真正的“零前端开发”。几行代码就能定义完整的 UI 组件：

with gr.Blocks() as demo: gr.Markdown("# 🤖 Linly-Talker - 上传图片与AI对话") with gr.Row(): image_input = gr.Image(type="filepath", label="上传人物图像") text_input = gr.Textbox(placeholder="请输入你想说的话...", label="文本输入") audio_input = gr.Audio(source="microphone", type="filepath", label="语音输入") video_output = gr.Video(label="生成的数字人视频") btn = gr.Button("生成回答") btn.click(fn=generate_response, inputs=[image_input, text_input, audio_input], outputs=video_output)

启动服务后，程序会自动弹出本地链接（http://localhost:7860），也可添加--share参数生成公网可访问地址，方便远程调试或分享演示。

更重要的是，Gradio 支持流式输出，LLM 回答可以逐字显示，视频生成进度也能实时反馈，大大增强了用户的参与感和可控性。

快速上手：三步开启你的数字人之旅

1. 环境准备

建议使用 Conda 管理依赖：

conda create -n linly python=3.8 conda activate linly

安装 PyTorch（CUDA 11.3）：

pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 \ --extra-index-url https://download.pytorch.org/whl/cu113

无 GPU 设备可安装 CPU 版本：

pip install torch torchvision torchaudio

最后安装其余依赖：

conda install ffmpeg -y pip install -r requirements_app.txt

2. 下载模型

运行一键脚本获取所有必需模型：

bash scripts/download_models.sh

如有本地 LLM 需求，还需单独克隆对应模型仓库。

3. 启动服务

• 基础对话界面：
  bash python app.py

• 支持图片上传的增强版：
  bash python app_img.py

打开浏览器访问http://localhost:7860即可开始体验。

典型应用场景：不止于“好玩”

虽然技术本身令人兴奋，但我们更关注它能解决哪些真实问题。

教育讲解自动化

想象一下，某位资深教授因身体原因无法继续授课，学校可以将其过往讲课视频中的语音样本用于训练语音克隆模型，再结合一张高清肖像，生成新的教学视频。学生看到的是熟悉的面孔和声音，听到的是由大模型生成的最新知识点讲解——知识得以延续。

企业级数字员工

银行、电信运营商等机构可部署统一形象的 AI 客服代表。客户拨打热线时，不仅能听到专业解答，还能通过 App 查看“数字柜员”面对面讲解业务流程。结合 RAG 技术，还能实现精准的知识库检索与回复，显著降低人工坐席压力。

情感化陪伴与纪念影像

用户上传亲友照片，配合情感化 LLM 与语音克隆，创建“会说话”的纪念视频。可用于生日祝福、节日问候，甚至帮助失独家庭缓解思念之情。技术在这里不再是冷冰冰的工具，而是承载情感的媒介。

跨文化传播利器

支持中英双语自动切换，同一段内容可快速生成不同语言版本的讲解视频。跨国企业做产品发布、政府机构做外宣时，能大幅降低本地化成本。

部署建议：适配多样化的运行环境

对于高并发需求，建议将核心功能封装为 RESTful API，并搭配 Nginx 做负载均衡，实现横向扩展。

展望未来：每个人都能拥有自己的“数字分身”

我们正站在一个转折点上：AI 不再只是辅助工具，而是逐渐成为个体意识的延伸。Linly-Talker 的意义，不仅在于降低了数字人制作的技术门槛，更在于它赋予普通人掌控自己“数字存在”的能力。

也许不久的将来，你会拥有一个长期学习你思维模式、说话风格、行为习惯的 AI 分身。它可以替你在会议上发言、帮你回复邮件、甚至在你休息时代为社交。而这一切的起点，可能就是今天你上传的一张自拍照。

“技术应该服务于人，而不是让人去适应技术。”
—— Linly-Talker 开发团队

👉立即体验：GitHub 仓库
🎬观看演示：B站视频
💬加入交流群：扫描 README 中二维码获取社区支持

让我们一起，开启 AI 数字人的新时代！