引言
在音频处理领域，从复杂的声音混合中精准分离出目标声音（如人声、乐器声、环境音效等）一直是技术难点。传统方法往往针对特定场景定制，通用性差、操作复杂。Meta团队推出的SAM-Audio（Segment Anything Model for Audio）打破了这一限制，将“分割一切”的思路延伸到音频领域，成为首个支持多模态提示的通用音频分割基础模型，为音频处理带来了全新的解决方案。
SAM-Audio：音频分割的“全能手”
SAM-Audio是Meta发布的音频分割基础模型，核心能力是基于文本、视觉或时间跨度提示，从任意音频混合中隔离出目标声音。该模型依托Perception-Encoder Audio-Visual（PE-AV）音视频感知编码器构建，同时配套Judge评估模型用于量化分割效果。
从功能来看，SAM-Audio覆盖了多类音频分割场景：无论是用“man speaking”这类文本描述指定目标，还是通过视频帧+掩码的视觉线索定位声音，亦或是标注时间区间锁定声音片段，都能精准完成分割。官方还提供了sam-audio-small/base/large三种尺寸模型，以及针对视觉提示和目标正确性优化的-tv变体，不同模型在语音、音乐、乐器等场景下均展现出优秀的主观评分。
核心创新与优势
1. 多模态提示体系，适配多样化场景
SAM-Audio首次实现了音频分割的多模态提示能力，覆盖文本、视觉、时间跨度三类核心方式：
- 文本提示：支持自然语言描述（推荐小写名词/动词短语格式），无需复杂特征工程；
- 视觉提示：关联视频帧与掩码，实现“看得到的声音”精准分离；
- 时间跨度提示：通过标注时间区间，锁定目标声音的出现时段。
2. 自动化优化策略，兼顾效果与灵活性
- 自动跨度预测：针对非环境音事件，可基于文本描述自动预测目标声音的时间跨度，无需手动标注；
- 候选重排序：生成多个分割候选结果，结合CLAP（文本音频相似度）、Judge（分割质量评估）、ImageBind（视觉音频匹配）模型筛选最优结果，显著提升分割精度。
3. 通用化基础模型，适配多场景落地
不同于传统音频分离模型的场景局限性，SAM-Audio可处理语音、音乐、环境音效、乐器声等多类声音，且提供不同尺寸模型，兼顾性能与部署成本。
技术原理与部署实践
1. 环境准备
SAM-Audio要求Python≥3.11，推荐使用CUDA兼容GPU，依赖安装仅需一行命令：
pipinstall.注意：使用前需在Hugging Face申请模型权重访问权限，通过hf auth login完成认证。
2. 核心代码实现（文本提示示例）
fromsam_audioimportSAMAudio,SAMAudioProcessorimporttorchaudioimporttorch# 加载模型与处理器model=SAMAudio.from_pretrained("facebook/sam-audio-large")processor=SAMAudioProcessor.from_pretrained("facebook/sam-audio-large")model=model.eval().cuda()# 输入配置audio_file="<音频文件路径>"# 支持本地文件或torch张量description="man speaking"# 目标声音描述# 预处理batch=processor(audios=[audio_file],descriptions=[description],).to("cuda")# 音频分割（可选开启跨度预测+重排序）withtorch.inference_mode():# 基础版：无跨度预测# result = model.separate(batch, predict_spans=False, reranking_candidates=1)# 优化版：开启跨度预测+8候选重排序result=model.separate(batch,predict_spans=True,reranking_candidates=8)# 保存结果sample_rate=processor.audio_sampling_rate torchaudio.save("target.wav",result.target.cpu(),sample_rate)# 分离出的目标声音torchaudio.save("residual.wav",result.residual.cpu(),sample_rate)# 剩余背景声音3. 技术原理简析
SAM-Audio的核心是基于PE-AV多模态编码器实现音频与文本/视觉信息的对齐，通过提示词机制定位目标声音的特征表示，再通过分割网络完成音频分离。自动跨度预测模块基于文本描述挖掘音频中的时间特征，重排序机制则通过多模型评估筛选最优分割结果，兼顾精度与召回率。
4. 其他提示方式示例
- 视觉提示：
processor(audios=[video],descriptions=[""],masked_videos=processor.mask_videos([frames],[mask]))- 时间跨度提示：
processor(audios=[audio],descriptions=["car honking"],anchors=[[["+",6.3,7.0]]])该项目及相关内容已 AladdinEdu课题广场同步发布，欢迎前往了解更多技术实现与资源。
项目地址：AladdinEdu课题广场
