简介
随着社交媒体视频内容的快速增长，视频摘要已成为多媒体处理中的关键任务。然而，现有方法在捕捉视频内容的全局依赖性及适应多模态用户定制方面仍面临挑战。此外，视频帧之间的时间邻近性并不总是对应语义邻近性。为解决这些难题，提出了一种新颖的语言引导图表示学习网络（LGRLN）用于视频摘要。具体而言，引入了一个视频图生成器，将视频帧转化为结构化图以保留时序顺序与上下文依赖关系。通过构建前向、后向和无向图，该生成器有效保持了视频内容的时序性与上下文关联。设计了带双阈值图卷积机制的图内关系推理模块，能够区分节点间语义相关与无关的帧。此外，所提出的语言引导跨模态嵌入模块可根据特定文本描述生成视频摘要。本文将摘要生成输出建模为伯努利分布的混合形式，并采用EM算法求解。实验结果表明，该方法在多个基准测试中优于现有方案。同时，所提出的LGRLN模型将推理时间与参数量分别降低了87.8%和91.7%。
图1展示了本文的研究动机。针对TVSum和SumMe数据集中标注者之间余弦相似度与汉明距离存在差异的问题，本文方法在EM算法框架内采用加权平均策略，有效提升了生成摘要的标签一致性与语义相关性。
研究动机
现有方法的局限性
视频摘要任务的重要性: 随着社交媒体视频内容的爆炸式增长(YouTube每分钟上传约900小时视频),有效的视频摘要技术变得至关重要。
传统方法面临的三大挑战:
- 难以捕获全局依赖关系: 传统序列模型(RNN/Transformer)在处理长时视频时,难以有效建模全局时间和语义关联
- 缺乏多模态用户定制能力: 现有方法生成通用摘要,无法根据用户的自然语言描述生成个性化摘要
- 时间邻近≠语义邻近: 视频中的镜头跳转、慢动作、特写等操作导致时间相邻的帧在语义上可能不相关
核心技术挑战
论文针对资源受限设备(如智能手机)上的查询引导视频摘要场景,需要解决:
- 计算效率: 在有限计算预算和延迟约束下保证用户体验
- 全局关联捕获: 有效捕获全局时间关系和语义关联
- 个性化定制: 支持基于自然语言的高度个性化摘要生成
- 泛化能力: 在多样化视频场景和用户输入下有效泛化
GNN的优势
相比RNN/Transformer,图神经网络(GNN)具有以下优势:
- 更自然地整合多模态信息(通过异构图)
- 随着边稀疏性增加降低计算复杂度
- 通过节点分类进行视频摘要,提供强解释性
- 适合处理标注多样性问题(一对多映射)
LGRLN模型
LGRLN包含四个核心组件:
- 视频图生成器(Video Graph Generator): 将视频帧转换为前向、后向和无向三种结构化图
- 图内关系推理模块(Intra-graph Relational Reasoning Module): 采用双阈值图卷积机制,区分语义相关和不相关帧
- 语言引导的跨模态嵌入模块(Language-Guided Cross-Modal Embedding Module): 整合自然语言指令生成个性化摘要
- 偏置交叉熵损失(Biased Cross-Entropy Loss): 将摘要输出建模为混合伯努利分布,用EM算法求解
图2. 本文方法的整体架构。视频和文本模态的输入特征通过语言引导跨模态嵌入模块进行融合。融合后的输入由图生成器转换为三个图，随后输入到图内关系推理模块的三个分支中。所有分支的输出通过加法合并以生成模型预测结果。最终，采用二值交叉熵损失函数计算预测值与真实标签之间的总体损失。
具体实现过程
任务定义
视频摘要任务寻找映射 ,输入视频序列,输出子集,确保包含的主要语义信息。
在语言引导设置下,额外输入文本信息控制映射行为:
视频图生成器
与VideoSAGE一致，文中将输入视频序列表示为三种图结构：
- 前向图: 边从早期帧指向后期帧
- 后向图: 边从后期帧指向早期帧
- 无向图: 双向边
节点和边定义:
- 每个视频帧为图中一个节点,特征向量(由GoogLeNet提取)
- 若两帧时间间隔小于阈值,则连接边
将视频序列建模为三种图类型的目的是为了融入更多时序顺序信息。若仅使用无向图，对于任意节点而言，其前一帧与后一帧均会成为其相邻节点。无向图无法明确区分这两帧的时间先后顺序，因此需要添加单向信息流图（如前向图）。引入后向图的原因在于，它能将每帧之后的视频信息传递至当前节点，有助于节点定位自身在整个视频序列中的作用。
图内关系推理模块
（1）图双阈值模块(Graph Bi-Threshold, GBT)
由于图卷积网络在图节点分类任务中表现优异，采用图卷积进行节点分类，从视频图生成器生成的三个图中提取充足特征以生成摘要评分。然而，传统GCN聚合所有邻居信息,但视频中相邻帧可能语义不相关(镜头跳转、慢动作等)。因此，文中提出了图双阈值模块。
变分推断建模: 对节点,定义事件表示是的邻居,后验概率为
为增强鲁棒性,引入强先验: 为三元分布,取值0、或(常数)
聚合函数: 基于余弦相似度的三阈值聚合:
其中聚合权重:
- 低相似度邻居(语义不相邻):权重置0,过滤噪声
- 高相似度邻居:权重
- 中等相似度:权重
迭代函数:
使用GELU激活函数和图归一化(Graph Normalization)
关键帧概率:
其中是最终层的GBT输出
（2）时间嵌入
为保留帧的时序信息,引入时间嵌入:
其中是节点的可学习时间嵌入,动态更新
语言引导的跨模态嵌入模块
传统的跨注意力机制等信息融合方法采用完全可学习的权重进行融合，这种将全部行为交由网络自主学习的模式可能导致可控性缺失。网络行为完全由数据驱动，在数据有限的情况下难以确保网络学到足够鲁棒的策略。因此，通过将文本节点与视频节点整合到异构图中来实现多模态信息融合。通过人工构建异构图边连接，可以显式控制信息融合行为，从而确保网络行为的可控性。
异构图构建: 将自然语言序列也表示为节点,构建异构图:
- 视频节点: 视频帧特征
- 文本节点: BERT提取的token特征
- 每个文本token节点连接到所有视频节点(有向边)
图注意力聚合: 使用注意力机制作为聚合权重:
注意力权重:
通过异构图手动构建边,显式控制信息融合行为,相比全可学习的交叉注意力机制提供更好的可控性和鲁棒性
偏置交叉熵损失(BCE)
动机: 同一视频可能有多个标注者的不同摘要,简单平均会丢失偏好信息
混合伯努利分布建模:
其中表示不同的摘要策略
EM算法求解:
E步: 求解最接近后验概率的:
解析解:
约束条件: ,是与模型输出最接近的真值子集
M步: 优化模型参数:
等价于加权交叉熵:
优势: 使模型输出逼近合理区间的子区域,而非收敛到可能超出合理范围的均值
实验结果分析
传统数据集性能
LGRLN几乎达到人类性能水平，相比非GNN模型有显著提升，在相关性指标上表现最优。
大规模VideoXum数据集
图表示有效捕获时间和上下文关系，双阈值卷积机制智能过滤噪声，显著优于Frozen-BLIP(F1仅16.1)。
多模态QFVS数据集
- 平均F1分数:50.91(QC-DPP 44.19)
- 平均精确率:53.27
- 平均召回率:53.76
在所有4个视频场景中保持强劲且平衡的性能
与大语言模型方法比较
在仅用0.02%参数的情况下达到或超越大模型性能
推理效率分析
与传统模型比较:
- 内存占用: 13.96 MB (PGL-SUM 55.17 MB,减少74.7%)
- 推理时间: 13.87 ms (PGL-SUM 113.79 ms,减少87.8%)
- 参数量: 2.97 MB (PGL-SUM 36.02 MB,减少91.7%)
消融实验分析
完整LGRLN在所有指标上表现最佳，BCE和Temb带来明显改进，多组件深度集成产生协同效应。
分析与总结
本文方法适合资源受限设备(智能手机)部署，支持自然语言引导的个性化摘要生成，在多个基准数据集上达到SOTA性能。计算效率高(推理时间减少87.8%)，内存占用小(参数量减少91.7%)，具有强解释性(图节点分类)和鲁棒泛化能力。局限性在于实际移动设备部署需硬件特定分析(NNAPI/Core ML)，需考虑量化/蒸馏等优化技术，以及运算符可用性和I/O开销待评估。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
