目录
10.3.1 最大熵与指数族分布
1. 最大熵原理：最谨慎的推理原则
2. 指数族分布：最大熵原理的数学解
3. 指数族分布的优美性质
4. 在计算广告中的核心应用
5. 总结：从原则到实践的桥梁
10.3.2 混合模型和EM算法
1. 混合模型：用简单组件构建复杂现实
2. 参数估计的困境与隐变量的引入
3. EM算法：在“已知”与“未知”间优雅迭代
4. 在计算广告中的核心应用
5. 总结：从模糊到清晰的学习范式
10.3.3 贝叶斯学习
1. 核心思想：从先验信念到后验知识
2. 共轭先验：数学上的优雅便利
3. 贝叶斯学习的三大优势
4. 近似推断：应对现实世界的复杂性
5. 在计算广告中的具体应用
6. 总结：一种更完备的建模世界观
10.3.1 最大熵与指数族分布
在构建概率模型来描述广告系统中的不确定性（如用户点击、转化的概率）时，我们面临一个根本问题：在已知部分信息（约束）的情况下，应该如何选择最“合理”的概率分布？最大熵原理给出了一个优雅而深刻的答案：选择那个在满足所有已知约束的条件下，不确定性最大（即熵最大）的分布。而这样得到的分布，恰好具有一个统一的数学形式——指数族分布。
1. 最大熵原理：最谨慎的推理原则
熵 H(p)=−∑xp(x)logp(x)H(p)=−∑xp(x)logp(x) 是信息论中度量随机变量不确定性的指标。熵越大，不确定性越高。
最大熵原理认为：当我们试图对一个随机过程进行建模时，在所有与已有知识（即约束条件）一致的模型中，应该选择熵最大的那个。这是因为任何其他选择都意味着我们在模型中加入了额外的、没有根据的假设。最大熵模型是最保守、最客观的模型，它只反映我们已知的信息，而对未知部分保持最大的中立性。
一个简单例子：假设一个掷骰子的随机变量有6个面。如果我们一无所知，那么最大熵分布就是均匀分布 p(x=i)=1/6p(x=i)=1/6。如果我们知道“点数的期望值是3.5”，那么最大熵原理会在满足 ∑i⋅p(i)=3.5∑i⋅p(i)=3.5 的条件下，最大化熵。求解（使用拉格朗日乘子法）得到的分布会是指数形式，其中某些点数（如3和4）的概率会比均匀分布稍高，而1和6的概率稍低，但整体仍然是“最均匀”的满足该约束的分布。
2. 指数族分布：最大熵原理的数学解
形式上，假设我们有关于随机变量 xx 的 KK 个约束，表示为特征函数 fk(x)fk(x) 的期望值等于观测到的经验期望 E~[fk]E~[fk]：
那么，满足这些约束的最大熵分布 p(x)p(x) 具有如下形式：
其中 λ=(λ1,…,λK)λ=(λ1,…,λK) 是拉格朗日乘子，对应每个约束的“强度”，
是归一化常数（配分函数）。
这个形式就是指数族分布的标准形式。将其一般化，指数族分布的概率密度/质量函数可写为：
其中：
ηη 是自然参数，对应上面的 λλ。
T(x)T(x) 是充分统计量，对应上面的特征函数向量 f(x)f(x)。它包含了关于参数 ηη 的全部信息。
A(η)=logZ(η)A(η)=logZ(η) 是对数配分函数，保证分布归一化。
h(x)h(x) 是基度量，通常为1。
3. 指数族分布的优美性质
指数族分布之所以成为统计建模的基石，源于其一系列完美的数学性质：
充分统计量：T(x)T(x) 包含了数据 xx 中关于参数 ηη 的全部信息。在估计参数时，我们只需要存储这些统计量的值（如求和），而无需存储整个原始数据集，这对于大数据处理极为有利。
共轭先验：在贝叶斯推断中，如果先验分布与似然函数共轭，则后验分布与先验属于同一分布族，计算极为简便。指数族分布存在共轭先验，这为贝叶斯学习提供了极大的便利（例如，伯努利分布的共轭先验是Beta分布，高斯分布的共轭先验是高斯-伽马分布）。
最大似然估计的易处理性：对于指数族，参数的最大似然估计（MLE）可以通过求解矩方程得到：E[T(x)]=1N∑i=1NT(xi)E[T(x)]=N1∑i=1NT(xi)。即，模型期望的充分统计量等于观测数据的经验平均值。这通常导致一个凸优化问题，可以通过梯度下降等算法有效求解。
广义线性模型（GLM）的基础：GLM将线性预测器 η=wTxη=wTx 通过一个链接函数 g(⋅)g(⋅) 与响应变量的均值 μμ 连接起来，并假设响应变量服从指数族分布。逻辑回归（伯努利分布+logit链接）、泊松回归（泊松分布+log链接）都是GLM的特例。
4. 在计算广告中的核心应用
逻辑回归与点击率预估：这是最大熵模型在广告中最直接的应用。我们将一次广告展示的特征 xx（用户、广告、上下文）作为输入，预测点击事件 y∈{0,1}y∈{0,1}。逻辑回归模型：
这正是伯努利分布（指数族）的形式，其自然参数 η=wTxη=wTx。从最大熵角度看，我们约束模型学到的特征 xx 的期望（即 xx 的加权平均）等于训练数据中点击样本的特征期望。因此，逻辑回归也被称为最大熵分类器。
softmax回归与多分类：在广告创意分类、用户兴趣标签预测等任务中，需要处理多类分类问题。softmax回归是逻辑回归在多分类上的推广，其背后的分布是多项分布（也属于指数族），同样是最大熵原理的体现。
主题模型（LDA）：潜在狄利克雷分配（LDA）是文本主题挖掘的核心模型，用于广告的上下文定向。LDA中，文档的主题分布和主题的词分布都假设服从狄利克雷分布（指数族分布），而文档中每个词的生成服从以主题为参数的多项分布。LDA的推断和学习过程深刻依赖于指数族分布和共轭先验的性质。
效果归因与生存分析：在广告效果归因中，我们可能需要建模用户从曝光到点击、再到转化的时间间隔。伽马分布或威布尔分布（属于指数族）常被用于这种时间-事件数据的建模，它们可以自然地通过GLM框架与广告特征相关联。
贝叶斯学习中的在线更新：由于共轭先验的存在，对于服从指数族分布的观测数据（如点击行为），我们可以使用贝叶斯在线更新来实时调整用户画像或广告质量的置信度。例如，将点击率视为一个Beta分布（伯努利分布的共轭先验）的参数，每发生一次曝光和点击，我们就用贝叶斯公式更新Beta分布的参数，得到一个带置信区间的CTR估计。
5. 总结：从原则到实践的桥梁
最大熵原理为我们的概率建模提供了最高层次的哲学指导：尊重已知，对未知保持敬畏。指数族分布则是这一指导原则下产生的完美数学实体，它将理论的优雅与实践的便利性融为一体。在计算广告这个数据驱动、概率决策无处不在的领域，理解最大熵与指数族分布，不仅帮助我们理解像逻辑回归这样的经典模型为何有效，更为我们设计和理解更复杂的概率图模型、在线学习算法提供了坚实的基础。它是连接统计学习理论与工业界应用的坚实桥梁。
10.3.2 混合模型和EM算法
现实世界的数据，尤其是像用户行为、广告效果这样复杂的数据，很少服从一个简单的、单一的概率分布。一个用户在电商网站上的行为，可能同时受到“价格敏感型”、“品牌忠诚型”和“潮流追随型”等多种内在动机的驱动。混合模型为我们提供了一种强大的数学框架，用多个简单分布的线性组合来描述这种复杂的、异质的数据生成过程。而期望最大化（EM）算法，则是解锁混合模型参数估计这一难题的通用钥匙。
1. 混合模型：用简单组件构建复杂现实
核心思想：假设我们观测到的数据 X={x1,x2,...,xN}X={x1,x2,...,xN} 并非来自单一分布，而是来自 KK 个不同的子分布（或称“成分”、“组件”）。每个数据点都由以下两步生成：
首先，根据一个多项分布 Multinomial(π)Multinomial(π) 随机选择一个成分 z∈{1,2,...,K}z∈{1,2,...,K}，其中 πkπk 是选择第 kk 个成分的先验概率，且 ∑k=1Kπk=1∑k=1Kπk=1。
然后，根据被选中的第 zz 个成分所对应的概率分布 p(x∣θz)p(x∣θz) 生成观测数据 xx。
因此，观测数据 xx 的边缘分布（我们实际看到的分布）是所有成分分布的加权和：
其中，Θ={π,θ1,...,θK}Θ={π,θ1,...,θK} 是模型的所有参数。
（此处配图：一张二维数据散点图，明显呈现三个簇。图上叠加绘制三个高斯分布的等高线，以及它们加权混合后形成的复杂概率密度曲面。用箭头和公式图解上述两步生成过程。）
最经典的例子：高斯混合模型
当每个成分分布 p(x∣θk)p(x∣θk) 都是高斯分布时，就得到了高斯混合模型。它可以逼近任何连续分布，是聚类、密度估计的利器。
2. 参数估计的困境与隐变量的引入
直接对混合模型进行最大似然估计（MLE）是极其困难的。对数似然函数为：
问题在于log内部是求和。这导致导数表达式异常复杂，通常没有解析解，也无法像单一分布那样直接求解。
解决这一困境的关键在于引入隐变量（Latent Variable）。对于每个数据点 xixi，我们设想存在一个未观测到的变量 zi∈{1,...,K}zi∈{1,...,K}，它指明了 xixi 来自于哪个成分。zizi 就是隐变量。此时，完全数据的似然函数（包含观测数据和隐变量）就变得简单了：
完全数据的对数似然函数为：
其中 I(⋅)I(⋅) 是指示函数。这个形式是“对数和”，比之前的“和的对数”友好得多。问题在于，我们并不知道隐变量 Z={zi}Z={zi} 的值。
3. EM算法：在“已知”与“未知”间优雅迭代
EM算法提供了一种在存在隐变量的模型中，进行最大似然估计的迭代框架。它包含两个交替进行的步骤：
E步（期望步）：基于当前参数估计 ΘoldΘold 和观测数据 XX，计算隐变量 ZZ 的后验概率分布，进而计算完全数据对数似然函数关于隐变量的条件期望（即Q函数）。
计算每个数据点 xixi 属于第 kk 个成分的后验概率（或称“责任”γikγik）：
构造Q函数：
直观理解：E步用“软分配”（概率 γikγik）替代了完全数据似然中的“硬分配”（指示函数 I(zi=k)I(zi=k)），完成了从“未知Z”到“已知Z的期望”的转换。
M步（最大化步）：最大化上一步得到的Q函数，更新参数。
对于GMM，M步有解析解：
其中 Nk=∑i=1NγikNk=∑i=1Nγik。这些更新公式非常直观：每个高斯成分的权重正比于它“负责”的数据点比例；均值是其“责任”加权下的数据平均；协方差是“责任”加权下的数据散布矩阵。
EM算法通过这种“猜测（E步）-修正（M步）”的循环，保证每次迭代后对数似然函数 logp(X∣Θ)logp(X∣Θ) 都不会下降，最终收敛到一个局部最优解。
4. 在计算广告中的核心应用
1. 用户画像与精细化分群
应用：单纯的基于规则或单一模型（如逻辑回归）的用户标签，难以捕捉用户的多面性。使用GMM或混合多项分布模型对用户的行为向量（如浏览类目、搜索词、点击广告类型）进行建模，可以自动发现不同的“用户原型”或“兴趣簇”。例如，可能发现“科技极客”、“居家宝妈”、“旅游达人”等隐含簇。每个用户不再属于单一类别，而是以概率（γikγik）属于各个簇。
优势：这种软分群比硬聚类更细腻，能更好地支持“千人千面”的广告定向。一个用户可能70%是“科技极客”，30%是“旅游达人”，那么推送广告时可以按比例混合这两类广告。
2. 文本主题建模与上下文定向
核心模型：潜在狄利克雷分配（LDA）是混合模型的杰出代表。在LDA中，每篇文档被视为多个主题的混合分布，每个主题又是词汇表上多项分布的混合。文档中每个词的生成过程：先从文档的主题分布中选择一个主题（隐变量），再从该主题的词汇分布中选择一个词。
EM算法的角色：LDA的参数估计通常使用变分EM或吉布斯采样（一种蒙特卡洛方法），其核心思想与EM算法一脉相承——通过迭代推断隐变量（词的主题归属）和更新参数（主题分布和词分布）。
广告应用：通过LDA分析用户浏览的页面内容或搜索历史，可以推断出用户的实时兴趣主题分布。当用户浏览一篇混合了“金融”和“科技”主题的文章时，广告系统可以同时召回与这两个主题相关的广告，并按主题概率进行加权排序，实现精准的上下文定向。
3. 点击率模型中的隐因子建模
问题：早期的点击率模型只考虑用户、广告、上下文的显式特征交叉。但对于“为什么某个用户会点击某个广告”这种深层次的、无法直接观测的因果关系，需要引入隐因子。
应用：可以将用户-广告交互矩阵的分解视为一个混合模型。假设存在 KK 个隐因子（如“性价比敏感”、“品牌导向”、“冲动消费”等），每个用户对这些因子有一个偏好分布（隐变量），每个广告也对这些因子有一个具备度分布。点击事件发生的概率由用户偏好分布和广告具备度分布的内积决定。EM算法或其变种（如交替最小二乘）可用于学习这些隐因子向量。
优势：这种方法能捕捉超越显式特征的、深层次的协同过滤信号，有效解决数据稀疏和冷启动问题。
4. 异常检测与反作弊
应用：广告流量中的异常点击（作弊）模式与正常点击模式截然不同。可以构建一个混合模型，其中一个成分建模正常流量（通常是一个高概率、分布集中的成分），另一个或多个成分建模异常流量（低概率、分布分散）。通过EM算法拟合模型后，对于新流量，计算其属于“异常成分”的后验概率，若超过阈值则判定为作弊。
优势：这是一种无监督或半监督的方法，不需要大量标注好的作弊样本，能自适应地发现新的、未知的作弊模式。
5. 总结：从模糊到清晰的学习范式
混合模型与EM算法为我们提供了一套处理复杂、隐含结构数据的标准方法论。它承认世界的复杂性（数据来自多个源头），并通过引入隐变量这一巧妙的数学构造，将复杂的估计问题分解为一系列可迭代解决的简单子问题。
在计算广告这个数据异构、模式多变的领域，从理解用户、解析内容到评估效果、防御攻击，混合模型的思维方式无处不在。掌握EM算法，不仅是掌握了一个强大的优化工具，更是获得了一种从混杂的观测数据中，抽丝剥茧、洞察本质的建模哲学。
10.3.3 贝叶斯学习
频率学派统计着眼于数据本身，通过似然函数寻找最可能的参数。而贝叶斯学习则为我们提供了一个更宏大、更自洽的认知框架：学习，是在不断用新证据（数据）更新我们关于世界（参数）的信念（概率分布）的过程。在计算广告中，面对数据稀疏、在线决策和不确定性量化等核心挑战，贝叶斯方法展现出其独特的魅力。
1. 核心思想：从先验信念到后验知识
贝叶斯定理是这一框架的基石：
其中：
θθ：我们感兴趣的模型参数（如广告的点击率）。
DD：观测到的数据（如该广告的历史曝光和点击记录）。
p(θ)p(θ)：先验分布。在见到任何数据之前，我们基于经验、常识或领域知识对参数可能取值的主观信念。
p(D∣θ)p(D∣θ)：似然函数。在给定参数下，观测到当前数据的可能性。
p(θ∣D)p(θ∣D)：后验分布。在考虑了观测数据之后，我们对参数更新的、更准确的信念。
p(D)p(D)：证据或边际似然，是一个归一化常数，确保后验分布积分为1。
哲学转变：参数 θθ 不再是一个固定的未知常数，而是一个随机变量，我们用概率分布来描述它的不确定性。学习的目的是获得这个分布，而非一个点估计。
2. 共轭先验：数学上的优雅便利
在贝叶斯推断中，计算后验分布往往涉及复杂的积分。共轭先验的存在是一个福音：如果先验分布与似然函数共轭，那么后验分布将与先验属于同一分布族，只需简单更新分布参数即可。
几个在广告中至关重要的共轭对：
伯努利/二项分布似然 ⇨ Beta先验/后验：用于点击率（CTR）建模。
先验：Beta(α,β)Beta(α,β)，其中 αα 可视为“伪成功次数”，ββ 为“伪失败次数”。
观测数据：ss 次点击（成功），ff 次未点击（失败）。
后验：Beta(α+s,β+f)Beta(α+s,β+f)。后验均值 α+sα+β+s+fα+β+s+fα+s 是CTR的一个平滑估计。
多项分布似然 ⇨ 狄利克雷先验/后验：用于主题分布、兴趣分布建模。
高斯分布似然（方差已知）⇨ 高斯先验/后验：用于连续值建模（如转化价值）。
共轭先验使得在线学习变得极其高效和自然：每来一条新数据，只需更新后验分布的参数，该后验即成为下一条数据的先验。这完美契合了广告流式数据的特性。
3. 贝叶斯学习的三大优势
1. 天然的正则化与避免过拟合
先验分布 p(θ)p(θ) 本身就扮演了正则化的角色。例如，在逻辑回归中采用高斯先验（均值为0），等价于在损失函数中添加了L2正则项。这种“软约束”基于概率的框架自然导出，避免了复杂的交叉验证调参。
2. 量化不确定性，支持探索与利用
这是贝叶斯方法在广告中的杀手级应用。频率主义的CTR点估计（如 p^=s/(s+f)p^=s/(s+f)）无法衡量估计的可靠程度。一个曝光2次点击1次（p^=0.5p^=0.5）的广告，和一个曝光1000次点击500次（p^=0.5p^=0.5）的广告，点估计相同，但后者可信度高得多。
贝叶斯后验分布（如Beta分布）完整地刻画了这种不确定性。我们可以计算后验的均值（用于“利用”），也可以计算其方差或置信区间（用于“探索”）。
汤普森采样：一种优雅的E&E策略。要选择展示哪个广告时，从每个广告CTR的后验分布（Beta分布）中随机抽取一个样本值，然后选择样本值最大的那个广告。这样，估计不确定（分布宽）的广告有更大的概率被采样到其分布的右侧（高值）从而被选中，实现了对探索的激励。随着数据积累，后验分布变窄，采样值收敛到均值，系统自然过渡到以利用为主。
3. 分层建模与信息共享
广告数据天然具有层次结构：一个广告主下有多个广告计划，一个计划下有多个广告创意。一个新上线的创意，数据稀少。频率主义方法孤立地估计其CTR会极不稳定。
贝叶斯分层模型可以优雅地解决此问题：假设同一广告主下的所有创意的CTR，都来自一个共同的“广告主级别”的分布（超先验）。具体创意的后验估计，会“收缩”或“借用”同一广告主下其他创意的信息，以及全局先验的信息，得到更稳健的估计。这尤其有利于冷启动问题。
4. 近似推断：应对现实世界的复杂性
当模型复杂（如深度学习）、似然非共轭时，精确的贝叶斯推断不可行。现代贝叶斯学习依赖于强大的近似推断技术：
马尔可夫链蒙特卡洛：通过构造一条马尔可夫链，使其平稳分布就是目标后验分布，然后通过采样来近似后验。虽然计算代价高，但被视为“黄金标准”。
变分推断：将复杂的后验分布推断问题，转化为一个优化问题：寻找一个来自简单分布族（如高斯族）的近似分布 q(θ)q(θ)，使其尽可能接近真实后验 p(θ∣D)p(θ∣D)。其优化目标是最小化两者之间的KL散度。VI通常比MCMC更快，适合大规模数据，是现代贝叶斯深度学习的主力。
蒙特卡洛Dropout：一个巧妙而实用的发现：在深度神经网络中使用Dropout，不仅是一种正则化手段，其预测过程（对同一输入进行多次前向传播，每次随机丢弃不同神经元）等价于对模型参数进行了一种近似的贝叶斯推断，输出的预测方差可以解释为模型的不确定性。
5. 在计算广告中的具体应用
1. 动态出价与预算控制
需求方平台（DSP）的实时出价是一个典型的序贯决策问题。贝叶斯方法可以建模点击率、转化率、转化价值的不确定性，并将其与剩余预算、竞拍环境等状态结合，使用贝叶斯强化学习或贝叶斯优化框架来求解最优出价策略，在风险和收益间取得平衡。
2. 用户生命周期价值预测
预测用户在未来一段时间内带来的总价值（LTV）充满不确定性。贝叶斯生存分析模型或贝叶斯深度网络可以不仅给出LTV的点预测，还给出其概率分布（如分位数），帮助广告主更科学地进行长期价值出价。
3. 创意效果的A/B测试与快速决策
传统的频率主义A/B测试需要积累大量样本才能得出结论。贝叶斯A/B测试允许我们在测试过程中持续观察后验分布。例如，可以实时计算“创意A的转化率高于创意B”的后验概率。一旦这个概率超过一个预设的决策阈值（如95%），就可以提前终止测试并做出决策，大幅提升优化效率。
4. 隐私保护与联邦学习
在隐私计算日益重要的今天，贝叶斯学习提供了一种自然框架。各方可以在本地基于自己的数据计算充分统计量或后验分布，然后在中心服务器上融合这些中间结果（而不是原始数据），得到全局的贝叶斯后验。这为在保护用户隐私的前提下进行联合建模提供了可能。
6. 总结：一种更完备的建模世界观
贝叶斯学习不仅仅是一套工具，它代表了一种更符合人类认知习惯和现实世界特质的建模哲学。它坦然承认我们对世界认知的“不确定性”，并将这种不确定性作为模型的核心部分进行量化和管理。在计算广告这个充满随机性、需要实时决策、且决策代价高昂的领域，贝叶斯方法为我们提供了从处理冷启动、平衡探索与利用、到量化风险和做出稳健决策的系统性解决方案。它将“学习”从一个寻找单一答案的过程，升华为一个不断演进和更新的信念系统。
