词汇/表达差异-4-Jaccard 相似系数（Jaccard similarity ）

Jaccard系数（也叫杰卡德相似系数，其补集为Jaccard距离）是针对集合型数据设计的相似度度量指标，核心聚焦于“两个集合的重叠程度”，是量化文本、特征、节点关系等集合类数据差异的常用工具

1.基本原理

Jaccard系数的核心思想是：两个集合的相似程度，等于它们的交集大小与并集大小的比值。与之对应的Jaccard距离则用于度量差异，定义为1 - Jaccard系数。

• Jaccard系数（Jaccard(A,B)Jaccard(A,B)Jaccard(A,B)）：取值范围为[0,1][0,1][0,1]，Jaccard(A,B)=0Jaccard(A,B)=0Jaccard(A,B)=0表示两个集合无交集，J(A,B)=1J(A,B)=1J(A,B)=1表示两个集合完全相同；
  给定两个集合AAA和BBB：

  Jaccard(A,B)=∣A∩B∣∣A∪B∣\text{Jaccard}(A, B) = \frac{|A \cap B|}{|A \cup B|}Jaccard(A,B)=∣A∪B∣∣A∩B∣​

  • 取值范围：[0, 1]
    • 0：完全无交集（完全不同）
    • 1：完全相同

• Jaccard距离（dJ(A,B)d_J(A,B)dJ​(A,B)）：取值范围为[0,1][0,1][0,1]，值越大表示差异越显著。
  对应的Jaccard 距离（用于聚类等）为：
  $
  \text{Jaccard Distance} = 1 - \text{Jaccard Similarity}
  $

2.算法步骤

步骤1：将数据转换为集合

这是前提条件，因为Jaccard的计算对象是集合（忽略重复元素，只关注元素的“存在与否”）。

步骤2：计算交集和并集的大小

• 交集：两个集合中共同存在的元素数量；
• 并集：两个集合中所有不重复元素的数量。

步骤3：代入公式计算结果

3.优缺点适用场景

4.主流库推荐

5.使用

场景1：处理集合/字符串/批量匹配（如文本分词集合、实体属性集合）→ 首选RapidFuzz

使用示例：

importrapidfuzzfromrapidfuzzimportdistance# 1. 标准Jaccard系数（集合型，输入为字符串/列表）# 输入为列表时，自动去重视为集合jaccard_sim=distance.Jaccard.similarity(["苹果","手机","性能"],["苹果","电脑","性能"])jaccard_dist=distance.Jaccard.distance(["苹果","手机","性能"],["苹果","电脑","性能"])print(f"Jaccard相似度：{jaccard_sim}，Jaccard距离：{jaccard_dist}")# 输出：Jaccard相似度：0.3333333333333333，Jaccard距离：0.6666666666666666# 2. 批量匹配（从候选列表中找最相似的集合）candidates=[["苹果","平板","性能"],["华为","手机","续航"],["苹果","电脑","屏幕"]]matches=rapidfuzz.process.extract(["苹果","手机","性能"],candidates,scorer=distance.Jaccard.similarity,limit=2)print(f"批量匹配结果：{matches}")# 输出：[(['苹果', '平板', '性能'], 0.5, 0), (['苹果', '电脑', '屏幕'], 0.3333333333333333, 2)]

场景2：处理数值/二进制向量（如TF-IDF向量、特征向量）→ 首选scipy

Scipy的jaccard函数专门针对向量实现了广义Jaccard系数，适合科学计算和机器学习场景：

使用示例：

importnumpyasnpfromscipy.spatial.distanceimportjaccard# 定义两个二进制向量（1表示元素存在，0表示不存在）vec1=np.array([1,1,0,1],dtype=int)# 对应集合{0,1,3}vec2=np.array([1,0,1,1],dtype=int)# 对应集合{0,2,3}# 计算Jaccard距离（scipy返回的是距离，需手动计算相似度）jaccard_dist=jaccard(vec1,vec2)jaccard_sim=1-jaccard_distprint(f"向量Jaccard距离：{jaccard_dist}，相似度：{jaccard_sim}")# 输出：向量Jaccard距离：0.5，相似度：0.5

场景3：机器学习场景（如聚类、分类）→ 首选scikit-learn

Scikit-learn提供了jaccard_score等函数，适合处理标签集合、二进制特征的相似度计算：

使用示例：

fromsklearn.metricsimportjaccard_score# 两个标签集合（二进制）y_true=[1,0,1,1]y_pred=[1,1,1,0]# 计算Jaccard系数（适用于分类任务的评估）jaccard_sim=jaccard_score(y_true,y_pred)print(f"标签集合Jaccard系数：{jaccard_sim}")# 输出：0.5