news 2026/4/3 2:42:27

Flink ML Bucketizer 连续特征分桶(多列映射、splitsArray、handleInvalid)+ Java 示例解读

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink ML Bucketizer 连续特征分桶(多列映射、splitsArray、handleInvalid)+ Java 示例解读

1. Bucketizer 做什么?

Bucketizer 会把输入列(连续值)按你配置的splitsArray切分成区间,并输出区间编号:

  • 输出的桶索引范围:[0, numSplitsInThisColumn - 2](也就是区间数量-1)
  • 文档描述为[0, numSplitsInThisColumn - 1],但通常 splits 的长度为 N,会产生 N-1 个区间,因此索引通常落在[0, N-2](你可以以实际输出为准)

例如 splits 为[-0.5, 0.0, 0.5]

  • 区间1:[-0.5, 0.0)
  • 区间2:[0.0, 0.5]
    最终输出 bucketIndex 为 0 或 1(两段)

2. 输入列与输出列

输入列(Input Columns)

参数名类型默认值说明
inputColsNumbernull需要分桶的连续特征列(可多列)

输出列(Output Columns)

参数名类型默认值说明
outputColsDoublenull分桶后的离散特征(桶索引)列(可多列)

输出是 Double 类型的桶索引(有些场景你也会想转成 Int/Long 或进一步 one-hot)。

3. 核心参数(Parameters)详解

Key默认值必填说明
inputColsnull输入列名数组
outputColsnull输出列名数组
splitsArraynull每个输入列的切分点数组(二维数组)
handleInvalidERROR_INVALID遇到非法值(NaN、越界等)如何处理

3.1 splitsArray:分桶切分点怎么写?

splitsArrayDouble[][],它的长度必须等于inputCols.length,每个子数组对应一个输入列的切分点。

要求/建议:

  • 每个切分点数组要单调递增
  • 通常建议首尾用-INF/+INF包住,避免边界外数据出错
    比如:[-INF, 10.0, +INF]

3.2 handleInvalid:非法值如何处理?

常见策略(示例中使用了SKIP_INVALID):

  • ERROR_INVALID:遇到非法值直接报错(默认)
  • SKIP_INVALID:跳过包含非法值的记录(整行被丢弃)
  • 有的体系还会支持KEEP_INVALID(保留并映射到特殊桶),具体以 Flink ML 实现为准

工程建议:

  • 离线训练:可以用ERROR_INVALID,尽早暴露数据质量问题
  • 在线/生产:更常用SKIP_INVALID或“先做清洗再分桶”,避免任务被脏数据打挂

4. Java 示例逐段解读

你的示例做了 4 列特征同时分桶:

4.1 输入数据

DataStream<Row>inputStream=env.fromElements(Row.of(-0.5,0.0,1.0,0.0));TableinputTable=tEnv.fromDataStream(inputStream).as("f1","f2","f3","f4");

只有一行数据,四个连续特征:f1=-0.5, f2=0.0, f3=1.0, f4=0.0

4.2 配置 splitsArray

Double[][]splitsArray=newDouble[][]{newDouble[]{-0.5,0.0,0.5},// f1:两段newDouble[]{-1.0,0.0,2.0},// f2:两段newDouble[]{Double.NEGATIVE_INFINITY,10.0,Double.POSITIVE_INFINITY},// f3:两段newDouble[]{Double.NEGATIVE_INFINITY,1.5,Double.POSITIVE_INFINITY}// f4:两段};

可以把它理解为:

  • f1在 [-0.5,0) 或 [0,0.5] -> bucket 0/1
  • f2在 [-1,0) 或 [0,2] -> bucket 0/1
  • f3在 (-inf,10) 或 [10,inf) -> bucket 0/1
  • f4在 (-inf,1.5) 或 [1.5,inf) -> bucket 0/1

4.3 创建 Bucketizer 并 transform

Bucketizerbucketizer=newBucketizer().setInputCols("f1","f2","f3","f4").setOutputCols("o1","o2","o3","o4").setSplitsArray(splitsArray).setHandleInvalid(HasHandleInvalid.SKIP_INVALID);TableoutputTable=bucketizer.transform(inputTable)[0];

输出表会保留原列 + 新增o1~o4四个桶索引列。

4.4 打印输入与输出

示例把每列输入与输出读出来并打印:

inputValues[i]=(double)row.getField(bucketizer.getInputCols()[i]);outputValues[i]=(double)row.getField(bucketizer.getOutputCols()[i]);

最终打印类似:

  • Input Values: [-0.5, 0.0, 1.0, 0.0]
  • Output Values: [?, ?, ?, ?](取决于边界规则,通常 0.0 会落在右边区间)

5. 实战建议:分桶到底怎么设计?

1)优先用 -INF / +INF 包住区间

避免线上出现“越界数据导致报错”。

2)分桶边界最好来自数据分布

常见做法:

  • 等频分桶(按分位数)
  • 等宽分桶(按范围均分)
  • 业务阈值分桶(如价格档位、风控评分段)

3)Bucketizer 通常不是最后一步

分桶后的输出是“桶索引”,很多模型更喜欢 one-hot 或 embedding:

  • LR / 线性模型:桶索引 → one-hot(或直接当作类别特征处理)
  • 树模型:可以直接用数值,但分桶可能帮助稳定
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/2/23 16:27:05

深入解析企业级多智能体系统:构建可信赖的数字员工团队

本文系统阐述了企业级多智能体系统的技术架构与核心价值。针对企业复杂业务流程需求&#xff0c;多智能体系统通过角色分工、协作通信与流程编排&#xff0c;实现专业化、可组合、可扩展的AI解决方案。文章详细解析了五层架构设计&#xff0c;包括基础设施层、能力支撑层、智能…

作者头像 李华
网站建设 2026/4/2 4:59:29

YOLO模型支持ONNX Runtime推理,多GPU后端切换

YOLO模型支持ONNX Runtime推理&#xff0c;多GPU后端切换 在智能制造工厂的质检线上&#xff0c;每分钟有数百个产品快速通过视觉检测工位。系统需要在20毫秒内完成目标定位与缺陷识别——这对模型推理速度和硬件调度能力提出了极高要求。传统的PyTorch直接部署方案常因环境依赖…

作者头像 李华
网站建设 2026/3/28 2:51:09

AI产品经理转型大模型产品经理完全指南_2026转行秘籍

本文为AI产品经理提供大模型转型指南&#xff0c;涵盖所需素质技能&#xff08;AI技术理解、数据洞察、用户洞察、产品思维和团队协作&#xff09;&#xff0c;学习路径&#xff08;原理、应用、优缺点和实践&#xff09;&#xff0c;场景挖掘方法&#xff08;行业分析、用户研…

作者头像 李华
网站建设 2026/3/30 21:20:06

5个强化YashanDB安全性的重要措施

随着数据库技术的不断发展和企业数据量的激增&#xff0c;数据安全成为数据库技术领域中的核心挑战之一。数据库系统不仅要保障数据的机密性和完整性&#xff0c;还要保证数据高可用&#xff0c;防止未经授权访问和数据泄露。YashanDB作为一款集成了多种先进技术的数据库系统&a…

作者头像 李华
网站建设 2026/4/1 0:08:41

5个让您爱上YashanDB数据库的理由

当前数据库技术领域面临诸多共性挑战&#xff0c;包括系统性能瓶颈、海量数据的高效存储与访问、一致性保障以及多节点高可用的实现难点。如何在保证数据完整性和系统可用性的前提下&#xff0c;提升数据库的扩展性、并发处理能力和运维效率&#xff0c;是数据库产品研发的关键…

作者头像 李华