运维智能新基建:GAIA-DataSet全量标注开源数据集解锁AIOps无限可能
【免费下载链接】GAIA-DataSetGAIA, with the full name Generic AIOps Atlas, is an overall dataset for analyzing operation problems such as anomaly detection, log analysis, fault localization, etc.项目地址: https://gitcode.com/gh_mirrors/ga/GAIA-DataSet
GAIA-DataSet(全称Generic AIOps Atlas)是面向运维智能化领域的开源数据集,专为异常检测、日志分析、故障定位等AIOps研究场景打造。该数据集整合业务模拟系统全量运行数据,提供开箱即用的多维度标注资源,帮助数据科学家零门槛构建智能运维解决方案。
价值定位:构建AIOps研究的数据基石 📊
作为业界领先的全量标注运维数据集,GAIA-DataSet填补了AIOps领域标准化测试数据的空白。数据集包含6500+核心指标、700万+日志条目及两周完整业务链路数据,所有样本均附带精确异常标签,为算法训练与效果评估提供黄金标准。
核心特性:多维度数据矩阵与故障注入场景库
全量数据矩阵
- 指标数据:覆盖系统层、应用层、业务层的多维度时间序列,包含13位时间戳与精确指标值
- 日志数据:结构化业务日志与系统运行日志,包含服务名称、时间戳、状态码等关键字段
- 链路追踪:完整记录分布式调用链路,包含跨度ID、父ID、URL等全量追踪信息
智能诊断场景库
通过可控的故障注入机制,模拟20+典型运维异常场景,包括:
- 资源耗尽型故障(CPU/内存过载)
- 网络异常场景(延迟/丢包/分区)
- 业务逻辑错误(事务失败/数据一致性问题)
- 外部依赖故障(数据库/缓存服务不可用)
数据架构:从基础数据层到场景应用层
基础数据层
| 数据类型 | 存储路径 | 核心字段 | 应用场景 |
|---|---|---|---|
| 指标数据 | MicroSS/metric/ | 时间戳、指标值、节点IP | 时序异常检测 |
| 跟踪数据 | MicroSS/trace/ | 追踪ID、跨度ID、开始/结束时间 | 分布式链路分析 |
| 业务日志 | MicroSS/business/ | 服务名称、时间戳、消息内容 | 业务异常定位 |
| 系统日志 | MicroSS/run/ | 异常注入记录、系统状态码 | 系统健康度评估 |
场景应用层
- 异常检测数据集(Companion_Data/metric_detection/):包含406个标注异常样本,覆盖变化点检测、概念漂移等7类时序模式
- 日志分析数据集(Companion_Data/log/):21万+日志条目,支持日志解析、语义异常检测、命名实体识别任务
数据获取指南:极速接入全量资源
数据集目录速览
GAIA-DataSet/ ├── MicroSS/ # 核心业务模拟数据 │ ├── metric/ # 指标数据(CSV格式) │ ├── trace/ # 跟踪数据(结构化记录) │ ├── business/ # 业务日志 │ └── run/ # 系统运行日志 └── Companion_Data/ # 场景化标注数据 ├── metric_detection/ # 异常检测专用数据 ├── metric_forecast/ # 指标预测数据集 └── log/ # 日志分析数据集快速获取方式
git clone https://gitcode.com/gh_mirrors/ga/GAIA-DataSet场景落地:解锁AIOps四大核心能力
运维异常检测
基于全量标注的指标数据,可训练精准的异常检测模型,支持实时监控系统健康状态,提前预警潜在故障风险。
日志智能分析
利用结构化日志数据,构建日志解析与语义理解模型,实现自动化日志分类、异常定位与根因分析。
故障根因定位
结合链路追踪与多维度指标,训练端到端根因定位算法,大幅缩短故障排查时间。
时间序列预测
基于多样化时序数据,开发高精度预测模型,支持资源规划、流量预测等关键业务场景。
GAIA-DataSet采用Apache 2.0开源许可证,允许自由使用、修改和分发。立即下载体验,开启智能运维研究新范式!
【免费下载链接】GAIA-DataSetGAIA, with the full name Generic AIOps Atlas, is an overall dataset for analyzing operation problems such as anomaly detection, log analysis, fault localization, etc.项目地址: https://gitcode.com/gh_mirrors/ga/GAIA-DataSet
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考