欢迎来到 Dotnet 工具箱！在这里，你可以发现各种令人惊喜的开源项目！
Abot
在 .NET 技术栈中，如果你需要一个高性能、可扩展、不过度设计的网页爬虫框架，Abot是一个绕不开的选择。它是一个开源的 C# Web Crawler Framework，核心目标只有两个：快，以及足够灵活。
Abot 把复杂、繁琐的底层工作全部包揽下来，比如多线程调度、HTTP 请求、链接解析、抓取策略控制等，而开发者只需要通过事件或接口，专注于“页面抓下来之后我想干什么”。
核心特点一览：为什么选择 Abot？
🚀 快，而且是真的快
Abot 天生为并发和高吞吐而设计，内置线程管理与调度器，能够在保证“礼貌爬取”的前提下，最大化抓取效率。
🔧 高度可定制的可插拔架构
从是否抓取页面、是否下载内容、是否继续爬链接，到线程管理、调度器、HTTP 请求器、链接解析器，几乎所有关键行为都可以替换。
你可以：
用配置控制常见行为
用回调快速加规则
用接口实现完全接管爬虫逻辑
🧪 单元测试覆盖率高
Abot 不是“玩具型爬虫”，而是一个经过大量单元测试验证的工程化框架，适合长期维护的项目使用。
🪶 轻量、纯净、无外部依赖
不依赖数据库
不依赖外部服务
不需要额外进程
拿来即用，非常适合做数据采集工具、搜索引擎原型、站点分析系统。
版本与兼容性说明
Abot ≥ 2.0
基于.NET Standard 2.0
可运行在 .NET Framework / .NET Core / .NET 6+ 等环境
Abot < 2.0
面向.NET Framework 4.0
这让 Abot 在老项目和新项目中都具备很强的适配能力。
快速上手：几分钟跑起来一个爬虫
1️⃣ 使用 NuGet 安装
Install-Package Abot一个最简单的爬虫示例
var config = new CrawlConfiguration { MaxPagesToCrawl = 10, MinCrawlDelayPerDomainMilliSeconds = 3000 }; var crawler = new PoliteWebCrawler(config); crawler.PageCrawlCompleted += (s, e) => { Console.WriteLine(e.CrawledPage.Uri); }; await crawler.CrawlAsync(new Uri("https://example.com"));不需要复杂配置，就能完成一个遵守 robots、支持并发、可监听事件的爬虫。
深度可定制的爬虫行为
🧠 爬取决策（CrawlDecision）
你可以通过委托快速决定：
这个页面要不要爬？
页面内容要不要下载？
页面里的链接还要不要继续爬？
crawler.ShouldCrawlPageDecisionMaker = (page, context) => { if (page.Uri.Authority.Contains("google.com")) return new CrawlDecision { Allow = false }; return new CrawlDecision { Allow = true }; };如果规则复杂？直接实现 ICrawlDecisionMaker 接口即可。
项目地址
https://github.com/sjdirect/abot
分享
点收藏
点点赞
点在看
