news 2026/4/2 7:31:55

爬取某省2019年的疫情数据

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
爬取某省2019年的疫情数据

1.明确目标

爬取某省2019年的疫情数据：
网站：www.ncovdata.spbeen.com

2.项目创建：

要求说明

  • 使用scrapy命令新建爬虫项目，名称为ncovdata,打开终端，在终端创建项目
scrapy startproject ncovdata

3.创建spider文件

要求说明

  • 使用scrapy命令新建爬虫文件，名称为ncov:
scrapy genspider-t basic ncov www.ncovdata.spbeen.com

4.启动爬虫

  • 使用scrapy命令在项目内执行爬虫文件
  • 创建Scrapy项目中的启动脚本，方便后续调试
    在终端执行：
scrapy crawl ncov

在顶级目录下创建一个脚本run.py:

fromscrapy.cmdlineimportexecute#execute(["","",""])execute("scrapy crawl ncov".split())

5.分析Scrapy的输出日志

日志结构说明

  • 顶部：版本信息，项目结构信息
  • 中部：日志输出，例如下载器组建的请求记录
  • 底部：爬虫过程的统计记录，包含请求和失败的次数
#顶部#Scrapy版本2025-12-2215:27:14[scrapy.utils.log]INFO:Scrapy2.12.0started(bot:ncovdata)#依赖的库2025-12-2215:27:14[scrapy.utils.log]INFO:Versions:lxml5.4.0.0,libxml22.11.9,cssselect1.3.0,parsel1.10.0,w3lib2.3.1,Twisted24.11.0,Python3.10.3(tags/v3.10.3:a342a49,Mar162022,13:07:40)[MSC v.192964bit(AMD64)],pyOpenSSL25.0.0(OpenSSL3.4.111Feb2025),cryptography44.0.2,Platform Windows-10-10.0.19045-SP02025-12-2215:27:14[scrapy.addons]INFO:Enabled addons:[]#异步请求库2025-12-2215:27:14[asyncio]DEBUG:Using selector:SelectSelector#队列信息，调度器内容2025-12-2215:27:14[scrapy.utils.log]DEBUG:Using reactor:twisted.internet.asyncioreactor.AsyncioSelectorReactor2025-12-2215:27:14[scrapy.utils.log]DEBUG:Using asyncio event loop:asyncio.windows_events._WindowsSelectorEventLoop2025-12-2215:27:14[scrapy.utils.log]DEBUG:Using reactor:twisted.internet.asyncioreactor.AsyncioSelectorReactor2025-12-2215:27:14[scrapy.utils.log]DEBUG:Using asyncio event loop:asyncio.windows_events._WindowsSelectorEventLoop#cd4613b32575bd40这个是telnet的密码2025-12-2215:27:14[scrapy.extensions.telnet]INFO:Telnet Password:cd4613b32575bd40#启动的拓展插件2025-12-2215:27:15[scrapy.middleware]INFO:Enabled extensions:['scrapy.extensions.corestats.CoreStats','scrapy.extensions.telnet.TelnetConsole','scrapy.extensions.logstats.LogStats']#项目设置信息2025-12-2215:27:15[scrapy.crawler]INFO:Overridden settings:{'BOT_NAME':'ncovdata','FEED_EXPORT_ENCODING':'utf-8','NEWSPIDER_MODULE':'ncovdata.spiders','SPIDER_MODULES':['ncovdata.spiders'],'TWISTED_REACTOR':'twisted.internet.asyncioreactor.AsyncioSelectorReactor'}# 下载器中间件2025-12-2215:27:15[scrapy.middleware]INFO:Enabled downloader middlewares:['scrapy.downloadermiddlewares.offsite.OffsiteMiddleware','scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware','scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware','scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware','scrapy.downloadermiddlewares.useragent.UserAgentMiddleware','scrapy.downloadermiddlewares.retry.RetryMiddleware','scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware','scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware','scrapy.downloadermiddlewares.redirect.RedirectMiddleware','scrapy.downloadermiddlewares.cookies.CookiesMiddleware','scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware','scrapy.downloadermiddlewares.stats.DownloaderStats']#代表爬虫中间件2025-12-2215:27:15[scrapy.middleware]INFO:Enabled spider middlewares:['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware','scrapy.spidermiddlewares.referer.RefererMiddleware','scrapy.spidermiddlewares.urllength.UrlLengthMiddleware','scrapy.spidermiddlewares.depth.DepthMiddleware']2025-12-2215:27:15[scrapy.middleware]INFO:Enabled item pipelines:#代表管道[]#spider opened到Closing spider(finshed)为中间过程2025-12-2215:27:15[scrapy.core.engine]INFO:Spider opened#打开2025-12-2215:27:15[scrapy.extensions.logstats]INFO:Crawled0pages(at0pages/min),scraped0items(at0items/min)#这行的作用是定期输出一条日志，INFO后的信息为一分钟爬取了多少页，一分钟几页2025-12-2215:27:15[scrapy.extensions.telnet]INFO:Telnet console listening on127.0.0.1:6023#它代表telnet的一个服务终端，用于拓展插件用的2025-12-2215:27:15[scrapy.core.engine]DEBUG:Crawled(200)<GET http://ncovdata.spbeen.com/>(referer:None)#请求网址#finished代表停止，表示爬虫结束2025-12-2215:27:15[scrapy.core.engine]INFO:Closing spider(finished)#关闭#底部# 这个大括号为状态收集器收集的整体信息2025-12-2215:27:15[scrapy.statscollectors]INFO:Dumping Scrapy stats:{'downloader/request_bytes':220,'downloader/request_count':1,'downloader/request_method_count/GET':1,'downloader/response_bytes':57244,'downloader/response_count':1,'downloader/response_status_count/200':1,'elapsed_time_seconds':0.432231,'finish_reason':'finished','finish_time':datetime.datetime(2025,12,22,7,27,15,641880,tzinfo=datetime.timezone.utc),'items_per_minute':None,'log_count/DEBUG':6,'log_count/INFO':10,'response_received_count':1,'responses_per_minute':None,'scheduler/dequeued':1,'scheduler/dequeued/memory':1,'scheduler/enqueued':1,'scheduler/enqueued/memory':1,'start_time':datetime.datetime(2025,12,22,7,27,15,209649,tzinfo=datetime.timezone.utc)}# 日志都是日期+时间+信息的结构，中括号中的代表组件，INFO为日志的类型，分号后的为具体信息2025-12-2215:27:15[scrapy.core.engine]INFO:Spider closed(finished)

默认情况下，下载器中间件，和爬虫中间件都不需要改，重点是管道，从管道开始，到爬虫中部内容会非常多，如果运行失败，底部收集器的内容总结不会出现

6.编写并运行爬虫测试

任务说明

  • 请求接口并拿到接口数据，多多益善
  • 解析接口数据，转换成python的字典对象
  • 从目标json内容中提取出所需数据

数据要求说明

  • 获取某个省10天连续数据
  • 单条数据：{“江西省”：{“xx”:“xx”,“xx”:“xx”}}
    重新构建start_urls函数
importscrapyimportdatetimeclassNcovSpider(scrapy.Spider):name="ncov"allowed_domains=["ncovdata.spbeen.com"]#start_urls = ["http://ncovdata.spbeen.com/"]base_url="http://ncovdata.spbeen.com/apis/get_china_provinces/?query={}"defstart_requests(self):start_date_str='2020-01-26'start_date=datetime.datetime.strptime(start_date_str,'%Y-%m-%d')foriinrange(0,15):current_date=start_date+datetime.timedelta(days=i)current_url=self.base_url.format(current_date.strftime('%Y-%m-%d'))print(i,current_url)yieldscrapy.Request(url=current_url,callback=self.parse)defparse(self,response):pass

7.获取数据并用item保存

importscrapyimportdatetimeimportjsonclassNcovSpider(scrapy.Spider):name="ncov"allowed_domains=["ncovdata.spbeen.com"]# start_urls = [# "http://ncovdata.spbeen.com/apis/get_china_provinces/?query_date=2020-01-31",# ]base_url="http://ncovdata.spbeen.com/apis/get_china_provinces/?query_date={}"defstart_requests(self):start_date_str='2020-01-26'start_date=datetime.datetime.strptime(start_date_str,"%Y-%m-%d")foriinrange(0,15):current_date=start_date+datetime.timedelta(days=i)current_url=self.base_url.format(current_date.strftime("%Y-%m-%d"))# return scrapy.Request(url=current_url)yieldscrapy.Request(url=current_url)defparse(self,response):province="江西"data_list=response.json().get('data',[])forprovince_dictindata_list:# k, v = province_dict.items()ifprovinceinstr(province_dict):item=province_dict item['source']=response.textbreakelse:item={}item['source']=''# print(item)returnitem

8.管道文件存储数据

任务说明

  • 配置settings.py代码，启用管道文件
  • 使用管道文件接收item,并输出
  • 将item的数据进行存储到本地的txt文件中
    1.在settings文件中打开管道

进入pipelines.py文件输出item查看内容


输出结果：

新建一个data文件夹，将数据写入文件夹

fromitemadapterimportItemAdapterimportdatetimeimportjsonclassNcovdataPipeline:current_date_str=datetime.datetime.now().strftime("%Y%m%d%H%M%S")defprocess_item(self,item,spider):withopen('data/{}.txt'.format(self.current_date_str),mode='a',encoding='utf8')asfile:file.write(json.dumps(item,ensure_ascii=False))file.write('\n')returnitem
版权声明: 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
网站建设 2026/3/30 22:59:20

CAPL编程在汽车电子测试中的应用：入门必看指南

CAPL编程在汽车电子测试中的实战指南&#xff1a;从零构建高效自动化测试体系你有没有遇到过这样的场景&#xff1f;某次ECU软件版本更新后&#xff0c;团队花了整整三天时间手动重复上百项通信功能测试——只为了确认一条CAN报文的发送周期是否仍符合规范。更糟的是&#xff0…

作者头像 李华
网站建设 2026/4/1 5:35:14

Lumafly模组管理器：让空洞骑士模组管理变得像魔法一样简单

Lumafly模组管理器&#xff1a;让空洞骑士模组管理变得像魔法一样简单 【免费下载链接】Lumafly A cross platform mod manager for Hollow Knight written in Avalonia. 项目地址: https://gitcode.com/gh_mirrors/lu/Lumafly 还在为《空洞骑士》模组安装的繁琐流程而…

作者头像 李华
网站建设 2026/3/31 13:28:15

【IC】芯片互连通信速率对比

我们可以把现在的互连技术看作是一场**“谁能跑得最快”**的赛跑。 目前的冠军毫无疑问是以太网 (Ethernet)&#xff0c;而GDDR 显存接口紧随其后。 以下是当前主流互连协议的单通道 (Per Lane/Pin) 最高通信速率排名&#xff08;按已发布或即将在 1-2 年内商用的标准&#xff…

作者头像 李华
网站建设 2026/4/2 15:18:37

终极指南：零成本一键解锁WeMod全部高级功能

还在为WeMod专业版的高昂费用发愁吗&#xff1f;&#x1f3ae; 现在你只需要几分钟时间&#xff0c;就能永久解锁所有高级特权&#xff01;这款WeMod解锁工具已经帮助数千名玩家实现了免费使用Pro功能的愿望。 【免费下载链接】Wemod-Patcher WeMod patcher allows you to get …

作者头像 李华
网站建设 2026/3/14 17:19:39

【IC】以太网

“网线”只是以太网最不起眼的“皮肤”&#xff0c;它的“真身”要庞大和硬核得多。 你家里插电脑的那根 RJ45 蓝线&#xff08;双绞线&#xff09;是以太网的一种。 但 224 Gbps 极速怪兽&#xff0c;指的是数据中心里的“超级血管”。1. 什么是“以太网”&#xff1f;(Ethern…

作者头像 李华