news 2026/4/2 23:15:25

huggingface-cli download 断点续传

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
huggingface-cli download 断点续传

在使用huggingface-cli download时,断点续传的核心是--resume-download参数,该参数能检测本地未完成的下载文件,从断点处继续传输(而非重新下载)。以下是完整的使用方法、生效条件和问题排查:

一、核心原理

--resume-download会在下载时生成临时文件(后缀通常为.tmp),记录已下载的字节数;当下载中断(网络断开、进程终止等),重新执行带该参数的命令时,工具会读取临时文件,从断点处续传,避免重复下载已完成部分。

二、前提准备

确保huggingface-hub版本足够新(v0.10+ 支持该参数,v0.16+ 对大文件/LFS 文件支持更完善):

pipinstall--upgrade huggingface-hub

三、断点续传的具体用法

1. 基础用法(以下载 LiveCodeBench 为例)

在原有下载命令后直接添加--resume-download即可:

huggingface-cli download LiveCodeBench/LiveCodeBench\--local-dir LiveCodeBench\# 本地保存目录--local-dir-use-symlinks False\# 强制下载文件(非符号链接)--resume-download# 核心:断点续传参数
2. 结合筛选规则(include/exclude)

若仅下载指定文件/排除部分文件,续传参数仍兼容:

huggingface-cli download LiveCodeBench/LiveCodeBench\--include"data/**,evaluation/*.py"\# 只下载指定目录/文件--exclude"docs/**"\# 排除无需下载的内容--local-dir LiveCodeBench\--local-dir-use-symlinks False\--resume-download
3. 下载指定版本 + 断点续传

若需下载特定分支/commit/tag,续传参数同样生效:

huggingface-cli download LiveCodeBench/LiveCodeBench\--revision v1.0\# 指定版本(分支/标签/commit hash)--local-dir LiveCodeBench\--local-dir-use-symlinks False\--resume-download
4. 自动重试 + 断点续传(网络不稳定时)

搭配--retries N(N 为重试次数),实现中断后自动重试 + 续传:

huggingface-cli download LiveCodeBench/LiveCodeBench\--local-dir LiveCodeBench\--local-dir-use-symlinks False\--resume-download\--retries5# 最多自动重试5次

四、断点续传生效条件

  1. 本地保留了中断后的临时文件:--local-dir目录下会生成.tmp后缀的临时文件,不要删除/移动
  2. 重新执行的命令与中断前完全一致:包括--local-dir--include/--exclude--revision等所有参数,否则会视为新下载;
  3. 目标文件在 Hugging Face Hub 上未被修改:若文件更新,工具会判定为新文件,重新下载。

五、常见问题排查

1. 断点续传未生效(重新从头下载)
  • 原因1:huggingface-hub版本过旧 → 执行pip install --upgrade huggingface-hub升级;
  • 原因2:临时文件被删除 → 中断后不要清理--local-dir目录,保留.tmp文件;
  • 原因3:命令参数不一致 → 确保重新执行的命令和中断前的参数完全相同(比如--local-dir路径不能改);
  • 原因4:文件在 Hub 上已更新 → 可删除本地旧文件后重新下载。
2. 报错 “Resume download not supported for this file”
  • 原因:旧版本对 LFS 大文件的断点续传支持不足 → 升级到huggingface-hub>=0.16.0即可解决。
3. 续传时提示文件校验失败
  • 原因:中断导致临时文件损坏 → 删除该文件的.tmp临时文件,重新执行命令(会从头下载该文件,但其他文件仍可续传)。

六、补充说明

  • --resume-download幂等的:即使文件已完全下载,执行带该参数的命令也不会重复下载,只会校验文件完整性;
  • 若需强制重新下载(忽略断点):移除--resume-download参数,或删除--local-dir目录后重新执行。

参考

livecodebench/code_generation_lite

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/28 22:56:31

使用Docker Run运行Miniconda-Python3.10镜像,快速接入AI算力市场

使用Docker Run运行Miniconda-Python3.10镜像,快速接入AI算力市场 在AI模型迭代速度越来越快的今天,一个算法工程师最怕听到的话可能不是“需求又变了”,而是——“这代码在我机器上能跑啊”。明明复现的是顶会论文,环境一装却报错…

作者头像 李华
网站建设 2026/4/2 6:40:05

Python高级编程实践:在Miniconda-Python3.10中调试PyTorch模型

Python高级编程实践:在Miniconda-Python3.10中调试PyTorch模型现代AI开发的挑战:从“跑通代码”到“可靠复现” 你有没有经历过这样的场景?好不容易找到一篇顶会论文的开源实现,兴冲冲地克隆代码、安装依赖,结果 Impor…

作者头像 李华
网站建设 2026/3/23 14:02:35

12006张椰心叶甲二进制分类裁剪图像数据集-6000视频源高质量标注用于海洋生态监测和计算机视觉模型训练-早期预警、防治措施制定、生态系统保护-训练和评估椰心叶甲识别算法-海洋生态监测

椰心叶甲二进制分类裁剪图像数据集 引言与背景 椰心叶甲是一种严重危害棕榈科植物的入侵害虫,对全球热带和亚热带地区的生态系统和农业经济造成了巨大威胁。准确识别和监测椰心叶甲对于早期预警、防治措施制定以及生态系统保护至关重要。随着计算机视觉和深度学习…

作者头像 李华
网站建设 2026/3/30 23:04:02

年底物业工作捋顺指南:踏实收尾,用心开局

各位物业同行们,大家好!我是你们的老物业人,今儿个就用大白话跟大伙唠唠,临近年底咱们物业的活儿该怎么捋顺,既能把今年的尾巴收扎实,又能为明年的工作铺好路。咱们做物业的,讲究的就是一个“稳…

作者头像 李华
网站建设 2026/3/25 4:14:29

如何在Miniconda中指定CUDA版本安装PyTorch?详细步骤解析

如何在Miniconda中指定CUDA版本安装PyTorch?详细步骤解析 你有没有遇到过这样的情况:代码写得好好的,一运行却提示 CUDA not available?明明装了 PyTorch,也确认有 NVIDIA 显卡,可就是用不上 GPU。问题往往…

作者头像 李华