【问题解决】OSError: Model file ‘pytorch_model-00001-of-00003.bin‘ is corrupted or incomplete (unexpected

【问题解决】OSError: Model file ‘pytorch_model-00001-of-00003.bin’ is corrupted or incomplete (unexpected EOF)

问题描述

在使用 Hugging Face Transformers 库加载模型时，遇到以下错误：

OSError: Model file 'pytorch_model-00001-of-00003.bin' is corrupted or incomplete (unexpected EOF)

问题原因

这个错误通常由以下原因引起：

1. 模型文件下载不完整：模型文件在下载过程中被中断，导致文件不完整
2. 文件损坏：模型文件在存储或传输过程中损坏
3. 磁盘空间不足：下载过程中磁盘空间不足，导致文件写入不完整
4. 权限问题：没有足够的权限写入或读取模型文件
5. 网络问题：下载过程中网络不稳定，导致文件传输错误
6. 缓存问题：Hugging Face 缓存中的文件损坏

解决方案

方案 1：清理缓存并重新下载

# 清理 Hugging Face 缓存rm-rf ~/.cache/huggingface/# 或只清理特定模型的缓存rm-rf ~/.cache/huggingface/hub/models--xxx--xxx-model/

方案 2：使用force_download=True强制重新下载

fromtransformersimportAutoModelForCausalLM,AutoTokenizer# 强制重新下载模型tokenizer=AutoTokenizer.from_pretrained("xxx/xxx-model",force_download=True)model=AutoModelForCausalLM.from_pretrained("xxx/xxx-model",force_download=True)

方案 3：检查磁盘空间

# 检查磁盘空间df-h# Windows 系统使用dir

方案 4：手动下载模型文件

1. 访问 Hugging Face Hub 上的模型页面
2. 手动下载所有模型文件（包括 pytorch_model-*.bin 文件）
3. 将文件放在适当的目录中
4. 使用本地路径加载模型

fromtransformersimportAutoModelForCausalLM,AutoTokenizer# 从本地路径加载模型model_path="./local_model_directory"tokenizer=AutoTokenizer.from_pretrained(model_path)model=AutoModelForCausalLM.from_pretrained(model_path)

方案 5：检查文件完整性

# 检查文件大小ls-lh pytorch_model-00001-of-00003.bin# 检查文件是否有意外的 EOF# 对于大型文件，可以使用以下命令检查head-c100pytorch_model-00001-of-00003.bin|xxd

方案 6：使用不同的下载方法

# 使用 git 克隆模型仓库gitclone https://huggingface.co/xxx/xxx-model# 或使用 lfsgitlfsinstallgitclone https://huggingface.co/xxx/xxx-model

方案 7：检查网络连接

# 测试网络连接pinghuggingface.co# 检查下载速度curl-o /dev/null -s -w"%{speed_download}"https://huggingface.co/xxx/xxx-model/resolve/main/pytorch_model-00001-of-00003.bin

示例代码

完整的模型下载和验证示例

fromtransformersimportAutoModelForCausalLM,AutoTokenizerimportosimportshutildefdownload_model_with_retry(model_name,max_retries=3):"""带重试机制的模型下载"""retry_count=0whileretry_count<max_retries:try:print(f"Attempting to download model{model_name}(retry{retry_count+1}/{max_retries})...")# 清理可能的缓存cache_dir=os.path.expanduser("~/.cache/huggingface/hub")model_cache_dir=os.path.join(cache_dir,f"models--{model_name.replace('/','--')}")ifos.path.exists(model_cache_dir):print(f"Clearing existing cache for{model_name}...")shutil.rmtree(model_cache_dir)# 强制重新下载tokenizer=AutoTokenizer.from_pretrained(model_name,force_download=True)model=AutoModelForCausalLM.from_pretrained(model_name,force_download=True)print(f"Successfully downloaded and loaded model{model_name}!")returntokenizer,modelexceptExceptionase:print(f"Error downloading model:{e}")retry_count+=1ifretry_count<max_retries:print("Retrying...")else:print("Max retries reached. Exiting.")returnNone,Nonedefload_model_from_local(local_path):"""从本地路径加载模型"""try:print(f"Loading model from local path:{local_path}")tokenizer=AutoTokenizer.from_pretrained(local_path)model=AutoModelForCausalLM.from_pretrained(local_path)print("Successfully loaded model from local path!")returntokenizer,modelexceptExceptionase:print(f"Error loading model from local path:{e}")returnNone,None# 使用示例if__name__=="__main__":model_name="facebook/opt-1.3b"# 尝试下载模型tokenizer,model=download_model_with_retry(model_name)ifnottokenizerornotmodel:# 如果下载失败，尝试从本地加载print("\nAttempting to load from local path...")local_path="./opt-1.3b"tokenizer,model=load_model_from_local(local_path)iftokenizerandmodel:# 测试模型print("\nTesting model...")inputs=tokenizer("Hello, ",return_tensors="pt")outputs=model.generate(**inputs,max_new_tokens=20)print(f"Generated text:{tokenizer.decode(outputs[0],skip_special_tokens=True)}")else:print("Failed to load model.")

常见问题

Q: 为什么模型文件会下载不完整？

A: 常见原因包括网络中断、磁盘空间不足、权限问题或服务器端问题。

Q: 如何确认模型文件是否完整？

A: 可以通过文件大小与 Hugging Face Hub 上显示的大小进行比较，或尝试加载模型看是否成功。

Q: 清理缓存会影响其他模型吗？

A: 清理整个 Hugging Face 缓存会删除所有已下载的模型，需要重新下载。如果只清理特定模型的缓存，则只影响该模型。

Q: 手动下载模型文件时需要注意什么？

A: 需要下载所有必要的文件，包括配置文件、分词器文件和所有模型权重文件（pytorch_model-*.bin）。

Q: 网络不稳定时如何确保下载完整？

A: 可以使用force_download=True参数，或使用 git lfs 进行下载，这些方法通常有更好的错误处理和重试机制。

总结

遇到OSError: Model file 'pytorch_model-00001-of-00003.bin' is corrupted or incomplete (unexpected EOF)错误时，主要需要：

1. 清理 Hugging Face 缓存并重新下载模型
2. 使用force_download=True强制重新下载
3. 检查磁盘空间是否充足
4. 确保网络连接稳定
5. 检查文件权限
6. 考虑手动下载模型文件

通过以上解决方案，大部分情况下都能成功解决模型文件损坏或不完整的问题，顺利加载所需的模型。