目录
1. Dataset 类：定义“数据是什么”
2. DataLoader 类：定义“怎么拿数据”
3. MNIST 手写数字数据集
附例：
1. Dataset 类：定义“数据是什么”
Dataset类是 PyTorch 数据读取的基类，它的核心作用是定义数据的来源、索引方式和预处理逻辑。
它要求用户重写两个Python 的特殊方法（Magic Methods），这使得自定义的数据集对象可以像 Python 原生列表（List）一样被操作：
__len__(self)：作用：定义数据集的总样本数量。
Python 本质：当你对数据集对象调用
len(dataset)时，Python 解释器会自动调用这个方法。重要性：
DataLoader需要通过它来计算一个 Epoch 需要遍历多少个 Batch。
__getitem__(self, index)：作用：定义如何获取第
index个样本。Python 本质：当你使用索引操作
dataset[3]时，Python 解释器会自动调用这个方法，传入index=3。内部逻辑：通常包含三个步骤：
定位：根据
index找到对应的文件路径或数据行。加载：读取图片（如
PIL.Image.open）或读取文本/数值。变换 (Transform)：进行预处理（如归一化、裁剪、转 Tensor）。
返回值：通常返回一个元组，例如
(image_tensor, label)。
2. DataLoader 类：定义“怎么拿数据”
如果说Dataset是仓库管理员（知道东西在哪），那么DataLoader就是物流配送员（负责打包和运输）。
DataLoader本身不需要你重写复杂的方法，它通过参数配置来控制加载行为。它的核心职责是将Dataset中获取的单个样本组合成批次（Batch）。
核心功能：
Batching（批处理）：将
__getitem__返回的多个样本堆叠（Stack）成一个大 Tensor。例如，将 64 张[1, 28, 28]的图片堆叠成[64, 1, 28, 28]。Shuffling（打乱）：在每个 Epoch 开始前打乱数据顺序，防止模型记忆样本顺序（通过
shuffle=True开启）。Parallelism（多进程）：使用多进程同时读取数据，加速训练（通过
num_workers参数控制）。
Dataset 与 DataLoader 的关系：
DataLoader 是一个迭代器（Iterator），我们在训练循环 for inputs, labels in dataloader: 中使用的是 DataLoader，而 DataLoader 内部会不断调用 Dataset 的 __getitem__ 方法来凑齐数据。
3. MNIST 手写数字数据集
这是深度学习领域的 "Hello World" 级别的数据集。
数据内容：
包含0~9的手写数字图片。
训练集：60,000 张。
测试集：10,000 张。
图像特征：
尺寸：28 × 28 像素。
通道：单通道（灰度图，Gray Scale）。
数据格式：通常在 PyTorch 中会被处理为
[1, 28, 28]的 Tensor。
适用性：
由于维度较小（28*28=784特征），它既适合作为结构化数据用 MLP（多层感知机）训练，也适合作为图像数据用 CNN（卷积神经网络）训练。
可视化：
原始数据通常是归一化过的（如均值0.1307，方差0.3081），可视化时需要进行反归一化操作才能看到清晰的黑底白字图像。
总结图解：
[硬盘上的文件] ↓ Dataset (__getitem__) --> 负责：找文件 -> 读文件 -> 预处理 -> 返回单条数据 (img, label) ↓ DataLoader (batch_size=64) --> 负责：调用64次Dataset -> 打包成一捆 -> 乱序 -> 多进程加速 ↓ [模型训练循环] (for x, y in loader) --> 获得形状为 [64, 1, 28, 28] 的 Tensor附例：
cifar 数据集尝试获取其中一张图片
import torch import torchvision import torchvision.transforms as transforms import matplotlib.pyplot as plt import numpy as np # 1. 定义预处理 # 这里我们暂时只转为 Tensor，不进行标准化 (Normalization)， # 这样显示时就不需要反标准化计算，方便直观查看原始图片。 transform = transforms.Compose([ transforms.ToTensor() ]) # 2. 下载并加载 CIFAR-10 数据集 # root: 数据存放路径 # train: True 表示训练集 # download: True 表示如果本地没有就下载 trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) # CIFAR-10 的 10 个类别名称 classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck') # 3. 获取一张图片 (调用 Dataset 的 __getitem__ 方法) # 我们取第 100 张图片试试 index = 100 image_tensor, label_index = trainset[index] # 打印一下数据的形状 print(f"数据索引: {index}") print(f"Tensor 形状: {image_tensor.shape}") # 预期: torch.Size([3, 32, 32]) print(f"标签索引: {label_index} ({classes[label_index]})") # 4. 可视化函数 def imshow(img_tensor): # img_tensor 目前是 [3, 32, 32] (Channel, Height, Width) # Matplotlib 画图需要 [32, 32, 3] (Height, Width, Channel) # 使用 .permute() 交换维度: 0->1, 1->2, 2->0 # 或者用 numpy.transpose(1, 2, 0) img_np = img_tensor.permute(1, 2, 0).numpy() plt.imshow(img_np) plt.axis('off') # 不显示坐标轴 plt.show() print("\n显示图片:") imshow(image_tensor)
