多层感知机与正则化技术：高级API实现多层感知机

多层感知机的简洁实现

学习目标

通过本课程，学员将了解到如何更简洁地实现多层感知机，具体来说，学员会学习使用高级API更简洁地实现多层感知机、多层感知机的实现与softmax回归的实现相比增加了带有激活函数的隐藏层、以及如何将与模型架构有关的内容独立出来等重要内容。

相关知识点

• 多层感知机简洁实现

学习内容

1 多层感知机简洁实现

本课程将介绍通过高级API更简洁地实现多层感知机。
首先，我们使用PyTorch的torch库，并引入必要的模块，如nn（神经网络模块）和d2l（用于简化代码的工具库）。

%pip install d2l==0.17.6--no-deps

importtorchfromtorchimportnnimporttorchvisionfromtorch.utilsimportdatafromtorch.utils.dataimportDataLoaderfromtorchvisionimporttransformsfromd2limporttorchasd2l

1.1 构建模型

与softmax回归的简洁实现相比，
唯一的区别是我们添加了2个全连接层（之前只添加了1个全连接层）。

第一层是隐藏层，它包含256个隐藏单元，并使用了ReLU激活函数。ReLU（Rectified Linear Unit）激活函数用于引入非线性，使得模型能够学习更复杂的模式。
第二层是输出层。用于生成最终的分类结果。
接下来，我们定义一个权重初始化函数init_weights，用于初始化模型中的线性层权重。这里我们使用正态分布初始化权重，标准差设为0.01。
然后，我们使用net.apply(init_weights)将初始化函数应用到模型的所有层。

net=nn.Sequential(nn.Flatten(),nn.Linear(784,256),nn.ReLU(),nn.Linear(256,10))definit_weights(m):iftype(m)==nn.Linear:nn.init.normal_(m.weight,std=0.01)net.apply(init_weights);

1.2 训练过程

训练过程的实现与我们实现softmax回归时完全相同，这种模块化设计使我们能够将与模型架构有关的内容独立出来。
我们设置批量大小batch_size为256，学习率lr为0.1，训练轮数num_epochs为10。损失函数使用交叉熵损失CrossEntropyLoss，优化器使用随机梯度下降SGD

batch_size,lr,num_epochs=256,0.1,10loss=nn.CrossEntropyLoss(reduction='none')trainer=torch.optim.SGD(net.parameters(),lr=lr)

然后，我们加载Fashion-MNIST数据集，并开始训练模型。

# 下载数据!wget https://model-community-picture.obs.cn-north-4.myhuaweicloud.com/ascend-zone/notebook_datasets/f3c4da6614e611f0b571fa163edcddae/FashionMNIST.zip

!unzip FashionMNIST.zip

# 通过ToTensor实例将图像数据从PIL类型变换成32位浮点数格式，# 并除以255使得所有像素的数值均在0～1之间trans=transforms.ToTensor()mnist_train=torchvision.datasets.FashionMNIST(root="./data",train=True,transform=trans,download=False)mnist_test=torchvision.datasets.FashionMNIST(root="./data",train=False,transform=trans,download=False)

# 使用 DataLoader 实现分批次加载train_iter=DataLoader(mnist_train,batch_size=batch_size,shuffle=True)test_iter=DataLoader(mnist_test,batch_size=batch_size,shuffle=False)

d2l.train_ch3(net,train_iter,test_iter,loss,num_epochs,trainer)