pytorch基础

块

块的定义

块（block）可以描述单个层、由多个层组成的组件或整个模型本身。

使用块进行抽象的一个好处是可以将一些块组合成更大的组件，这一过程通常是递归的，如所示。通过定义代码来按需生成任意复杂度的块，我们可以通过简洁的代码实现复杂的神经网络。

../_images/blocks.svg

从编程的角度来看，块由类（class）表示。它的任何子类都必须定义一个将其输入转换为输出的前向传播函数，并且必须存储任何必需的参数。注意，有些块不需要任何参数。最后，为了计算梯度，块必须具有反向传播函数。在定义我们自己的块时，由于自动微分提供了一些后端实现，我们只需要考虑前向传播函数和必需的参数。

比如多层感知机的代码：

import torch
from torch import nn
from torch.nn import functional as F

net = nn.Sequential(nn.Linear(20, 256), nn.ReLU(), nn.Linear(256, 10))

X = torch.rand(2, 20)
net(X)

上面的代码生成一个网络，其中包含一个具有256个单元和ReLU激活函数的全连接隐藏层，然后是一个具有10个隐藏单元且不带激活函数的全连接输出层。

在这个例子中，我们通过实例化nn.Sequential来构建我们的模型，层的执行顺序是作为参数传递的。简而言之，nn.Sequential定义了一种特殊的Module，即在PyTorch中表示一个块的类，它维护了一个由Module组成的有序列表。注意，两个全连接层都是Linear类的实例， Linear类本身就是Module的子类。

另外，到目前为止，我们一直在通过net(X)调用我们的模型来获得模型的输出。这实际上是net.__call__(X)的简写。这个前向传播函数非常简单：它将列表中的每个块连接在一起，将每个块的输出作为下一个块的输入。

自定义块

每个块必须提供的基本功能如下：

将输入数据作为其前向传播函数的参数。
通过前向传播函数来生成输出。请注意，输出的形状可能与输入的形状不同。例如，我们上面模型中的第一个全连接的层接收一个20维的输入，但是返回一个维度为256的输出。
计算其输出关于输入的梯度，可通过其反向传播函数进行访问。通常这是自动发生的。
存储和访问前向传播计算所需的参数。
根据需要初始化模型参数。

我们从零开始编写一个块。它包含一个多层感知机，其具有256个隐藏单元的隐藏层和一个10维输出层

class MLP(nn.Module):
    # 用模型参数声明层。这里，我们声明两个全连接的层
    def __init__(self):
        # 调用MLP的父类Module的构造函数来执行必要的初始化。
        # 这样，在类实例化时也可以指定其他函数参数，例如模型参数params（稍后将介绍）
        super().__init__()
        self.hidden = nn.Linear(20, 256)  # 隐藏层
        self.out = nn.Linear(256, 10)  # 输出层

    # 定义模型的前向传播，即如何根据输入X返回所需的模型输出
    def forward(self, X):
        # 注意，这里我们使用ReLU的函数版本，其在nn.functional模块中定义。
        return self.out(F.relu(self.hidden(X)))

首先看一下前向传播函数，它以X作为输入，计算带有激活函数的隐藏表示，并输出其未规范化的输出值。在这个MLP实现中，两个层都是实例变量

接着我们实例化多层感知机的层，然后在每次调用前向传播函数时调用这些层。注意一些关键细节：首先，我们定制的__init__函数通过super().__init__() 调用父类的__init__函数，省去了重复编写模版代码的痛苦

然后，我们实例化两个全连接层，分别为self.hidden和self.out。注意，除非我们实现一个新的运算符，否则我们不必担心反向传播函数或参数初始化，系统将自动生成这些

顺序块

为了构建我们自己的简化的MySequential，我们只需要定义两个关键函数：

一种将块逐个追加到列表中的函数；
一种前向传播函数，用于将输入按追加块的顺序传递给块组成的“链条”。

下面的MySequential类提供了与默认Sequential类相同的功能。

class MySequential(nn.Module):
    def __init__(self, *args):
        super().__init__()
        for idx, module in enumerate(args):
            # 这里，module是Module子类的一个实例。我们把它保存在'Module'类的成员
            # 变量_modules中。_module的类型是OrderedDict
            self._modules[str(idx)] = module

    def forward(self, X):
        # OrderedDict保证了按照成员添加的顺序遍历它们
        for block in self._modules.values():
            X = block(X)
        return X

_modules的主要优点是：在模块的参数初始化过程中，系统知道在_modules字典中查找需要初始化参数的子块

OrderedDict是Python标准库collections模块中的一个类，它是字典（dict）的一个子类，提供了所有常规字典的方法。与普通的字典不同，OrderedDict记住了元素添加的顺序。这意味着当你对OrderedDict进行迭代或序列化操作时，元素的顺序会按照它们被添加的顺序来进行，这是OrderedDict的主要特性。

在前向传播函数中执行代码

Sequential类使模型构造变得简单，允许我们组合新的架构，而不必定义自己的类。然而，并不是所有的架构都是简单的顺序架构，当需要更强的灵活性时，我们需要定义自己的块

到目前为止，我们网络中的所有操作都对网络的激活值及网络的参数起作用。然而，有时我们可能希望合并既不是上一层的结果也不是可更新参数的项，我们称之为常数参数

# 定义FixedHiddenMLP类，它继承自nn.Module
class FixedHiddenMLP(nn.Module):
    def __init__(self):
        super().__init__()  # 调用父类的构造函数进行初始化
        # 初始化一个固定的随机权重矩阵，这个权重在训练过程中不会被更新
        # requires_grad=False意味着不需要计算梯度，即这个权重不会在反向传播中更新
        self.rand_weight = torch.rand((20, 20), requires_grad=False)
        # 定义一个线性层（全连接层），输入和输出维度都是20
        self.linear = nn.Linear(20, 20)

    def forward(self, X):
        # 将输入X通过一个线性层
        X = self.linear(X)
        # 应用ReLU激活函数，并通过固定的随机权重矩阵进行矩阵乘法运算
        # torch.mm用于矩阵乘法，加上1是对结果的一个简单偏置调整
        X = F.relu(torch.mm(X, self.rand_weight) + 1)
        # 再次将X通过相同的线性层（全连接层），这相当于两个全连接层共享了相同的参数
        # 参数共享意味着在两次不同的操作中，使用了相同的权重和偏置，而不是输入数据相同。
        X = self.linear(X)
        # 使用控制流（一个while循环），不断地将X除以2，直到X的绝对值之和小于等于1
        while X.abs().sum() > 1:
            X /= 2
        # 返回X的元素和，这是这个网络的最终输出
        return X.sum()

注意，在返回输出之前，模型做了一些不寻常的事情：它运行了一个while循环，在$L_1$范数大于1的条件下，将输出向量除以2，直到它满足条件为止。最后，模型返回了X中所有项的和。注意，此操作可能不会常用于在任何实际任务中，我们只展示如何将任意代码集成到神经网络计算的流程中。

参数管理

选择了架构并设置了超参数后，我们就进入了训练阶段。此时，我们的目标是找到使损失函数最小化的模型参数值。经过训练后，我们将需要使用这些参数来做出未来的预测。此外，有时我们希望提取参数，以便在其他环境中复用它们，将模型保存下来，以便它可以在其他软件中执行，或者为了获得科学的理解而进行检查。

本节，我们将介绍以下内容：

访问参数，用于调试、诊断和可视化；
参数初始化；
在不同模型组件间共享参数。

先创建一个单隐藏层的多层感知机

import torch
from torch import nn

# 定义一个顺序模型
net = nn.Sequential(
    nn.Linear(4, 8),  # 第一个全连接层，接受4个特征的输入，输出8个特征
    nn.ReLU(),        # ReLU激活函数，引入非线性，增强模型的表达能力
    nn.Linear(8, 1)   # 第二个全连接层，将8个特征转换为1个输出特征
)

# 创建一个形状为(2, 4)的随机张量，模拟两个具有4个特征的样本
X = torch.rand(size=(2, 4))

# 将X作为输入传递给顺序模型，执行前向传播计算
# 输出为模型根据输入特征对每个样本做出的预测结果
output = net(X)

# 打印模型的输出
print(output)

参数访问

我们从已有模型中访问参数。当通过Sequential类定义模型时，我们可以通过索引来访问模型的任意层。这就像模型是一个列表一样，每层的参数都在其属性中。如下所示，我们可以检查第二个全连接层的参数。

1 2	print(net[2].state_dict()) #输出：OrderedDict([('weight', tensor([[-0.0427, -0.2939, -0.1894, 0.0220, -0.1709, -0.1522, -0.0334, -0.2263]])), ('bias', tensor([0.0887]))])

state_dict()方法返回一个包含该层参数的Python字典，其中键是参数名称，值是参数值（权重和偏置）。

输出的结果告诉我们一些重要的事情：首先，这个全连接层包含两个参数，分别是该层的权重和偏置。两者都存储为单精度浮点数（float32）。注意，参数名称允许唯一标识每个参数，即使在包含数百个层的网络中也是如此。

注意，每个参数都表示为参数类的一个实例。要对参数执行任何操作，首先我们需要访问底层的数值。有几种方法可以做到这一点。有些比较简单，而另一些则比较通用。

下面的代码从第二个全连接层（即第三个神经网络层）提取偏置，提取后返回的是一个参数类实例，并进一步访问该参数的值。

print(type(net[2].bias))
print(net[2].bias)
print(net[2].bias.data)
"""
输出：
<class 'torch.nn.parameter.Parameter'>
Parameter containing:
tensor([0.0887], requires_grad=True)
tensor([0.0887])
"""

参数是复合的对象，包含值、梯度和额外信息。这就是我们需要显式参数值的原因。除了值之外，我们还可以访问每个参数的梯度

访问单层

当我们需要对所有参数执行操作时，逐个访问它们可能会很麻烦。当我们处理更复杂的块（例如，嵌套块）时，情况可能会变得特别复杂，因为我们需要递归整个树来提取每个子块的参数。下面，我们将通过演示来比较访问第一个全连接层的参数和访问所有层。

1 2	print(*[(name, param.shape) for name, param in net[0].named_parameters()]) #输出结果：('weight', torch.Size([8, 4])) ('bias', torch.Size([8]))

[(name, param.shape) for name, param in net[0].named_parameters()]是一个列表推导式，用于创建一个列表。列表中的每个元素都是由name和param.shape组成的元组，其中name是参数的名称（如'weight'或'bias'），param.shape是对应参数的形状（即它的尺寸）。
net[0]访问net这个nn.Sequential模型的第一个模块（层）。named_parameters()是一个方法，返回模块中所有参数的迭代器，其中每个参数由其名称和参数本身组成。这意味着你会遍历第一个层中的所有参数，例如全连接层的权重和偏置。
在print函数调用中，*操作符用于解包列表，这意味着列表中的每个元素都将作为独立的参数传递给print函数。这样，列表中的每个元组都将单独打印，而不是打印整个列表。

访问所有层

1
2
3

print(*[(name, param.shape) for name, param in net.named_parameters()])
#输出结果：('0.weight', torch.Size([8, 4])) ('0.bias', torch.Size([8])) 
#('2.weight', torch.Size([1, 8])) ('2.bias', torch.Size([1]))

列表推导式仍然用于创建一个列表，列表中的每个元素是由参数的名称和形状组成的元组。
net.named_parameters()方法：

与net[0].named_parameters()不同，net.named_parameters()遍历整个nn.Sequential模型的所有参数。这意味着它不仅包括第一个层的参数，而且包括模型中所有层的参数。

weight和bias前面的编号表示在Sequential中的位置

这为我们提供了另一种访问网络参数的方式，如下所示，访问第三层的偏置参数

1	net.state_dict()['2.bias'].data

嵌套块

import torch
from torch import nn

# 定义一个简单的模块，该模块包含两个全连接层和两个ReLU激活函数
def block1():
    # 第一个全连接层将输入特征从4维扩展到8维
    # 第二个全连接层将特征从8维缩减回4维
    # 每个全连接层后面跟着一个ReLU激活函数，以引入非线性
    return nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
                         nn.Linear(8, 4), nn.ReLU())

# 定义另一个模块，该模块通过循环创建4个block1模块并将它们添加到一个Sequential模型中
def block2():
    net = nn.Sequential()  # 创建一个空的Sequential模型
    for i in range(4):
        # 循环中，为Sequential模型动态添加block1模块
        # 使用格式化字符串为每个嵌套的block1提供唯一的名称
        net.add_module(f'block {i}', block1())
    return net

# 创建最终的神经网络rgnet
# 首先使用block2函数得到的模块，它包含了4个嵌套的block1模块
# 然后添加一个全连接层，将特征从4维缩减为1维，可能用于回归任务的输出层
rgnet = nn.Sequential(block2(), nn.Linear(4, 1))

# 创建一个随机输入张量X，用于演示模型的前向传播
X = torch.rand(size=(2, 4))

# 将输入X传递给模型rgnet进行前向传播，打印输出结果
print(rgnet(X))

设计了网络后，我们看看它是如何工作的。

1	print(rgnet)

Sequential(
  (0): Sequential(
    (block 0): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
    (block 1): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
    (block 2): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
    (block 3): Sequential(
      (0): Linear(in_features=4, out_features=8, bias=True)
      (1): ReLU()
      (2): Linear(in_features=8, out_features=4, bias=True)
      (3): ReLU()
    )
  )
  (1): Linear(in_features=4, out_features=1, bias=True)
)

因为层是分层嵌套的，所以我们也可以像通过嵌套列表索引一样访问它们。下面，我们访问第一个主要的块中、第二个子块的第一层的偏置项。

1 2	rgnet[0][1][0].bias.data #输出：tensor([ 0.1999, -0.4073, -0.1200, -0.2033, -0.1573, 0.3546, -0.2141, -0.2483])

参数初始化

深度学习框架提供默认随机初始化，也允许我们创建自定义初始化方法，满足我们通过其他规则实现初始化权重。

默认情况下，PyTorch会根据一个范围均匀地初始化权重和偏置矩阵，这个范围是根据输入和输出维度计算出的。 PyTorch的nn.init模块提供了多种预置初始化方法。

内置初始化

下面的代码将所有权重参数初始化为标准差为0.01的高斯随机变量，且将偏置参数设置为0。

def init_normal(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, mean=0, std=0.01)
        nn.init.zeros_(m.bias)
net.apply(init_normal)
net[0].weight.data[0], net[0].bias.data[0]

我们还可以对某些块应用不同的初始化方法。例如，下面我们使用Xavier初始化方法初始化第一个神经网络层，然后将第三个神经网络层初始化为常量值42。

def init_xavier(m):
    # 检查m是否为线性层 (nn.Linear)
    if type(m) == nn.Linear:
        # 使用Xavier均匀初始化方法初始化权重
        nn.init.xavier_uniform_(m.weight)
        
def init_42(m):
    # 检查m是否为线性层 (nn.Linear)
    if type(m) == nn.Linear:
        # 将权重初始化为常数42
        nn.init.constant_(m.weight, 42)
  
net[0].apply(init_xavier)
net[2].apply(init_42)

自定义初始化

在下面的例子中，我们使用以下的分布为任意权重参数$w$定义初始化方法：

$\begin{split}\begin{aligned} w \sim \begin{cases} U(5, 10) & \text{ 可能性 } \frac{1}{4} \\ 0 & \text{ 可能性 } \frac{1}{2} \\ U(-10, -5) & \text{ 可能性 } \frac{1}{4} \end{cases} \end{aligned}\end{split}$

def my_init(m):
    # 检查传入的模块 m 是否是线性层 (nn.Linear)
    if type(m) == nn.Linear:
        # 打印出线性层的参数名称和形状。这里使用了列表解析和 named_parameters 方法来获取参数，
        # 并且仅展示了第一个参数（通常是权重）的名称和形状。
        print("Init", *[(name, param.shape)
                        for name, param in m.named_parameters()][0])
        
        # 使用均匀分布初始化权重，范围是 [-10, 10]。
        nn.init.uniform_(m.weight, -10, 10)
        
        # 修改权重，只保留绝对值大于等于5的权重，其他的权重被设置为0。
        # 这是通过先计算 m.weight.data.abs() >= 5 得到一个布尔型张量，
        # 然后用这个张量乘以 m.weight.data 实现的。
        m.weight.data *= m.weight.data.abs() >= 5

# 将自定义初始化函数 my_init 应用到网络的所有层上。
# apply 方法会递归地遍历所有子模块，并对每个子模块调用 my_init 函数。
net.apply(my_init)

# 打印出第一个线性层的前两个权重数据。
# 这里假设 net[0] 是一个 nn.Linear 层，并且我们感兴趣的是查看经过自定义初始化后的前两行权重值。
net[0].weight[:2]

参数绑定

有时我们希望在多个层间共享参数：我们可以定义一个全连接层，然后使用它的参数来设置另一个层的参数。

# 我们需要给共享层一个名称，以便可以引用它的参数
shared = nn.Linear(8, 8)  # 定义一个共享的全连接层（稠密层），输入和输出特征数量都是8

# 定义一个神经网络，其中包含了一个输入层，两个激活层，两次使用共享层，和一个输出层
net = nn.Sequential(
    nn.Linear(4, 8),  # 第一个全连接层，将输入特征从4维映射到8维
    nn.ReLU(),  # 第一个ReLU激活函数，引入非线性
    shared,  # 第一次使用共享层
    nn.ReLU(),  # 第二个ReLU激活函数
    shared,  # 第二次使用相同的共享层
    nn.ReLU(),  # 第三个ReLU激活函数
    nn.Linear(8, 1)  # 输出层，将特征从8维映射到1维
)
net(X)  # 将输入数据X通过网络进行前向传播

# 检查共享层的两个实例是否有相同的权重数据
print(net[2].weight.data[0] == net[4].weight.data[0])

# 修改共享层中的权重参数
net[2].weight.data[0, 0] = 100  # 将共享层的第一个权重修改为100

# 确保共享层的修改影响到了所有引用该层的地方，证明它们实际上是同一个对象
print(net[2].weight.data[0] == net[4].weight.data[0])

输出结果：

1 2	tensor([True, True, True, True, True, True, True, True]) tensor([True, True, True, True, True, True, True, True])

这个例子表明第三个和第五个神经网络层的参数是绑定的。它们不仅值相等，而且由相同的张量表示。因此，如果我们改变其中一个参数，另一个参数也会改变

延后初始化

深度学习框架无法判断网络的输入维度是什么。这里的诀窍是框架的延后初始化（defers initialization），即直到数据第一次通过模型传递时，框架才会动态地推断出每个层的大小。

在以后，当使用卷积神经网络时，由于输入维度（即图像的分辨率）将影响每个后续层的维数，有了该技术将更加方便。现在我们在编写代码时无须知道维度是什么就可以设置参数，这种能力可以大大简化定义和修改模型的任务。接下来，我们将更深入地研究初始化机制。

实例化网络

import torch
from torch import nn

"""延后初始化"""
net = nn.Sequential(nn.LazyLinear(256), nn.ReLU(), nn.LazyLinear(10))
# print(net[0].weight)  # 尚未初始化
print(net)

此时，因为输入维数是未知的，所以网络不可能知道输入层权重的维数。因此，框架尚未初始化任何参数，我们通过尝试访问以下参数进行确认。

1	[net[i].state_dict() for i in range(len(net))]

输出结果：

[OrderedDict([('weight', <UninitializedParameter>),
              ('bias', <UninitializedParameter>)]),
 OrderedDict(),
 OrderedDict([('weight', <UninitializedParameter>),
              ('bias', <UninitializedParameter>)])]

请注意，每个层对象都存在，但权重为空。使用net.get_weights()将抛出一个错误，因为权重尚未初始化。

接下来让我们将数据通过网络，最终使框架初始化参数。

1
2
3

X = torch.rand(2, 20)
net(X)
print(net)

一旦我们知道输入维数是20，框架可以通过代入值20来识别第一层权重矩阵的形状。识别出第一层的形状后，框架处理第二层，依此类推，直到所有形状都已知为止。注意，在这种情况下，只有第一层需要延迟初始化，但是框架仍是按顺序初始化的。等到知道了所有的参数形状，框架就可以初始化参数。

自定义层

不带参数的层

下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。

import torch
import torch.nn.functional as F
from torch import nn


class CenteredLayer(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, X):
        return X - X.mean()

现在，我们可以将层作为组件合并到更复杂的模型中。

1	net = nn.Sequential(nn.Linear(8, 128), CenteredLayer())

带参数的层

我们继续定义具有参数的层，这些参数可以通过训练进行调整。我们可以使用内置函数来创建参数，这些函数提供一些基本的管理功能。比如管理访问、初始化、共享、保存和加载模型参数。这样做的好处之一是：我们不需要为每个自定义层编写自定义的序列化程序。

现在，让我们实现自定义版本的全连接层。回想一下，该层需要两个参数，一个用于表示权重，另一个用于表示偏置项。在此实现中，我们使用修正线性单元作为激活函数。该层需要输入参数：in_units和units，分别表示输入数和输出数。

# 定义一个继承自nn.Module的自定义层，这样它就可以利用PyTorch的自动求导等功能
class MyLinear(nn.Module):
    # 类的初始化函数，接收输入特征数量（in_units）和输出特征数量（units）作为参数
    def __init__(self, in_units, units):
        super().__init__()  # 调用父类的初始化函数，进行必要的初始化操作
        # 创建一个参数，表示权重，使用正态分布随机初始化。权重的形状是[in_units, units]，
        # 这样它就可以和输入数据进行矩阵乘法操作
        self.weight = nn.Parameter(torch.randn(in_units, units))
        # 创建一个参数，表示偏置，也使用正态分布随机初始化。偏置的形状是[units,]，
        # 每个输出特征都有一个对应的偏置
        self.bias = nn.Parameter(torch.randn(units,))

    # 定义前向传播函数，接收输入X
    def forward(self, X):
        # 计算输入X和权重的矩阵乘法，然后加上偏置。注意这里直接使用了`.data`，
        # 通常不推荐这样做，因为这样会绕过PyTorch的自动求导，不会计算梯度
        linear = torch.matmul(X, self.weight.data) + self.bias.data
        # 应用ReLU激活函数，将所有负值设为0，返回激活后的结果
        return F.relu(linear)

接下来，我们实例化MyLinear类并访问其模型参数。

1 2	linear = MyLinear(5, 3) linear.weight

Parameter containing:
tensor([[ 0.1775, -1.4539,  0.3972],
        [-0.1339,  0.5273,  1.3041],
        [-0.3327, -0.2337, -0.6334],
        [ 1.2076, -0.3937,  0.6851],
        [-0.4716,  0.0894, -0.9195]], requires_grad=True)

我们可以使用自定义层直接执行前向传播计算。

1	linear(torch.rand(2, 5))

1 2	tensor([[0., 0., 0.], [0., 0., 0.]])

我们还可以使用自定义层构建模型，就像使用内置的全连接层一样使用自定义层。

1 2	net = nn.Sequential(MyLinear(64, 8), MyLinear(8, 1)) net(torch.rand(2, 64))

读写文件

加载和保存张量

对于单个张量，我们可以直接调用load和save函数分别读写它们。这两个函数都要求我们提供一个名称，save要求将要保存的变量作为输入。

import torch
from torch import nn
from torch.nn import functional as F

x = torch.arange(4)
torch.save(x, 'x-file')

我们现在可以将存储在文件中的数据读回内存。

1
2
3

x2 = torch.load('x-file')
x2
#输出结果:tensor([0, 1, 2, 3])

我们甚至可以写入或读取从字符串映射到张量的字典。当我们要读取或写入模型中的所有权重时，这很方便。

mydict = {'x': x, 'y': y}
torch.save(mydict, 'mydict')
mydict2 = torch.load('mydict')
mydict2

加载和保存模型参数

保存单个权重向量（或其他张量）确实有用，但是如果我们想保存整个模型，并在以后加载它们，单独保存每个向量则会变得很麻烦。毕竟，我们可能有数百个参数散布在各处。因此，深度学习框架提供了内置函数来保存和加载整个网络。

class MLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.hidden = nn.Linear(20, 256)
        self.output = nn.Linear(256, 10)

    def forward(self, x):
        return self.output(F.relu(self.hidden(x)))

net = MLP()
X = torch.randn(size=(2, 20))
Y = net(X)

接下来，我们将模型的参数存储在一个叫做“mlp.params”的文件中。

1	torch.save(net.state_dict(), 'mlp.params')

为了恢复模型，我们实例化了原始多层感知机模型的一个备份。这里我们不需要随机初始化模型参数，而是直接读取文件中存储的参数。

clone = MLP()
clone.load_state_dict(torch.load('mlp.params'))
clone.eval()

"""
输出结果：
MLP(
  (hidden): Linear(in_features=20, out_features=256, bias=True)
  (output): Linear(in_features=256, out_features=10, bias=True)
)
"""