Python API Autograd 和 Initializer

本章介绍 MXNet 中的 autograd 和初始化 API。

mxnet.autograd

这是 MXNet 的 NDArray autograd API。它具有以下类 −

类：Function()

它用于 autograd 中的自定义微分。它可以写为 mxnet.autograd.Function。如果出于任何原因，用户不想使用由默认链式规则计算的梯度，那么他/她可以使用 mxnet.autograd 的 Function 类来自定义计算微分。它有两种方法，即 Forward() 和 Backward()。

让我们借助以下几点来理解这个类的工作原理 −

• 首先，我们需要在前向方法中定义我们的计算。

• 然后，我们需要在后向方法中提供定制的微分。

• 现在在梯度计算期间，mxnet.autograd 将使用用户定义的后向函数，而不是用户定义的后向函数。我们还可以转换为 numpy 数组并返回以进行前向和后向的一些操作。

示例

在使用 mxnet.autograd.function 类之前，让我们定义一个稳定的 sigmoid 函数，其中包含后向和前向方法，如下所示 −

class sigmoid(mx.autograd.Function):
   def forward(self, x):
      y = 1 / (1 + mx.nd.exp(-x))
      self.save_for_backward(y)
      return y
   
   def backward(self, dy):
      y, = self.saved_tensors
      return dy * y * (1-y)

现在，函数类可以按如下方式使用 −

func = sigmoid()
x = mx.nd.random.uniform(shape=(10,))
x.attach_grad()
with mx.autograd.record():
m = func(x)
m.backward()
dx_grad = x.grad.asnumpy()
dx_grad

输出

运行代码时，您将看到以下输出 −

array([0.21458015, 0.21291625, 0.23330082, 0.2361367 , 0.23086983,
0.24060014, 0.20326573, 0.21093895, 0.24968489, 0.24301809],
dtype=float32)

方法及其参数

以下是 mxnet.autogard.function 类 − 的方法及其参数

实施示例

在下面的示例中，我们将使用 mxnet.autograd.grad() 方法来计算头部相对于变量的梯度−

x = mx.nd.ones((2,))
x.attach_grad()
with mx.autograd.record():
z = mx.nd.elemwise_add(mx.nd.exp(x), x)
dx_grad = mx.autograd.grad(z, [x], create_graph=True)
dx_grad

输出

输出如下 −

[
[3.7182817 3.7182817]
<NDArray 2 @cpu(0)>]

我们可以使用 mxnet.autograd.predict_mode() 方法返回要在'with'语句中使用的范围 −

with mx.autograd.record():
y = model(x)
with mx.autograd.predict_mode():
y = sampling(y)
backward([y])

mxnet.intializer

这是 MXNet 的权重初始化 API。它具有以下类 −

类及其参数

以下是 mxnet.autogard.function 类的方法及其参数：

实施示例

在下面的示例中，我们将使用 mxnet.init.Normal() 类创建一个初始化程序并检索其参数 −

init = mx.init.Normal(0.8)
init.dumps()

输出

输出如下所示 −

'["normal", {"sigma": 0.8}]'

示例

init = mx.init.Xavier(factor_type="in", magnitude=2.45)
init.dumps()

输出

输出如下所示 −

'["xavier", {"rnd_type": "uniform", "factor_type": "in", "magnitude": 2.45}]'

在下面的例子中，我们将使用 mxnet.initializer.Mixed() 类来使用多个初始化器初始化参数 −

init = mx.initializer.Mixed(['bias', '.*'], [mx.init.Zero(),
mx.init.Uniform(0.1)])
module.init_params(init)

for dictionary in module.get_params():
for key in dictionary:
print(key)
print(dictionary[key].asnumpy())

输出

输出如下所示 −

fullyconnected1_weight
[[ 0.0097627 0.01856892 0.04303787]]
fullyconnected1_bias
[ 0.]