Apache MXNet - Python API ndarray
本章介绍 Apache MXNet 中提供的 ndarray 库。
Mxnet.ndarray
Apache MXNet 的 NDArray 库为所有数学计算定义了核心 DS（数据结构）。NDArray 的两个基本工作如下 −
它支持在各种硬件配置上快速执行。
它自动在可用硬件上并行化多个操作。
下面给出的示例展示了如何使用常规 Python 列表中的一维和二维"数组"创建 NDArray −
import mxnet as mx from mxnet import nd x = nd.array([1,2,3,4,5,6,7,8,9,10]) print(x)
输出
输出如下所示:
[ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.] <NDArray 10 @cpu(0)>
示例
y = nd.array([[1,2,3,4,5,6,7,8,9,10], [1,2,3,4,5,6,7,8,9,10], [1,2,3,4,5,6,7,8,9,10]]) print(y)
输出
这将产生以下输出 −
[[ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.] [ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.] [ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.]] <NDArray 3x10 @cpu(0)>
现在让我们详细讨论一下MXNet的ndarray API的类，函数和参数。
类
下表由MXNet的ndarray API的类组成＆minus;
| 类 | 定义 |
|---|---|
| CachedOp(sym[, flags]) | 用于Cached运算符句柄。 |
| NDArray(handle[, writable]) | 用作表示固定大小项目的多维，同构数组的数组对象。 |
函数及其参数
以下是 mxnet.ndarray API 中涵盖的一些重要函数及其参数 −
| 函数及其参数 | 定义 |
|---|---|
| Activation([data, act_type, out, name]) | 它将激活函数逐个元素应用于输入。它支持 relu、sigmoid、tanh、softrelu、softsign 激活函数。 |
| BatchNorm([data, gamma, beta, moving_mean, …]) | 它用于批量标准化。此函数通过均值和方差对数据批次进行标准化。它应用了比例 gamma 和偏移 beta。 |
| BilinearSampler([data, grid, cudnn_off, …]) |
此函数将双线性采样应用于输入特征图。实际上，它是"空间变换网络"的关键。 如果您熟悉 OpenCV 中的 remap 函数，则此函数的用法与之非常相似。唯一的区别是它有后向传递。 |
| BlockGrad([data, out, name]) | 顾名思义，此函数停止梯度计算。它基本上阻止了输入的累积梯度以向后方向流过该运算符。 |
| cast([data, dtype, out, name]) | 此函数将输入的所有元素转换为新类型。 |
实现示例
在下面的示例中，我们将使用函数 BilinierSampler() 将数据缩小两倍并将数据水平移动 -1 像素 −
import mxnet as mx from mxnet import nd data = nd.array([[[[2, 5, 3, 6], [1, 8, 7, 9], [0, 4, 1, 8], [2, 0, 3, 4]]]]) affine_matrix = nd.array([[2, 0, 0], [0, 2, 0]]) affine_matrix = nd.reshape(affine_matrix, shape=(1, 6)) grid = nd.GridGenerator(data=affine_matrix, transform_type='affine', target_shape=(4, 4)) output = nd.BilinearSampler(data, grid)
输出
执行上述代码时，您应该看到以下输出：
[[[[0. 0. 0. 0. ] [0. 4.0000005 6.25 0. ] [0. 1.5 4. 0. ] [0. 0. 0. 0. ]]]] <NDArray 1x1x4x4 @cpu(0)>
上述输出显示数据缩小两倍。
将数据平移 -1 像素的示例如下 −
import mxnet as mx from mxnet import nd data = nd.array([[[[2, 5, 3, 6], [1, 8, 7, 9], [0, 4, 1, 8], [2, 0, 3, 4]]]]) warp_matrix = nd.array([[[[1, 1, 1, 1], [1, 1, 1, 1], [1, 1, 1, 1], [1, 1, 1, 1]], [[0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0]]]]) grid = nd.GridGenerator(data=warp_matrix, transform_type='warp') output = nd.BilinearSampler(data, grid)
输出
输出如下所示 −
[[[[5. 3. 6. 0.] [8. 7. 9. 0.] [4. 1. 8. 0.] [0. 3. 4. 0.]]]] <NDArray 1x1x4x4 @cpu(0)>
同样，下面的例子展示了 cast() 函数的使用 −
nd.cast(nd.array([300, 10.1, 15.4, -1, -2]), dtype='uint8')
输出
执行后，您将收到以下输出 −
[ 44 10 15 255 254] <NDArray 5 @cpu(0)>
ndarray.contrib
Contrib NDArray API 在 ndarray.contrib 包中定义。它通常为新功能提供许多有用的实验性 API。此 API 是社区可以试用新功能的地方。功能贡献者也会得到反馈。
函数及其参数
以下是 mxnet.ndarray.contrib API 中涵盖的一些重要函数及其参数 −
| 函数及其参数 | 定义 |
|---|---|
| rand_zipfian(true_classes, num_sampled, …) | 此函数从近似 Zipfian 分布中抽取随机样本。此函数的基础分布是 Zipfian 分布。此函数随机抽样 num_sampled 个候选对象，sampled_candidates 的元素来自上面给出的基础分布。 |
| foreach(body, data, init_states) | 顾名思义，此函数在维度 0 的 NDArrays 上运行带有用户定义计算的 for 循环。此函数模拟 for 循环，body 具有 for 循环迭代的计算。 |
| while_loop(cond, func, loop_vars[, …]) | 顾名思义，此函数运行带有用户定义计算和循环条件的 while 循环。此函数模拟一个 while 循环，如果条件满足，则执行自定义计算。 |
| cond(pred, then_func, else_func) | 顾名思义，此函数使用用户定义的条件和计算运行 if-then-else。此函数模拟一个 if 类分支，根据指定条件选择执行两个自定义计算之一。 |
| isinf(data) | 此函数执行逐元素检查以确定 NDArray 是否包含无限元素。 |
| getnnz([data, axis, out, name]) | 此函数为我们提供稀疏张量的存储值的数量。它还包括显式零。它仅支持 CPU 上的 CSR 矩阵。 |
| requantize([data, min_range, max_range, …]) | 此函数使用运行时计算或校准时计算出的最小和最大阈值，将 int32 中量化的给定数据和相应的阈值重新量化为 int8。 |
实施示例
在下面的示例中，我们将使用函数 rand_zipfian 从近似 Zipfian 分布中抽取随机样本 −
import mxnet as mx from mxnet import nd trueclass = mx.nd.array([2]) samples, exp_count_true, exp_count_sample = mx.nd.contrib.rand_zipfian(trueclass, 3, 4) samples
输出
您将看到以下输出 −
[0 0 1] <NDArray 3 @cpu(0)>
示例
exp_count_true
输出
输出如下所示:
[0.53624076] <NDArray 1 @cpu(0)>
示例
exp_count_sample
输出
这将产生以下输出:
[1.29202967 1.29202967 0.75578891] <NDArray 3 @cpu(0)>
在下面的例子中，我们将使用函数 while_loop 来运行 while 循环，以进行用户定义的计算和循环条件：
cond = lambda i, s: i <= 7 func = lambda i, s: ([i + s], [i + 1, s + i]) loop_var = (mx.nd.array([0], dtype="int64"), mx.nd.array([1], dtype="int64")) outputs, states = mx.nd.contrib.while_loop(cond, func, loop_vars, max_iterations=10) outputs
输出
输出如下所示 −
[ [[ 1] [ 2] [ 4] [ 7] [ 11] [ 16] [ 22] [ 29] [3152434450384] [ 257]] <NDArray 10x1 @cpu(0)>]
示例
States
输出
这将产生以下输出 −
[ [8] <NDArray 1 @cpu(0)>, [29] <NDArray 1 @cpu(0)>]
ndarray.image
Image NDArray API 在 ndarray.image 包中定义。顾名思义，它通常用于图像及其特征。
函数及其参数
以下是 mxnet.ndarray.image API−
中涵盖的一些重要函数及其参数| 函数及其参数 | 定义 |
|---|---|
| adjust_lighting([data, alpha, out, name]) | 顾名思义，此函数调整输入的照明级别。它遵循 AlexNet 风格。 |
| crop([data, x, y, width, height, out, name]) | 借助此函数，我们可以将形状为 (H x W x C) 或 (N x H x W x C) 的图像 NDArray 裁剪为用户指定的大小。 |
| normalize([data, mean, std, out, name]) | 它将使用 mean 和 standard difference(SD) 对形状为 (C x H x W) 或 (N x C x H x W) 的张量进行归一化。 |
| random_crop([data, xrange, yrange, width, …]) | 与 crop() 类似，它随机裁剪一个图像 NDArray 的形状为 (H x W x C) 或 (N x H x W x C)，大小由用户指定。如果 src 小于该大小，它将对结果进行上采样。 |
| random_lighting([data, alpha_std, out, name]) | 顾名思义，此函数会随机添加 PCA 噪声。它也遵循 AlexNet 风格。 |
| random_resized_crop([data, xrange, yrange, …]) | 它还会将图像 NDArray 的形状为 (H x W x C) 或 (N x H x W x C)，随机裁剪为给定大小。如果 src 小于该大小，它将对结果进行上采样。它还将随机化面积和纵横比。 |
| resize([data, size, keep_ratio, interp, …]) | 顾名思义，此函数将调整形状为 (H x W x C) 或 (N x H x W x C) 的图像 NDArray 的大小，使其符合用户指定的大小。 |
| to_tensor([data, out, name]) | 它将形状为 (H x W x C) 或 (N x H x W x C) 且值在 [0, 255] 范围内的图像 NDArray 转换为形状为 (C x H x W) 或 (N x C x H x W) 且值在 [0, 1] 范围内的张量 NDArray。 |
实现示例
在下面的示例中，我们将使用函数 to_tensor 将形状为 (H x W x C) 或 (N x H x W x C) 且值在 [0, 255] 范围内的图像 NDArray 转换为形状为 (C x H x W) 或 (N x C x H x W) 且值在 [0, 1] 范围内的张量 NDArray。
import numpy as np img = mx.nd.random.uniform(0, 255, (4, 2, 3)).astype(dtype=np.uint8) mx.nd.image.to_tensor(img)
输出
您将看到以下输出 −
[[[0.972549 0.5058824 ] [0.6039216 0.01960784] [0.28235295 0.35686275] [0.11764706 0.8784314 ]] [[0.8745098 0.9764706 ] [0.4509804 0.03529412] [0.9764706 0.29411766] [0.6862745 0.4117647 ]] [[0.46666667 0.05490196] [0.7372549 0.4392157 ] [0.11764706 0.47843137] [0.31764707 0.91764706]]] <NDArray 3x4x2 @cpu(0)>
示例
img = mx.nd.random.uniform(0, 255, (2, 4, 2, 3)).astype(dtype=np.uint8) mx.nd.image.to_tensor(img)
输出
运行代码时，您将看到以下输出 −
[[[[0.0627451 0.5647059 ] [0.2627451 0.9137255 ] [0.57254905 0.27450982] [0.6666667 0.64705884]] [[0.21568628 0.5647059 ] [0.5058824 0.09019608] [0.08235294 0.31764707] [0.8392157 0.7137255 ]] [[0.6901961 0.8627451 ] [0.52156866 0.91764706] [0.9254902 0.00784314] [0.12941177 0.8392157 ]]] [[[0.28627452 0.39607844] [0.01960784 0.36862746] [0.6745098 0.7019608 ] [0.9607843 0.7529412 ]] [[0.2627451 0.58431375] [0.16470589 0.00392157] [0.5686275 0.73333335] [0.43137255 0.57254905]] [[0.18039216 0.54901963] [0.827451 0.14509805] [0.26666668 0.28627452] [0.24705882 0.39607844]]]] <NDArgt;ray 2x3x4x2 @cpu(0)>
在下面的例子中，我们将使用函数 normalize 来规范形状为 (C x H x W) 或 (N x C x H x W) 的张量，并使用 平均值 和 标准差 (SD)。
img = mx.nd.random.uniform(0, 1, (3, 4, 2)) mx.nd.image.normalize(img, mean=(0, 1, 2), std=(3, 2, 1))
输出
这将产生以下输出 −
[[[ 0.29391178 0.3218054 ] [ 0.23084386 0.19615503] [ 0.24175143 0.21988946] [ 0.16710812 0.1777354 ]] [[-0.02195817 -0.3847335 ] [-0.17800489 -0.30256534] [-0.28807247 -0.19059572] [-0.19680339 -0.26256624]] [[-1.9808068 -1.5298678 ] [-1.6984252 -1.2839255 ] [-1.3398265 -1.712009 ] [-1.7099224 -1.6165378 ]]] <NDArray 3x4x2 @cpu(0)>
示例
img = mx.nd.random.uniform(0, 1, (2, 3, 4, 2)) mx.nd.image.normalize(img, mean=(0, 1, 2), std=(3, 2, 1))
输出
执行上述代码时，您应该看到以下输出 −
[[[[ 2.0600514e-01 2.4972327e-01] [ 1.4292289e-01 2.9281738e-01] [ 4.5158025e-02 3.4287784e-02] [ 9.9427439e-02 3.0791296e-02]] [[-2.1501756e-01 -3.2297665e-01] [-2.0456362e-01 -2.2409186e-01] [-2.1283737e-01 -4.8318747e-01] [-1.7339960e-01 -1.5519112e-02]] [[-1.3478968e+00 -1.6790028e+00] [-1.5685816e+00 -1.7787373e+00] [-1.1034534e+00 -1.8587360e+00] [-1.6324382e+00 -1.9027401e+00]]] [[[ 1.4528830e-01 3.2801408e-01] [ 2.9730779e-01 8.6780310e-02] [ 2.6873133e-01 1.7900752e-01] [ 2.3462953e-01 1.4930873e-01]] [[-4.4988656e-01 -4.5021546e-01] [-4.0258706e-02 -3.2384416e-01] [-1.4287934e-01 -2.6537544e-01] [-5.7649612e-04 -7.9429924e-02]] [[-1.8505517e+00 -1.0953522e+00] [-1.1318740e+00 -1.9624406e+00] [-1.8375070e+00 -1.4916846e+00] [-1.3844404e+00 -1.8331525e+00]]]] <NDArray 2x3x4x2 @cpu(0)>
ndarray.random
Random NDArray API 在 ndarray.random 包中定义。顾名思义，它是 MXNet 的随机分布生成器 NDArray API。
函数及其参数
以下是 mxnet.ndarray.random API 中涵盖的一些重要函数及其参数 −
| 函数及其参数 | 定义 |
|---|---|
| uniform([low, high, shape, dtype, ctx, out]) | 它从均匀分布中生成随机样本。 |
| normal([loc, scale, shape, dtype, ctx, out]) | 它从正态（高斯）中生成随机样本分布。 |
| randn(*shape, **kwargs) | 它从正态（高斯）分布中生成随机样本。 |
| exponential([scale, shape, dtype, ctx, out]) | 它从指数分布中生成样本。 |
| gamma([alpha, beta, shape, dtype, ctx, out]) | 它从伽马分布中生成随机样本。 |
| multinomial(data[, shape, get_prob, out, dtype]) | 它从多个多项式中生成并发采样分布。 |
| negative_binomial([k, p, shape, dtype, ctx, out]) | 它从负二项分布中生成随机样本。 |
| generalized_negative_binomial([mu, alpha, …]) | 它从广义负二项分布中生成随机样本。 |
| shuffle(data, **kwargs) | 它随机打乱元素。 |
| randint(low, high[, shape, dtype, ctx, out]) | 它从离散均匀分布中生成随机样本分布。 |
| exponential_like([data, lam, out, name]) | 根据输入数组形状从指数分布生成随机样本。 |
| gamma_like([data, alpha, beta, out, name]) | 根据输入数组形状从伽马分布生成随机样本。 |
| generalized_negative_binomial_like([data, …]) | 根据输入数组形状从广义负二项分布生成随机样本。 |
| negative_binomial_like([data, k, p, out, name]) | 根据输入数组形状。 |
| normal_like([data, loc, scale, out, name]) | 根据输入数组形状，从正态（高斯）分布生成随机样本。 |
| poisson_like([data, lam, out, name]) | 根据输入数组形状，从泊松分布生成随机样本。 |
| uniform_like([data, low, high, out, name]) | 根据输入数组形状，从均匀分布生成随机样本。 |
实施示例
在下面的示例中，我们将从均匀分布中抽取随机样本。为此将使用函数uniform()。
mx.nd.random.uniform(0, 1)
输出
输出如下 −
[0.12381998] <NDArray 1 @cpu(0)>
示例
mx.nd.random.uniform(-1, 1, shape=(2,))
输出
输出如下所示 −
[0.558102 0.69601643] <NDArray 2 @cpu(0)>
示例
low = mx.nd.array([1,2,3]) high = mx.nd.array([2,3,4]) mx.nd.random.uniform(low, high, shape=2)
输出
您将看到以下输出 −
[[1.8649333 1.8073189] [2.4113967 2.5691009] [3.1399727 3.4071832]] <NDArray 3x2 @cpu(0)>
在下面的例子中，我们将从广义负二项分布中抽取随机样本。为此，我们将使用函数 generalized_negative_binomial()。
mx.nd.random.generalized_negative_binomial(10, 0.5)
输出
执行上述代码时，您应该看到以下输出 −
[1.] < NDArray 1 @cpu(0)>
示例
mx.nd.random.generalized_negative_binomial(10, 0.5, shape=(2,))输出
输出如下 −
[16. 23.] <NDArray 2 @cpu(0)>示例
mu = mx.nd.array([1,2,3]) alpha = mx.nd.array([0.2,0.4,0.6]) mx.nd.random.generalized_negative_binomial(mu, alpha, shape=2)输出
下面给出了代码的输出 −
[[0. 0.] [4. 1.] [9. 3.]] <NDArray 3x2 @cpu(0)>ndarray.utils
实用程序 NDArray API 在 ndarray.utils 包中定义。顾名思义，它为 NDArray 和 BaseSparseNDArray 提供实用函数。
函数及其参数
以下是 mxnet.ndarray.utils API 中涵盖的一些重要函数及其参数 −
函数及其参数 定义 zeros(shape[, ctx, dtype, stype]) 此函数将返回一个给定形状和类型的新数组，并用零填充。 empty(shape[, ctx, dtype, stype]) 它将返回一个给定形状和类型的新数组，不包含任何值初始化条目。 array(source_array[, ctx, dtype]) 顾名思义，此函数将从任何公开数组接口的对象创建一个数组。 load(fname) 它将从文件加载一个数组。 load_frombuffer(buf) 顾名思义，此函数将从缓冲区加载数组字典或列表 save(fname, data) 此函数将数组列表或 str->array 的字典保存到文件。 实现示例
在示例中下面，我们将返回一个给定形状和类型的新数组，并用零填充。为此，我们将使用函数 zeros()。
mx.nd.zeros((1,2), mx.cpu(), stype='csr')输出
这将产生以下输出 −
<CSRNDArray 1x2 @cpu(0)>示例
mx.nd.zeros((1,2), mx.cpu(), 'float16', stype='row_sparse').asnumpy()输出
您将收到以下输出 −
array([[0., 0.]], dtype=float16)在下面的示例中，我们将保存一个数组列表和一个字符串字典。为此，我们将使用函数 save()。
示例
x = mx.nd.zeros((2,3)) y = mx.nd.ones((1,4)) mx.nd.save('list', [x,y]) mx.nd.save('dict', {'x':x, 'y':y}) mx.nd.load('list')输出
执行后，您将收到以下输出 −
[ [[0. 0. 0.] [0. 0. 0.]] <NDArray 2x3 @cpu(0)>, [[1. 1. 1. 1.]] <NDArray 1x4 @cpu(0)>]示例
mx.nd.load('my_dict')输出
输出如下所示 −
{'x': [[0. 0. 0.] [0. 0. 0.]] <NDArray 2x3 @cpu(0)>, 'y': [[1. 1. 1. 1.]] <NDArray 1x4 @cpu(0)>}
