人工神经网络 - 基本概念
神经网络是并行计算设备，基本上是尝试制作大脑的计算机模型。主要目标是开发一个比传统系统更快地执行各种计算任务的系统。这些任务包括模式识别和分类、近似、优化和数据聚类。
什么是人工神经网络？
人工神经网络 (ANN) 是一种高效的计算系统，其核心主题借鉴了生物神经网络的类比。ANN 也被称为"人工神经系统"或"并行分布式处理系统"或"联结系统"。ANN 获得大量以某种模式互连的单元，以允许单元之间进行通信。这些单元也称为节点或神经元，是并行运行的简单处理器。
每个神经元都通过连接链接与其他神经元相连。每个连接链接都与一个权重相关联，该权重包含有关输入信号的信息。这是神经元解决特定问题最有用的信息，因为权重通常会激发或抑制正在传达的信号。每个神经元都有一个内部状态，称为激活信号。将输入信号和激活规则组合后产生的输出信号可以发送到其他单元。
ANN 简史
ANN 的历史可以分为以下三个时代 −
20 世纪 40 年代至 60 年代的 ANN
这个时代的一些关键发展如下 −
1943 −人们认为神经网络的概念始于生理学家 Warren McCulloch 和数学家 Walter Pitts 的工作，1943 年，他们使用电路建模了一个简单的神经网络，以描述大脑中的神经元如何工作。
1949 − Donald Hebb 的书《行为的组织》提出了这样一个事实：一个神经元被另一个神经元反复激活，每次使用时都会增加其强度。
1956 − Taylor 引入了联想记忆网络。
1958 − Rosenblatt 发明了一种名为感知器的 McCulloch 和 Pitts 神经元模型的学习方法。
1960 − Bernard Widrow 和 Marcian Hoff 开发了称为"ADALINE"和"MADALINE"的模型。
20 世纪 60 年代至 80 年代的 ANN
这个时代的一些关键发展如下 −
1961 − Rosenblatt 进行了一次不成功的尝试，但提出了多层网络的"反向传播"方案。
1964 − Taylor 构建了一个在输出单元之间具有抑制的赢家通吃电路。
1969 − Minsky 和 Papert 发明了多层感知器 (MLP)。
1971 − Kohonen 开发了联想记忆。
1976 − Stephen Grossberg 和 Gail Carpenter 开发了自适应共振理论。
20 世纪 80 年代至今的 ANN
这个时代的一些关键发展如下 −
1982 − The major development was Hopfield’s Energy approach.
1985 − Boltzmann machine was developed by Ackley, Hinton, and Sejnowski.
1986 − Rumelhart, Hinton, and Williams introduced Generalised Delta Rule.
1988 − Kosko developed Binary Associative Memory (BAM) and also gave the concept of Fuzzy Logic in ANN.
回顾历史，该领域取得了长足进步，基于神经网络的芯片不断涌现，复杂问题的应用也层出不穷，可以说，今天是神经网络技术的转型期。
生物神经元
神经细胞（神经元）是一种特殊的生物细胞，能够处理信息。据估计，神经元的数量非常庞大，大约有 1011 个，而神经元之间的连接数也非常多，大约有 1015 个。
示意图
生物神经元的工作原理
如上图所示，一个典型的神经元由以下四个部分组成，借助这些部分，我们可以解释神经元的工作原理 −
树突 − 它们是树状的分支，负责从与其相连的其他神经元接收信息。换句话说，我们可以说它们就像神经元的耳朵。
体细胞 −它是神经元的细胞体，负责处理从树突接收的信息。
轴突 − 它就像一条电缆，神经元通过它发送信息。
突触 −它是轴突和其他神经元树突之间的连接。
ANN 与 BNN
在了解人工神经网络 (ANN) 和生物神经网络 (BNN) 之间的区别之前，让我们先了解一下两者之间基于术语的相似之处。
| 生物神经网络 (BNN) | 人工神经网络（ANN） |
|---|---|
| 体细胞 | 节点 |
| 树突 | 输入 |
| 突触 | 权重或互连 |
| 轴突 | 输出 |
下表根据上述一些标准显示了 ANN 和 BNN 之间的比较。
| 标准 | BNN | ANN |
|---|---|---|
| 处理 | 大规模并行，速度慢但优于 ANN | 大规模并行，速度快但不如 BNN |
| 大小 | 1011 个神经元和 1015 个互连 | 102 到 104 个节点（主要取决于应用程序类型和网络设计者） |
| 学习 | 它们可以容忍歧义性 | 需要非常精确、结构化和格式化的数据来容忍歧义性 |
| 容错性 | 即使部分损坏，性能也会下降 | 它具有强大的性能，因此具有容错的潜力 |
| 存储容量 | 将信息存储在突触中 | 将信息存储在连续的内存位置中 |
人工神经网络模型
下图表示 ANN 的一般模型及其处理。
对于上述人工神经网络的一般模型，净输入可以按如下方式计算 −
$$y_{in}\:=\:x_{1}.w_{1}\:+\:x_{2}.w_{2}\:+\:x_{3}.w_{3}\:\dotso\: x_{m}.w_{m}$$
即净输入 $y_{in}\:=\:\sum_i^m\:x_{i}.w_{i}$
可以通过将激活函数应用于净输入来计算输出。
$$Y\:=\:F(y_{in}) $$
输出 = 函数（计算出的净输入）
