【人工智能】人工智能宽度学习：原理与实现
作者：知乎—赫尔辛根默斯肯
地址：https://www.zhihu.com/people/zhang-tian-yi-8-37
宽度学习是一种不依赖深度结构的神经网络结构，其优秀的运算速度和简洁的结构可以说是机器学习界的一股清流。本文将从原理和代码实现的角度对其进行分析和梳理，由于笔者水平有限，不足之处还望各位楷正。
相对于“深度”结构来说，“宽度”结构由于没有层与层之间的耦合而非常简洁。同样，由于没有多层连接，宽度网络亦不需要利用梯度下降来更新权值，所以计算速度大大优于深度学习。在网络精度达不到要求时，可以通过增加网络的“宽度”来提升精度，而增加宽度所增加的计算量和深度网络增加层数相比，可以说是微乎其微。笔者认为，宽度学习适用于数据特征不多但对预测实时性要求较高的系统。也就说，该结构在类似ImageNet的大型图像分类问题上表现并不是很好，这也是为什么原文中只有MNIST和NORB数据集实验结果的原因。
本文的变量表示和公式推导可能与陈老师论文中有所出入，这是因为本文是根据陈老师的开源代码进行的推导，而不是对论文中的内容。这里如有错误欢迎指正。
01
一些重要的概念
宽度网络的实质是一种随机向量函数链接神经网络（random vector functional link neural network，RVFLNN）。与CNN不同，该网络并不通过反向传递改变特征提取器的核，而是通过求伪逆计算每个特征节点和增强节点的权重。这就好比我们找来100个不懂数学的孩子，他们对于任何问题（如1+1=？）的回答都是0-9中的任意一个数字，但这些孩子有自己的偏好，也就是说，他们回答的随机分布不同。网络的目的就是如何通过这100个孩子的回答预测出所提问题的答案。
宽度学习网络结构图：每个网络的输入由特征节点与增强节点构成
这里有几个重要的名词和变量将在后面的叙述中经常用到：
02
生成特征节点
宽度学习的核心就是求特征节点和增强节点到目标值的伪逆。在这里，特征节点和增强节点相对应的是神经网络的输入，求得的逆矩阵相当于神经网络的权值。那么首先，我们需要建立输入数据到特征节点的映射。
4. 对A1进行行归一化；
5. 对A1进行稀疏表示（sparse autoencoder）；
这也是整个特征节点生成中比较核心的问题之一，对于稀疏表示的原因，陈老师在论文中是这样解释的：
To overcome the randomness nature, the sparse autoencoder could be regarded as an important tool to slightly fine-tune the random features to a set of sparse and compact features. Specifically, sparse feature learning models have been attractive that could explore essential characterization.
一句话，为了解决网络随机性所带来的问题。笔者认为，稀疏表示可以有效减少新生成特征节点的线性相关程度，使得新生成的节点不至于过于“浪费”。
03
生成增强节点
宽度网络的另一特性，就是可以利用增强节点对随机的特征节点进行补充。通过上文我们发现，特征节点都是线性的，而引入增强节点的目的就是为了增加网络中的非线性因素。
04
求伪逆(pseudoinverse)
05
测试
相关文章
宽度学习是一种不依赖深度结构的神经网络结构，其优秀的运算速度和简洁的结构可以说是机器学习界的一股清流。本文将从原理和代码实现的角度对其进行分
FlashFXP绿色版网盘下载，附激活教程 1930
FlashFxp百度网盘下载链接：https://pan.baidu.com/s/1MBQ5gkZY1TCFY8A7fnZCfQ。FlashFxp是功能强大的FTP工具
Adobe Fireworks CS6 Ansifa绿色精简版网盘下载 1669
firework可以制作精美或是可以闪瞎眼的gif，这在广告领域是需要常用的，还有firework制作下logo，一些原创的图片还是很便捷的，而且fireworks用法简单，配合dw在做网站这一块往往会发挥出很强大的效果。百度网盘下载链接：https://pan.baidu.com/s/1fzIZszfy8VX6VzQBM_bdZQ
navicat for mysql中文绿色版网盘下载 1702
Navicat for Mysql是用于Mysql数据库管理的一款图形化管理软件，非常的便捷和好用，可以方便的增删改查数据库、数据表、字段、支持mysql命令，视图等等。百度网盘下载链接：https://pan.baidu.com/s/1T_tlgxzdQLtDr9TzptoWQw 提取码：y2yq
火车头采集器（旗舰版）绿色版网盘下载 1797
火车头采集器是站长常用的工具，相比于八爪鱼，简洁好用，易于配置。火车头能够轻松的抓取网页内容，并通过自带的工具对内容进行处理。站长圈想要做网站，火车头采集器是必不可少的。百度网盘链接：https://pan.baidu.com/s/1u8wUqS901HgOmucMBBOvEA
Photoshop(CS-2015-2023)绿色中文版软件下载 1919
安装文件清单（共46G）包含Window和Mac OS各个版本的安装包，从cs到cc，从绿色版到破解版，从安装文件激活工具，应有尽有，一次性打包。 Photoshop CC绿色精简版 Photoshop CS6 Mac版 Photoshop CC 2015 32位 Photoshop CC 2015 64位 Photoshop CC 2015 MAC版 Photoshop CC 2017 64位 Adobe Photoshop CC 2018 Adobe_Photoshop_CC_2018 Photoshop CC 2018 Win32 Photoshop CC 2018 Win64
