深度学习原理与TensorFlow实践（高清PDF 下载）

内容简介

本书主要介绍了深度学习的基础原理和 TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域最优秀的计算系统之一，本书结合实例介绍了使用 TensorFlow 开发机器学习应用的详细方法和步骤，同时，本书着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其 TensorFlow 实现方法，并结合实际场景和例子描述了深度学习技术的应用范围与效果。

本书非常适合对机器学习、深度学习感兴趣的读者，或是对深度学习理论有所了解，希望尝试更多工程实践的读者，抑或是对工程产品有较多经验，希望学习深度学习理论的读者。

前言

创造出具有智能的机器一直是人们梦寐以求的理想。自 20 世纪 50 年代图灵测试被提出以来，人工智能就成为了计算机科学领域中—个极具吸引力的研究方向。诉年来，深度学习是机器学习领域中一个非常具有突破性的研究方向，从 AlphaGo 战胜李世石，到 Prisma 运用深度学习技术制作滤镜刷爆全世界的社交网络，深度学习在图像处理、自然语言处理甚至博弈决策等问题上不断取得震惊世人的成绩。

随着科研理论上的不断突破，机器学习基础架构方面也有了长足进步。为了提高科研和应用的开发效率，面向深度学习的开发框架不断涌现，而 TensorFlow 就是其中的佼佼者。依托于 Google 强大的影响力，TensorFlow一经发布就吸引了整个行业的关注。TensorFlow 自 2015 年年底在 GitHub 开源以来，一直是机器学习、深度学习类别中关注度最高的项目，截至 2016 年年底，已经获得超过 40000 个 Star。同时，在开源社区共同的努力下，基于 TensorFlow 开发的各种算法和应用都在飞速增加。

本书结合基于 TensorFlow 实践的应用代码，介绍了深度学习的基础概念和知识，但需要读者预先掌握一些传统机器学习、神经网络相关方面的知识。同时，本书代码主要基于目前最新的 TensorFlow 1.0 版本，大部分为 Python 代码，需要读者有一定的 Python 语言基础。希望通过本书的介绍，读者可以由浅入深、由理论到实践全面掌握深度学习的基础知识和实践方法。

本书第 1章介绍了深度学习的由来以及发展趋势，简要说明了人工智能、机器学习、深度学习等名词概念之间的联系。第 2 章主要介绍了 TensorFlow 系统的基础知识和一些重要概念。第3 章通过对Kaggle 竞赛平台上的 Titanic 问题的求解实例，介绍了 TensorFlow 系统的基本用法，并简要介绍了机器学习问题中的一些常用的处理技巧。第 4 章和第5 章分别介绍了主要应用于图像处理领域的卷积神经网络 CNN 和主要应用于自然语言处理领域的循环神经网络 RNN。其中第 4 章介绍了 CNN 的基本原理和多个经典网络结构，并通过图像风格化的实例展示了 CNN 在更多场景下应用的可能性。第 5 章介绍了 RNN、LSTM 以及它们的多种变种结构，并通过实例介绍了如何构建实用的语言模型和对话机器人。第 6 章介绍了卷积神经网络与循环神经网络的结合，通过图像检测和图像摘要两个问题介绍了 CNN+LSTM相结合的威力。最后的第7章介绍了机器学习中非常重要的损失函数与优化算法在 TensorFlow 中的实现，对实际使用深度学习解决问题都有极大帮助。

在此感谢互联网时代，感谢 Google 的开源精神，让我们可以如此紧跟时代最前沿的技术，也可以为技术的进步做出自己微薄的贡献。还要感谢电子工业出版社刘皎编辑对新技术的关注和推广，感谢同事、家人、各位好友的支持和帮助，有你们的支持才有此书的出版，不胜感激。

1 深度学习简介

1.1 深度学习介绍

深度学习是目前机器学习学科发展最蓬勃的分支，也是整个人工智能领域中应用前景最为广阔的技术。在现如今的生活中，不管是在 iPhone上随手调戏 Siri，还是看着 AlphaGo 赢得围棋世界第一的宝座，都让人们真真切切地感受到人工智能已经不再是停留在科幻小说中的幻想，深度学习的时代已经到来了!

人工智能（Artificial Inteligence，AI）是计算机科学中的一个分支学科，早在 20 世纪 50年代就被提出和确立了。著名的"图灵测试"是 AI 发展的终极目标，如果某种机器运行的逻辑程序可以表现出与人类等价或者无法分辨的智能，则认为机器有了思维，能够进行思考。从实用的角度讲，AI 的目标是要让计算机系统能够自动完成那些需要依靠人类智慧才能完成的工作。

在AI发展的早期阶段，随着计算机自动化所取得的成功，AI的主要方法和思路是将人类总结的知识用一系列规范的、形式化的数学规则来表示，然后通过自动化的程序代替人类处理问题。以知识为基础的专家系统（knowledge-based expert system）就是这方面的典型代表，它将某个领域中人类专家的经验通过知识表示方法写成一条一条规则，系统依照规则推理模拟专家的思维方式。不过，在实际应用中，专家系统都没有取得太大的成功，其最主要的局限性体现在系统明显受到规则数世的限制，规则数量决定了系统对不同情况的适应程度，然而规则是有限的，问题发生时的状况是无限的，用有限的规则处理无限的可能，注定是苦海无涯。

早期在 AI方面取得成功的项目，多数解决的是具有明确规则和条件的问题，比如西洋跳棋。1997 年 IBM 的"深蓝"计算机在国际象棋上战胜人类世界冠军卡斯帕罗夫就是这个方面最著名的例子。对于人类来说，下象棋当然是很有挑战的项目，但是相比真实世界的复杂程度而言，国际象祺其实只是一个简单问题。棋盘上只有 32个棋子和 64个可以落子的位置，走法规则是非常明确的，所有可能的局面组合是有限的，可以被穷举出来，利用计算机的计算能力辅助以启发式搜索等算法，在摩尔定律的作用下，击败人类只是时间问题。在这类问题中，问题的表示通常都不是难题，一个普通程序员也可以在很短时间内完成一个象棋程序。然而许多真实世界的问题却并不都是那么容易能用计算机语言表达清楚的，比如图像识别和语音识别，这些问题有着比国际象棋大得多的问题域，即使对于人类来说，也有很多不能确定、无法选择的时刻，所以用规则来描述问题是不现实的。

因此，"演绎法"的规则推理暂时行不通，"归纳法"就成为了唯一的出路。基于概率统计的机器学习（machine learning）逐渐成为人工智能的主流方法。与专家系统不同，机器学习不会在系统中输入任何规则，而是直接在大量真实世界产生的数据中排选最具有代表性的样本（samples）交给算法处理，让算法自动在数据中寻找和学习特定的规律，而这些由数据得来的规律，就是我们本来需要输入的规则。这种从数据中学习规律的过程也叫做模式识别（pattern recognition ）。

机器学习的基本思路是假设样本数据与真实世界的概率分布相同，这样就可以认为算法从样本数据中归纳所得的规律在一般情况下同样适用。朴素贝叶斯（naive bayes）和逻辑回归（logistic regression）等算法都是机器学习的经典方法，并且都在实际应用中取得了很好的效果。

机器学习—般分为监督学习和无监督学习两种。监督学习要求每条样本数据都有对应的标签（label），样本数据作为输入，标签作为目标输出，学习的目标是求出输入与输出之间的关系函数y =f（x），使得针对每个输入样本x，都得到期望的输出结果y。朴素贝叶斯、逻辑回归和神经网络等都属于监督学习的方法。而对于无监督学习来说，样本数据并没有标签，学习的目标是为了探索样本数据之间是否有隐含的不易被发现的关系，统计样本的分布情况，典型的算法有K-means 等各种聚类算法。

监督学习主要解决两类核心问题，即回归（regression）和分类（classification）。回归和分类的区别在于强调一个是连续的，一个是离散的。回归的输出可以是任意实数，而分类的目标输出为离散的类别编号，或是布尔类型的二值判断。分类问题可以利用概率模型以回归方式来求解，即认为样本所属的真实类别概率为 100%，样本属于其他类别的概率为 0%。通过将离散的类别编号转化为连续的概率，利用回归方法学习和预测样本属于每个类别的概率，概率最大的类别就是分类结果。

对于朴素贝叶斯和逻辑回归等简单的机器学习算法来说，本质上是要计算样本输入与目标输出之间的相关性。相关性固然是非常重要的，但在处理真实世界问题的时候，判断相关性其实是人们确定了所有影响因素之后的一个后续问题，各个影响因素的表示（representation）会严重影响对于相关性的判断。比如要辨别一段语音中演讲者是男人、女人还是小孩，简单机器学习算法的判断依据很可能主要来自音量而不是音色和音调。再比如，假设我们想用逻辑回归判断明年北京房价是否继续上涨，如果选定人口净流入数和圳铁修建的里程数作为输入的话，会得到人口流入越多房价越高的结论，那么如果明年人口净流入减少，则系统会预测房价下跌。但直实情况是房价与货币增发量相关性更大，如果明年货币继续超发，最终房价还是会上涨，所以预测就可能会出现比较大的误差。

人口流入数、货币增发量这些对于预测房价有影响的因素，是我们从众多维度中提取的特征（feature）。正如在前文例子中描述的那样，设计合适的特征表示在机器学习中是一项极其重要却又非常困难的工作。一方面，特征选取会直接影响预测的稳定性，要得到准确的预测结果就必须选中相关度最高的特征。在使用逻辑回归、朴素贝叶斯等简单机器学习算法的时候，由于特征选取问题而导致模型失效的情况比比皆是。但另一方面，如何设计特征又需要加入许多人类的先验经验才能完成，需要运用人类的智慧和经验分析各种因素所带来的直接或间接的影响。所以通常的做法是首先列举出各种可能的特征，然后通过交叉组合的方式进行穷举验证。在很长一段时间，特征工程（feature engineering）都是机器学习的重中之重，是每个研究员的必修技能。特征工程对于传统机器学习算法来说是如此重要，但同时也是机器学习应用的最

大束缚，不仅费时费力，还需要由人类提供大量的先验经验以弥补对数据本身挖掘不足的缺陷。若要拓展机器学习的适用范围，必须要降低学习算法对特征工程的依赖性。

深度学习（Deep Learning，也曾被叫作 Feature Learning）是在人工神经网络（Aritificial neural network，ANN）基础上发展而来的一种表示学习（Representation Learning）方法，也是一种机器学习方法，而且是人工智能领域最具发展前景的一个分支，如图1-1 所示。其主要模型是各种深度神经网络（Deep Neural Network）。表示学习是近年来机器学习领域发展最迅猛、最受学术界追捧的方向。所谓表示学习，就是要让算法在少量人为先验经验的情况下，能够自动从数据中抽取出合适的特征，完成原本需要通过特征工程才能得到的结果。在表示学习范畴中，深度学习是通过多层非线性变换的组合方式， 得到更抽象也更有效的特征表示。原先使用机器学习解决问题的主要工作包括需要大量人工处理的特征工程加上一个可被训练的分类器，而到了深度学习的时代，特征工程已经被各种可训练的特征提取器所取代，在应用效率上有了显著提高。更重要的是，人工智能目标就是让机器有能力理解我们所在的世界，只有当它能学会如何感知和辨别数据背后的各种隐含因素的时候才能达到这个目标。

真实世界的问题之所以困难，很大程度上是因为我们能够观察到的数据都是种种因素叠加而成的。比如同一朵花在白天和夜晚观察的颜色是不同的，同一辆车在不同角度观察的形状也不一样。表示学习最核心的诉求就是要发现真正重要的特征，舍弃那些并不影响判断的因素。要做到这种程度当然不是一件容易的事，那么深度学习又是如何做到呢?

【下载地址】

链接：https://pan.baidu.com/s/1NagOZyGLV3aonJaq80h0dg

提取码：3trq