河北专业信息门户网站定制,陕西公路工程建设有限公司网站,一般请人做网站和app多少钱,学校网站的常规化建设Deep Learning - Lecture 1 Introduction to Deep Learning 学习深度学习的动机什么是深度学习什么导致了深度学习的出现模型与理论的发展#xff08;软件部分#xff09;通用图形处理单元GPU的发展#xff08;硬件部分#xff09;CPU与GPU计算对比 GPU与CPU的理论FLOPS对… Deep Learning - Lecture 1 Introduction to Deep Learning 学习深度学习的动机什么是深度学习什么导致了深度学习的出现模型与理论的发展软件部分通用图形处理单元GPU的发展硬件部分CPU与GPU计算对比 GPU与CPU的理论FLOPS对比深度学习带来的可持续性问题总结文中引用 本节目标 学习深度学习的动机什么是深度学习什么导致了深度学习的出现可持续性问题
学习深度学习的动机
深度学习在数据结构复杂的领域彻底改变了机器学习
深度学习的第一个重大影响是在图像识别方面 上图来自Krizhevsky, A., Sutskever, I., Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems, 25. 上图列出来几个图像识别的示例例如第一张图片是一只螨虫mite。螨虫图像下方列出了几个可能性 螨虫可能性最高、“black widow黑寡妇蜘蛛、cockroach蟑螂、tick蜱虫、starfish海星” 等深度学习对视觉感知和场景理解也产生持续的、重大的影响 图像来源于英伟达 2019 年 10 月 23 日关于全景分割的博客文章https://blogs.nvidia.com/blog/ 2019/10/23/drive-labspanoptic-segmentation深度学习进行自然语言处理。深度学习将强化学习扩展到了高维连续状态空间的问题中
左侧图片为经典电子游戏《太空侵略者》。下方文字里表明通过深度强化学习电脑实现了人类水平的控制。中间图片大家都懂就是当时的阿尔法狗。最后这个打游戏的应该听说过。如图它叫alphastar是基于阿尔法狗的升级版是针对游戏《星际争霸2》starcraft2开发的所以叫alphastar。这个项目在当时很厉害如果不限制AI它能做出非常多匪夷所思的操作。即使是限制到人类水准人类也很难战胜。(具体可以看B站搜alphastar
深度学习有在机器人的感知、控制和人机交互方面带来变革的潜力。
什么是深度学习
深度学习是表示学习的一个子集而表示学习是机器学习的一个子集机器学习又是人工智能的一个子集。 表示学习Representation Learning是机器学习中的一个重要领域它旨在自动从数据中学习到有效的特征表示也叫特征向量这些特征能够更好地捕捉数据的内在结构和语义信息从而提升模型在各种任务上的性能比如分类、回归、预测等。 遗憾的是下图没有展示表示学习。 深度学习使用一个由简单函数构成的‘深度’链自动从数据中学习特征
经典机器学习从左到右依次是“Input”输入、“Hand - crafted features”手工制作的特征、“Mapping from features”从特征映射、“Output”输出。在经典机器学习中特征需人工设计且这些特征是固定的。深度学习从左到右依次是“Input”输入、多个“Simple Features”简单特征中间用“Many Layers”许多层连接表示有多层简单特征、“Mapping from features”从特征映射、“Output”输出。橙色阴影框表示能够从数据中学习的组件。表明深度学习通过多层简单函数构成的深度链自动从数据中学习特征。
深度学习用凸性换取灵活性
多年来深度学习在一定程度上被忽视因为其他方法在优化方面具有更好的理论性质。 传统机器学习使用“Convex Loss Function”凸损失函数图中曲线呈碗状有一个明确的“Global minimum”全局最小值凸函数的任何局部最小值也是其全局最小值意味着在传统机器学习中优化算法更容易找到全局最优解。深度学习使用“Non - Convex Loss Function”非凸损失函数图中曲线起伏不平除了“Global minimum”全局最小值外还有“Local minimum”局部最小值表明深度学习的损失函数更为复杂优化过程中容易陷入局部最小值这也是深度学习在理论优化性质上不如传统机器学习的地方但深度学习通过这种非凸性换取了模型的灵活性能够学习到更复杂的模式和特征。
什么导致了深度学习的出现
模型与理论的发展软件部分
深度学习的发展时间线 人工神经网络研究主要有三波浪潮
20世纪40 - 60年代的控制论cybernetics20世纪80 - 90年代的联结主义connectionism2006年至今的深度学习deep learning。 1943年McCulloch和Pitts提出神经元模型neuron model1958年Rosenblatt提出感知机the perceptron1960年Widrow和Hoff提出随机梯度下降stochastic gradient descent1974年Werbos提出反向传播backpropagation1986年Rumelhart等人提出多层感知机multilayer perceptron1988年Broomhead和Lowe提出径向基函数网络RBF networks1989年LeCun提出卷积神经网络convolutional networkHornik等人提出通用近似器universal approximator2006年Hinton等人提出深度信念网络deep belief nets2011年Glorot等人提出深度整流网络deep rectifier nets2012年Krizhevsky等人提出深度卷积神经网络deep CNNs2014年Goodfellow等人提出生成对抗网络generative adversarial networks2015年Mnih等人提出深度强化学习deep reinforcement learning。由于空间限制深度学习近些年的进展不提及 。
深度学习的数据集 大型数据集对于确保良好的泛化能力和防止模型过拟合是必要的。
以下是一些知名的机器学习数据集按图像与视频、语音与音频、文本三类进行介绍
图像与视频 ImageNet用于目标识别网址为http://www.image - net.org/CIFAR10和CIFAR100网址为https://www.cs.toronto.edu/~kriz/cifar.htmlMicrosoft COCO用于目标检测与识别网址为https://cocodataset.org/#homeMNIST用于数字识别网址为http://yann.lecun.com/exdb/mnist/Kitti用于机器人计算机视觉网址为http://www.cvlibs.net/datasets/kitti/。 语音与音频 Audioset用于谷歌声音识别网址为https://research.google.com/audioset/Speech command dataset用于谷歌语音命令网址为http://download.tensorflow.org/data/speech_commands_v0.01.tar.gz。 文本 WMT14用于机器语言翻译网址为http://statmt.org/wmt14/translation - task.htmlIMDB用于情感分析网址为http://ai.stanford.edu/~amaas/data/sentiment/。 上图是L. Fei - Fei在2010年3月CMU VASC研讨会上关于ImageNet的相关内容及网址http://image - net.org/about - publication。 其展示了一些图像示例及类别层次关系如“mammal”哺乳动物→“placental”有胎盘类→“carnivore”食肉动物 “canine”犬科动物→“dog”狗→“working dog”工作犬。
深度学习的模型
模型设计的进步特别是用于解决梯度消失问题的激活函数推动了深度网络的发展
传统神经网络激活函数图中展示了Sigmoid红色曲线和Tanh绿色曲线函数。在图中标记出当输入值处于一定范围时Sigmoid和Tanh函数的梯度“Gradient is near zero”梯度接近零这意味着在深度神经网络中使用这些函数进行反向传播时容易出现梯度消失问题导致网络难以训练。现代修正激活函数梯度趋于不消失。图中展示了Softplus蓝色曲线和Rectifier红色曲线函数。图中标注了在不同输入值下的梯度情况Rectifier函数在大于0的部分梯度梯度始终为1非零在小于0的部分梯度为0Softplus函数的梯度也避免了趋近于零的情况这些现代激活函数有助于缓解梯度消失问题使得深度网络的训练更加有效。
通用图形处理单元GPU的发展硬件部分
通用图形处理单元简称GPGPU或GPU 是加速深度学习的主要工具 如上图这里说的GPU就是这个GPU。
上图是训练AlexNet图表纵坐标表示训练天数Days横坐标从左到右依次为16 - core Xeon CPU、Titan、Titan Black cuDNN、Titan X cuDNN。图中显示使用16核Xeon CPU训练AlexNet所需天数最多而使用配备cuDNNCUDA Deep Neural Network libraryCUDA深度神经网络库的Titan X GPU训练所需天数最少体现了GPU特别是配备相关加速库时在深度学习模型训练速度上相较于CPU的显著优势。
CPU与GPU计算对比
GPU专门用于高度并行的数据计算因此其设计使得更多的晶体管用于数据处理绿色模块 页面中间通过图示对比了CPU和GPU的芯片资源分布
CPU包含多个核心Core绿色部分每个核心旁边有控制单元Control黄色部分还有L1缓存L1 Cache紫色部分、L2缓存L2 Cache蓝色部分、L3缓存L3 Cache深蓝色部分以及动态随机存取存储器DRAM橙色部分。从图中可以看出CPU的核心数量相对较少控制单元和缓存占据了较大的芯片面积。GPU拥有大量的核心绿色部分数量远多于CPU核心控制单元黄色部分和缓存L2 Cache蓝色部分相对较少也有动态随机存取存储器DRAM橙色部分。GPU的设计将更多晶体管资源分配给了数据处理核心以支持其高度并行计算的特性。
GPU与CPU的理论FLOPS对比
在过去20年中GPU的FLOPS大幅增加。 上图展示了NVIDIA GPU与Intel CPU在单精度Single Precision FP32下的理论万亿次浮点运算TFLOPS能力随时间的变化情况
横轴表示年份从2002年到2022年。纵轴表示理论TFLOPS数值范围从0到35。蓝色折线GPU代表不同型号的NVIDIA GPU包括GeForce FX 5800、GeForce GTX280、GeForce GTX680、GeForce GTX1080、GeForce RTX2080、GeForce RTX3080等。可以看到随着时间推移GPU的理论TFLOPS数值增长显著尤其是在2012年之后增长速度加快。橙色折线CPU代表不同型号的Intel CPU包括Pentium 4、Bloomfield、Sandy Bridge、Skylake、Cascade Lake等。相比之下CPU的理论TFLOPS数值增长较为缓慢且在整个时间段内数值明显低于GPU。
深度学习带来的可持续性问题
老外们就是爱搞这种伦理啊可持续性等问题。 深度学习中的能源消耗很高。在相关研究中有数据表明数据中心现在消耗全球1%的电力。这表明深度学习依赖的数据中心在全球电力消耗中占据了一定比例强调了深度学习能耗问题的重要性和规模。
深度学习专用处理器
图例是谷歌的张量处理单元TPU展示了TPU的架构设计突出其在深度学习计算中的高效性和专用性。 Host Queues (over PCIe)主机队列通过PCIe接口位于图的左侧用于与主机进行通信。HBM Memory (8/16 GiB)高带宽内存8/16GB在主机队列右侧为TPU提供数据存储和读取功能。TensorCore张量核心处于图中间的虚线框内是TPU的核心处理部分包含多个子单元 Core Sequencer核心序列器位于张量核心的上方负责指令和操作的排序。Matrix Multiply (MXU)矩阵乘法单元有两个一个是通用的另一个标注“TPUv3 only”仅TPUv3有用于执行矩阵乘法运算这是深度学习中常见的计算操作。Vector Unit (VPU)向量单元与矩阵乘法单元相连用于处理向量相关计算。Transpose Permute Unit转置置换单元负责数据的转置和排列操作。 Interconnect Router (ICI)互连路由器在图的最右侧用于TPU内部各组件之间的数据传输和通信。
全球数据中心处理转移
碳感知计算将许多计算任务的时间转移到风能和太阳能等低碳能源最为丰富的时候https://blog.google/inside - google/infrastructure/data - centers - work - harder - sun - shines - wind - blows/” 。
深度神经网络DNN、数据中心和处理器的选择可以将碳足迹减少约100 - 1000倍出自Patterson等人2021年的研究同时展示了一张太阳能板的图片强调可再生能源在数据中心中的应用。“D. A. Patterson, J. Gonzalez, Q. V. Le, C. Liang, L. - M. Munguia, D. Rothchild, D. R. So, M. Texier, and J. Dean. Carbon emissions and large neural network training. 2021. https://arxiv.org/abs/2104.10350”
总结
深度学习基于由简单函数构成的深度链这些函数能够从数据中学习提取特征。深度学习得以实现的因素包括 大型数据集训练深度网络模型的能力用于并行处理的计算硬件——GPU。 深度学习中的能源效率以及大规模数据处理如今已成为可持续发展关注的主要领域。
文中引用
深度卷积神经网络的 ImageNet 分类Krizhevsky, A., Sutskever, I., Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems, 25.英伟达全景分割博客https://blogs.nvidia.com/blog/2019/10/23/drive-labspanoptic-segmentation通过深度强化学习实现人类水平的控制Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., … Hassabis, D. (2015). Human - level control through deep reinforcement learning. Nature, 518 (7540), 529 - 533.”利用深度神经网络和树搜索掌握围棋游戏Silver, D., et al. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529 (7587), 484 - 489.使用多智能体强化学习在《星际争霸 II》中达到大师级别Vinyals, O., et al. (2019). Grandmaster level in StarCraft II using multi - agent reinforcement learning. Nature, 575 (7782), 350 - 354.Glorot, X., Bordes, A., Bengio, Y. (2011). Deep sparse rectifier neural networks. In Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics (pp. 315 - 323). JMLR Workshop and Conference Proceedings.”英伟达GPU/CPU发展折线图https://docs.nvidia.com/cuda/archive/9.1/pdf/CUDA_C_Programming_Guide.pdf (2018)深度学习电量消耗E. Masanet, A. Shehabi, N. Lei, S. Smith, and J. Koomey. Recalibrating global data center energy - use estimates. Science, 367(6481):984 - 986, 2020.” 。https://blog.google/inside - google/infrastructure/data - centers - work - harder - sun - shines - wind - blows/” 。“D. A. Patterson, J. Gonzalez, Q. V. Le, C. Liang, L. - M. Munguia, D. Rothchild, D. R. So, M. Texier, and J. Dean. Carbon emissions and large neural network training. 2021. https://arxiv.org/abs/2104.10350”
