如今，越来越多的研究人员开始将GPU应用到深度学习的研究当中，GPU已成为深度学习的加速引擎。作为深度学习研究技术平台领导厂商，NVIDIA此前专门推出了cuDNN（CUDA深度神经网络库），它是一款用于深度神经网络的 GPU 加速函数库，可直接集成到主流的深度学习框架中，以更加便捷地在深度学习模型的构建和训练过程中实现GPU加速。而在今年由NVIDIA主办的GPU技术大会上，DIGITS深度学习GPU训练软件首次亮相，它是首套用于设计、训练和验证图像分类深度神经网路的多合一图形系统。

随着深度学习的应用领域不断拓展，用户对产品智能化的需求不断提升，数据科学家和研究人员对于训练更大、更复杂、精准度更高的神经网络有了更高的需求。NVIDIA近日分别对DIGITS和 cuDNN进行了升级，推出了DIGITS 2和cuDNN 3，进一步帮助用户进行加速深度学习项目和产品的开发工作。

对数据科学家来说，DIGITS 2现在能够在多颗高性能GPU上实现神经网络训练的自动扩展。与单一GPU相比，这种扩展在图像分类方面能够令深度神经网络训练的速度翻一番。

对深度学习的研究人员来说，cuDNN 3可优化GPU内存中的数据存储，从而能够训练更大、更复杂的神经网络。cuDNN 3还能够提供高于cuDNN 2的性能，让研究人员在单一GPU上最高可令神经网络训练速度达到两倍。

全新的cuDNN 3库预计将集成到Caffe、Minerva、Theano以及Torch等深度学习框架的未来版本中，这些框架被广泛用于训练深度神经网络。

NVIDIA加速计算副总裁Ian Buck表示：“高性能GPU是为大学与大型网络服务公司支撑深度学习研究与产品开发的基础性技术。我们正与数据科学家、框架开发者以及深度学习社区密切合作，以便运用最强大的 GPU 技术、突破目前的极限。”

DIGITS 2多GPU扩展最高可实现两倍训练速度

DIGITS 2是首个一体式图形系统，它在图像分类方面可指导用户完成设计、训练以及验证深度神经网络的整个过程。

DIGITS 2中全新的自动多GPU扩展功能通过在系统中的所有 GPU 上自动分配深度学习训练任务，从而能够最大限度地增加可用的 GPU 资源。利用DIGITS 2，在四颗NVIDIA Maxwell架构的GPU上，NVIDIA的工程师令著名的 AlexNet 神经网络模型的训练速度达到了单一GPU的两倍以上。早期客户的初步成果呈现了更好的加速效果。

cuDNN3更快地训练更大、更复杂的模型

cuDNN是一款用于深度神经网络的GPU加速数学例程库，开发者可以将其集成到更高级的机器学习框架中。

cuDNN3在GPU内存中新增了对16位浮点数据存储的支持，使可存储的数据量翻了一番，优化了内存带宽。凭借这一功能，cuDNN 3让研究人员能够训练更大、更复杂的神经网络。

百度研究院高级研究员 Bryan Catanzaro 表示: “我们认为，NVIDIA 库中的FP16 GPU存储支持功能将让我们进一步扩展我们的模型，因为当我们把单一模型的训练任务扩展至多颗GPU时，这一功能将会增大我们硬件的有效内存容量并提升效率。这将会使得我们的模型精度进一步提升。”

即便在单一GPU上训练神经网络，cuDNN 3也能够实现大大高于cuDNN 2 的性能。它让NVIDIA工程师在单一GPU上训练AlexNet模型时实现了两倍的速度。

↓↓点击“阅读原文”，可以在NVIDIA开发者页面注册并免费下载DIGITS 2预览版，而cuDNN 3库预计将在接下来的几个月里出现在各大深度学习框架当中。