什么是CUDNN

NVIDIA cuDNN是一個深度神經(jīng)網(wǎng)絡(luò)的GPU加速庫，它性能、易用性和低內(nèi)存開銷。NVIDIA cuDNN可以與更高級別的機(jī)器學(xué)習(xí)框架集成，如谷歌的Tensorflow和加州大學(xué)伯克利分校流行的Caffe軟件。簡單的插件設(shè)計使開發(fā)人員能夠?qū)Ｗ⒂谠O(shè)計和實現(xiàn)神經(jīng)網(wǎng)絡(luò)模型，而不是簡單地優(yōu)化性能，同時在GPU上實現(xiàn)現(xiàn)代高性能并行計算。

適用于所有常見卷積的Tensor Core加速，包括2D，3D，分組，深度可分離以及使用NHWC和NCHW輸入和輸出進(jìn)行擴(kuò)張

針對計算機(jī)視覺和語音模型的優(yōu)化內(nèi)核，包括ResNet，ResNext，SSD，MaskRCNN，Unet，VNet，BERT，GPT-2，Tacotron2和WaveGlow

支持FP32，F(xiàn)P16和TF32浮點格式以及INT8和UINT8整數(shù)格式

4d張量的任意維排序，跨距和子區(qū)域意味著可以輕松集成到任何神經(jīng)網(wǎng)絡(luò)實現(xiàn)中

加速任何CNN架構(gòu)上的融合操作

cuDNN在Windows和Linux上受數(shù)據(jù)中心和移動GPU中的Ampere，Turing，Volta，Pascal，Maxwell和Kepler GPU體系結(jié)構(gòu)支持。

cuDNN是一個基于CUDA的深度學(xué)習(xí)GPU加速庫，通過它可以在GPU上完成深度學(xué)習(xí)的計算。它相當(dāng)于一個工作的工具，例如，它是一把扳手。但CUDA這個工作臺，在買來的時候并沒有附帶扳手。要在CUDA上運(yùn)行一個深度神經(jīng)網(wǎng)絡(luò)，你必須安裝cuDNN，就像你要擰一個螺母，就必須把扳手買回來。這將使GPU能夠在深度神經(jīng)網(wǎng)絡(luò)上工作，與CPU相比，工作速度要快得多。