彩神VI下载TensorFlow官方发布剪枝优化工具:参数减少80%,精度几乎不变

  • 时间:
  • 浏览:15
  • 来源:彩神快3官方-彩神app官方

去年Ten彩神V彩神VI下载I下载sorFlow官方推出了模型优化工具,彩神VI下载最多能将模型尺寸减小4倍,运行下行速率 提高3倍。

作者:晓查来源:量子位|2019-05-16 09:47

 

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

去年TensorFlow官方推出了模型优化工具,最多能将模型尺寸减小4倍,运行下行速率 提高3倍。

最近现又有一款新工具加入模型优化“豪华套餐”,这就是我 基于Keras的剪枝优化工具。

训彩神VI下载练AI模型有时时要少量硬件资源,但也有每个人所有 就三个GPU的豪华配置,剪枝优化都才能帮你缩小模型尺寸,以较小的代价进行推理。

哪此是权重剪枝?

权重剪枝(Weight Pruning)优化,就是我 消除权重张量中不时要的值,减少神经网络层之间的连接数量,减少计算中涉及的参数,从而降低操作次数。

原先 做的好处是压缩了网络的存储空间,尤其是稀疏张量一阵一阵适合压缩。类似,经过处理都才能将MNIST的90%稀疏度模型从12MB压缩到2MB。

此外,权重剪枝与量化(quantization)兼容,从而产生复合效益。通过训练后量化(post-training quantization),还能将剪枝后的模型从2MB进一步压缩到仅0.5MB 。

TensorFlow官方承诺,将来TensorFlow Lite会增加对稀疏表示和计算的支持,从而扩展运行内存的压缩优势,并释放性能提升。

优化效果

权重剪枝优化都才能用于不同任务、不类似型的模型,从图像处理的CNN用于语音处理的RNN。下表显示了其中其他实验结果。

以GNMT从德语彩神VI下载翻译到英语的模型为例,原模型的BLEU为29.47。指定150%的稀疏度,经优化后,张量中的非零参数都才能从211M压缩到44M,准确度基本越来越 损失。

使用法律土办法

现在的权重剪枝API建立在Keras之上,但是开发者都才能非常方便地将此技术应用于任何现有的Keras训练模型中。

开发者都才能指定最终目标稀疏度(比如150%),以及执行剪枝的计划(比如1150步现在开始英文英文英文剪枝,在1500步时停止,但是每1150步进行一次),以及剪枝形状的可选配置。

  1. import tensorflow_model_optimization as tfmot 
  2. model = build_your_model()  
  3. pruning_schedule = tfmot.sparsity.keras.PolynomialDecay( 
  4.  initial_sparsity=0.0, final_sparsity=0.5
  5.  begin_step=1150, end_step=1500
  6. model_for_pruning = tfmot.sparsity.keras.prune_low_magnitude(model, pruning_schedule=pruning_schedule) 
  7. ...  
  8. model_for_pruning.fit 

△ 三个不同张量,左边的越来越 稀疏度,中心的有多个单独0值,右边的有1x2的稀疏块。

随着训练的进行,剪枝过程现在开始英文英文英文被执行。在这俩过程中,它会消除消除张量中最接近零的权重,直到达到当前稀疏度目标。

每次计划执行剪枝tcp连接时,完会 重新计算当前稀疏度目标,根据平滑上升函数逐渐增加稀疏度来达到最终目标稀疏度,从0%现在开始英文英文英文直到现在开始英文英文英文。

用户也都才能根据时要调整这俩上升函数。在其他请况下,都才能安排训练过程在某个步骤达到一定收敛级别但是才现在开始英文英文英文优化,肯能在训练总步数但是现在开始英文英文英文剪枝,以便在达到最终目标稀疏度时进一步微调系统。

△权重张量剪枝动画,黑色的点表示非零权重,随着训练的进行,稀疏度逐渐增加

GitHub地址:

https://github.com/tensorflow/model-optimization

官方教程:

https://www.tensorflow.org/model_optimization/guide/pruning/pruning_with_keras

【编辑推荐】

【责任编辑:

张燕妮

TEL:(010)684761506】



点赞 0