深度学习_深度学习基础知识_PReLU
本文共 412 字，大约阅读时间需要 1 分钟。
PReLU简介
PReLU(Parametric Rectified Linear Unit), 顾名思义：带参数的ReLU。二者的定义和区别如下图：
如果ai=0，那么PReLU退化为ReLU；如果ai是一个很小的固定值(如ai=0.01)，则PReLU退化为Leaky ReLU(LReLU)。 有实验证明，与ReLU相比，LReLU对最终的结果几乎没什么影响。
PReLU的几点说明
（1） PReLU只增加了极少量的参数，也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的，当不同channels使用相同的ai时，参数就更少了。
（2） BP更新ai时，采用的是带动量的更新方式，如下图：
上式的两个系数分别是动量和学习率。
需要特别注意的是：更新ai时不施加权重衰减(L2正则化)，因为这会把ai很大程度上push到0。事实上，即使不加正则化，试验中ai也很少有超过1的。（3）常初始化为0.25。
转载地址：http://fjbiz.baihongyu.com/
你可能感兴趣的文章
Mysql学习总结（62）——MySQL连接com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link问题
查看>>
Mysql学习总结（63）——Mysql数据库架构方案选择与分析
查看>>
Mysql学习总结（64）——Mysql配置文件my.cnf各项参数解读
查看>>
Mysql学习总结（65）——项目实战中常用SQL实践总结
查看>>
Mysql学习总结（66）——设置MYSQL数据库编码为UTF-8
查看>>
Mysql学习总结（67）——MYSQL慢查询日志
查看>>
Mysql学习总结（68）——MYSQL统计每天、每周、每月、每年数据 SQL 总结
查看>>
Mysql学习总结（69）——Mysql EXPLAIN 命令使用总结
查看>>
Mysql学习总结（6）——MySql之ALTER命令用法详细解读
查看>>
Mysql学习总结（70）——MySQL 优化实施方案
查看>>
Mysql学习总结（71）——MySQL 重复记录查询与删除总结
查看>>
Mysql学习总结（71）——数据库介绍（MySQL安装 体系结构、基本管理）再回顾
查看>>
Mysql学习总结（73）——MySQL 查询A表存在B表不存在的数据SQL总结
查看>>
Mysql学习总结（76）——MySQL执行计划（explain）结果含义总结
查看>>
Mysql学习总结（77）——温故Mysql数据库开发核心原则与规范
查看>>
Mysql学习总结（78）——MySQL各版本差异整理
查看>>
Mysql学习总结（79）——MySQL常用函数总结
查看>>
Mysql学习总结（7）——MySql索引原理与使用大全
查看>>
Mysql学习总结（80）——统计数据库的总记录数和库中各个表的数据量
查看>>
Mysql学习总结（81）——为什么MySQL不推荐使用uuid或者雪花id作为主键？
查看>>