曾母暗沙| 高青| 藁城| 咸丰| 舒城| 拉萨| 普定| 长治县| 杭锦后旗| 保德| 靖西| 东胜| 柳城| 曲水| 布拖| 谷城| 大理| 南安| 四会| 西青| 渠县| 博罗| 洪泽| 隰县| 西平| 桐柏| 阜康| 建始| 柳城| 昌吉| 戚墅堰| 东丰| 容县| 澄迈| 固安| 扶余| 巴楚| 望谟| 望江| 楚雄| 阳山| 天长| 广丰| 大龙山镇| 阳西| 田东| 邵阳县| 凭祥| 砀山| 平潭| 沂源| 玛多| 酒泉| 武陵源| 武胜| 昌平| 吴忠| 新洲| 沾益| 睢宁| 淮南| 台中县| 苏州| 永登| 文县| 温泉| 宁都| 涞源| 海门| 青冈| 巴马| 宁阳| 竹溪| 平江| 泰和| 安龙| 靖宇| 平昌| 正宁| 余江| 乌尔禾| 昌邑| 唐县| 镇远| 天津| 潼关| 东乌珠穆沁旗| 泊头| 八宿| 清河| 淮南| 柳林| 鹿邑| 赤峰| 湟源| 宁国| 肃北| 清水| 平武| 庆阳| 敦化| 平武| 秦安| 祥云| 墨玉| 台前| 大城| 安泽| 崇明| 安福| 浙江| 翁源| 房县| 三都| 上海| 江源| 召陵| 江西| 喀喇沁旗| 休宁| 珠海| 渠县| 普陀| 墨脱| 卓尼| 尉氏| 大方| 江城| 静宁| 莱芜| 黄平| 玉门| 太谷| 开原| 陈巴尔虎旗| 万山| 惠山| 遂平| 临澧| 垫江| 石家庄| 安陆| 渭源| 南川| 高密| 平果| 大庆| 龙州| 普格| 大足| 洪江| 沂南| 阜南| 繁峙| 洋山港| 乌兰浩特| 永定| 潮安| 天峻| 青浦| 拜城| 察哈尔右翼后旗| 轮台| 红原| 霸州| 杂多| 乐都| 渭源| 罗甸| 沿滩| 灵寿| 栾城| 遵化| 曲阳| 辽源| 卓尼| 广安| 清流| 吉木萨尔| 南平| 济阳| 泉州| 宁陕| 灵寿| 蒲江| 嘉定| 科尔沁左翼后旗| 克拉玛依| 琼海| 兴安| 临泉| 庆元| 衢江| 滦南| 铜梁| 射洪| 礼县| 巩义| 望奎| 比如| 临武| 包头| 沁水| 台前| 应县| 汉中| 兴隆| 甘泉| 同心| 垦利| 仁寿| 新巴尔虎右旗| 溧水| 墨江| 台中县| 丹凤| 乌苏| 滦县| 德昌| 云梦| 昌邑| 金乡| 南康| 巩留| 黎川| 泸水| 黑水| 封丘| 兴县| 南昌市| 魏县| 晋城| 下陆| 泸西| 武陵源| 略阳| 孟村| 易门| 万源| 苗栗| 大悟| 宁武| 抚宁| 沙河| 全南| 塘沽| 翁源| 肃北| 卫辉| 襄垣| 乌拉特后旗| 五台| 阜新蒙古族自治县| 来凤| 浪卡子| 都昌| 平定| 奈曼旗| 达尔罕茂明安联合旗| 文水| 晋州| 富锦| 印江| 宣城|

市委常委会召开会议 开展向廖俊波同志学习...

2018-06-19 10:37 来源:中国西藏

  市委常委会召开会议 开展向廖俊波同志学习...

  我的异常网二、在本通告未尽列的高架道路(城市快速路),对上述小客车采取的通行管理措施,按照道路上设置的交通标志、标线所示执行。在伊拉克战争中,美军就大量使用了这种武器。

长三角区域24日夜间至28,大气扩散条件一般,中北部、等地有轻度霾,部分地区中度霾,29日起,受降水和冷空气共同影响,霾天气减弱消散。游客可以根据花期预报和赏花地图了解北京植物园的春花开放情况。

  春天作为一个调养身体的好季节,而春季想要养生则可以从饮食开始入手,那么春季养生保健喝什么汤好呢?春季喝养生汤的好处春季养生汤的好处多多。腊八节特色小吃——腊八豆腐“腊八豆腐”是黔县民间风味特产,在春节前夕的腊八,即农历十二月初八前后,黔县家家户户都要晒制豆腐,民间将这种自然晒制的豆腐称作“腊八豆腐”。

  他们在车臣境内打击恐怖分子,参加过2008年与格鲁吉亚的八月冲突。西藏东南部、四川盆地西部、东部、贵州南部、江南、华南西部和中部等地有小到中雨,广西局地有大雨并伴有雷雨大风和短时强降水等对流天气。

所以后人认为,在这一天去做一种毫无意义的事,就好像一只白鸽做了白工一样,行为愚蠢,为“愚人节”之起源。

  最后才是全家人食用。

  未来10天,全国大部分地区平均气温较常年同期偏高2~4℃;其中内蒙古部分地区偏高5~7℃。8、香蕉从日常保健的角度来说,香蕉中有着非常丰富的维生素B6的。

  24日白天随着垂直扩散条件改善,京津冀等地的霾减弱消散。

  因此,他们便以每年之“蔓姜会”为“愚人节”。后来,圣天使堡因其坚固的建筑特征而成为了阻止西哥特人和东哥德人入侵的要塞,然后又成为了监狱,最后被改建成罗马教皇宫殿。

  黄海大部海域有能见度不足1公里的大雾。

  我的异常网初春三月,各地春花绽放,吸引人们踏青赏景,乐享美好春光。

  任何一个国家的武器研发能力都是一个长期积累的过程,而并不是一蹴而就的事情,印度这方面的现状如此落后,而想在10年内就有一个飞跃式发展真是一个难以企及的梦想。”铁路部门有关工作人员表示。

   我的异常网

  市委常委会召开会议 开展向廖俊波同志学习...

 
责编:
注册

市委常委会召开会议 开展向廖俊波同志学习...

需要注意的是愚人节这天玩笑只能开到中午12点之前,这是约定俗成的严格规定,过了钟点还开玩笑的人会立刻碰钉子,自找没趣儿,称为比被他取笑的人还要大的傻瓜。


来源:机器之心

原标题:学界 | 神奇!只有遗忘门的LSTM性能优于标准LSTM 选自arXiv 作者:Jos va

原标题:学界 | 神奇!只有遗忘门的LSTM性能优于标准LSTM

选自arXiv

作者:Jos van der Westhuizen、Joan Lasenby

机器之心编译

参与:Pedro、路

本论文研究 LSTM 只有遗忘门的话会怎样,并提出了 JANET,实验表明该模型的性能优于标准 LSTM。

1.介绍

优秀的工程师确保其设计是实用的。目前我们已经知道解决序列分析问题最好的方式是长短期记忆(LSTM)循环神经网络,接下来我们需要设计一个满足资源受限的现实世界应用的实现。鉴于使用两个门的门控循环单元(Cho 等,2014)的成功,第一种设计更硬件高效的 LSTM 的方法可能是消除冗余门(redundant gate)。因为我们要寻求比 GRU 更高效的模型,所以只有单门 LSTM 模型值得我们研究。为了说明为什么这个单门应该是遗忘门,让我们从 LSTM 的起源讲起。

在那个训练循环神经网络(RNN)十分困难的年代,Hochreiter 和 Schmidhuber(1997)认为在 RNN 中使用单一权重(边)来控制是否接受记忆单元的输入或输出带来了冲突性更新(梯度)。本质上来讲,每一步中长短期误差(long and short-range error)作用于相同的权重,且如果使用 sigmoid 激活函数的话,梯度消失的速度要比权重增加速度快。之后他们提出长短期记忆(LSTM)单元循环神经网络,具备乘法输入门和输出门。这些门可以通过「保护」单元免受不相关信息(其他单元的输入或输出)影响,从而缓解冲突性更新问题。

LSTM 的第一个版本只有两个门:Gers 等人(2000)首先发现如果没有使记忆单元遗忘信息的机制,那么它们可能会无限增长,最终导致网络崩溃。为解决这个问题,他们为这个 LSTM 架构加上了另一个乘法门,即遗忘门,完成了我们今天看到的 LSTM 版本。

鉴于遗忘门最新发现的重要性,那么设想 LSTM 仅使用一个遗忘门,输入和输出门是否必要呢?本研究将探索单独使用遗忘门的优势。在五个任务中,仅使用遗忘门的模型提供了比使用全部三个 LSTM 门的模型更好的解决方案。

3 JUST ANOTHER NETWORK

我们提出了一个简单的 LSTM 变体,其只有一个遗忘门。它是 Just Another NETwork,因此我们将其命名为 JANET。我们从标准 LSTM(Lipton 等,2015)开始,其中符号具备标准含义,定义如下



为了将上述内容转换成 JANET 架构,我们删除了输入和输出门。将信息的累积和删除关联起来似乎是明智的,因此我们将输入和遗忘调制结合起来,就像 Greff et al. (2015) 论文中所做的那样,而这与 leaky unit 实现 (Jaeger, 2002, §8.1) 类似。此外,h_t 的 tanh 激活函数使梯度在反向传播期间出现收缩,这可能加剧梯度消失问题。权重 U? 可容纳 [-1,1] 区间外的值,因此我们可移除这个不必要且可能带来问题的 tanh 非线性函数。得出的 JANET 结果如下:

4 实验与结果

表 1:不同循环神经网络架构的准确率 [%]。图中展示了 10 次独立运行得到的平均值和标准差。我们实验中的最佳准确率结果以及引用论文中的最佳结果以粗体显示。

令人惊讶的是,结果表明 JANET 比标准 LSTM 的准确率更高。此外,JANET 是在所有分析数据集上表现最佳的模型之一。因此,通过简化 LSTM,我们不仅节省了计算成本,还提高了测试集上的准确率!

图 1:在 MNIST 和 pMNIST 上训练的 LSTM 的测试准确率。

图 2:JANET 和 LSTM 在 MNIST 上训练时的测试集准确率对比。

图 3:不同层大小的 JANET 和 LSTM 在 pMNIST 数据集上的准确率(%)。

论文:THE UNREASONABLE EFFECTIVENESS OF THE FORGET GATE

论文链接:https://arxiv.org/abs/1804.04849

摘要:鉴于门控循环单元(GRU)的成功,一个很自然的问题是长短期记忆(LSTM)网络中的所有门是否是必要的。之前的研究表明,遗忘门是 LSTM 中最重要的门之一。这里我们发现,一个只有遗忘门且带有 chrono-initialized 偏置项的 LSTM 版本不仅能节省计算成本,而且在多个基准数据集上的性能优于标准 LSTM,能与一些当下最好的模型竞争。我们提出的网络 JANET,在 MNIST 和 pMNIST 数据集上分别达到了 99% 和 92.5% 的准确率,优于标准 LSTM 98.5% 和 91% 的准确率。



本文为机器之心编译,转载请联系本公众号获得授权

?------------------------------------------------

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

投稿或寻求报道:editor@jiqizhixin.com

广告&商务合作:bd@jiqizhixin.com



  • 好文
  • 钦佩
  • 喜欢
  • 泪奔
  • 可爱
  • 思考

凤凰网科技官方微信

凤凰新闻 天天有料
分享到:
百度