跳至内容
深圳市捷比信实业有限公司 · 产品选型与采购咨询联系业务人员
取样电阻捷比信 · 专业器件主题站

6篇ICLR 2021相关论文,在不久的将来必须阅读

本期的重点是六篇NLP论文。 NLPCoDA:自然语言理解的对比度增强和多样性促进数据融合组合策略整合了现有的生成策略,另一方面,它借用了对比思想,将生成的数据与培训中的全局数据进行比较,以更好地提高培训质量。论文链接:https://openreview.net/forum?id=Ozk9MrX1hvAContrastiveLearningwithStrongerAugmentations本文指出,在现有的比较学习方法中,某些数据增强操作可能会导致转换后的图像与原始图像相差太大,并且网络被迫提取类似的特征会削弱自我监督学习的效果。作者在本文中提出的解决方案是将数据的扩充操作分为两类。一类称为WeakerAugmentations,它不会显着改变图像的视觉效果;另一类称为WeakerAugmentations。另一类可能会导致图像发生非常大的变化,称为WeakerAugmentations。更强的增强功能。在训练网络时,添加了新的损失函数,不是直接限制变换图像和原始图像的特征,而是通过优化原始图像和弱变换图像(弱变换图像)之间的分布来实现特征和强大的变换图像学习的目的是消除上述影响。论文链接:https://openreview.net/forum?id=KJSC_AsN14使用对话结构和事实知识改进抽象对话摘要在对话抽象任务中,有必要捕获长距离的跨句关系。此外,生成的摘要可能会受到错误事实的影响。本文提出了一种知识图增强的双重复制网络(KGEDC),它是一种基于会话结构和事实知识的抽象对话和转换框架。序列编码器用于提取局部特征,图编码器用于通过稀疏关系图自注意力网络相互补充来整合全局特征。另外,在解码过程中,还设计了双重复制机制,以根据原始文本和事实联合生成摘要。链接到本文:https://openreview.net/forum?id=uFk038O5wZCorDial:Coarse-to-fineAbstractiveDialogueSummarizationwithControllableGranularity本文提出了一种从粗到细的对话抽象生成策略,该策略首先生成草稿摘要,然后生成最终的摘要。抽象的。本文还提出了一种控制最终摘要的粒度的简单策略,该策略可以通过预测并突出显示源文本中的不同文本跨度来自动控制由给定对话生成的摘要句子的数量。论文链接:https://openreview.net/forum?id=Uf_WNt41tUALearningContextualizedKnowledgeGraphStructuresforCommonsenseReasoning为了解决外部知识图中缺乏事实和上下文知识图中冗余事实的问题,本文提出了一种用于常识推理的神经符号框架HGN 。 HGN可以共同生成新边缘的特征,优化图结构,并学习图网络的参数,以实现动态图推理。实验结果和用户研究证明了该模型的有效性。链接到本文:https://openreview.net/forum?id=lJuOUWlAC8iDeepEncoder,ShallowDecoder:ReevaluatingNon-autoregressiveMachineTranslation本文通过理论研究和实验证明,简单的层分配策略(深层编码器-浅层解码器)可以极大地加快处理速度。过程返回到神经机器翻译的速度。与强非自回归模型相比,深浅自回归模型在近似速度下实现了翻译质量的显着提高。此外,深度编码器-浅层解码器模型可用于任何序列到序列任务,包括大规模的预训练。论文链接:https://openreview.net/forum?id=KpfasTaLUpq