华为云荣获NLPCC轻量级预训汉语模型评估奖

发布时间:2021-01-07 20:02:34

最近,华飞云彩团队在第九届自然语言处理和中国计算国际会议上获得了nlpcc2020轻量级预培训汉语模型评估的第一名。

Nlpcc是由中国计算机学会主办的自然语言处理(NLP)和中文计算(Cc)领域的国际前沿会议。每次会议都遵循严格的国际化和流态化标准,对自然语言处理任务进行公开评价,促进相关任务的研究和开发。Nlpcc2020吸引了国内外近600名自然语言处理领域的专家和学者,如康奈尔大学、伦敦大学、普林斯顿大学等,其中400多名专家学者见证了开放式评价任务的诞生。

目前,训练前语言模型已成为NLP的主流方法,并在许多NLP任务中取得了明显的效果。然而,训练前语言模型往往比较大,限制了训练前语言模型的应用场景,因此如何构建轻量级的训练前语言模型已成为一个关键问题。

训练前语言模式自训练前语言模式出现以来,发展非常迅速,并已演变为一个家庭。

中国轻量级训练前语言模型能力评估任务的目的是缩小语言模型的规模,同时尽可能确保模型的效果。该竞赛由参考分辨率、关键词识别和两个句子级分类任务、实体识别序列标注任务、MRC阅读理解任务四部分组成,并从不同角度评价模型的语义表达能力。同时,该模型的参数数比Bert-base模型少,推理速度是Bert-base模型的8倍,这就要求模型运行速度快、体积小、效果好。

一般说来,我们可以通过量化、剪枝、蒸馏等方法对大型预训练语言模型进行压缩,得到轻量化的模型。在自行开发的哪吒汉语预训练模型的基础上,华微云和新星方舟实验室的联合团队通过知识精馏获得了微小型轻量级模型的桂冠。

与其他模型相比,华为的模型在结构上找到了一个更好的平衡点。利用Tinybert两步精馏使模型更好地学习与任务相关的知识。在精馏过程中,使用语言模型来预测和替换部分令牌数据增强,可以使小模型具有更强的泛化能力。

知识蒸馏损失函数的一个重要部分是让中间层学习隐藏状态和注意向量。

同时,华为开发的哪吒训练前语言模型采用相对位置编码代替了Bert的参数绝对位置编码,可以更直接地模拟符号之间的相对位置关系,从而提高语言模型的表达能力。

在即将到来的2020年,华为云彩公司在人工智能领域取得了卓越的研究和发展,赢得了12项国际和国内奖项,包括WSDM、Webvision、ccks事件抽取技术评估称号、人工智能金奖和德国红点。华为云人工智能将继续巩固其技术优势,成为智能世界的黑土,并继续实行包容性人工智能,接触到每一个开发商和每一个企业,帮助所有行业进入人工智能的新时代。

请注意@华仙云了解更多信息

上一篇:丰田的SUV首次亮相,两款动力四驱,外观与普拉多相当。

下一篇:最后一页
焦点资讯
资讯动态