再获认可!渊亭科技引入注意力机制,提高自然语言处理水平

2024-04-19


近日,渊亭科技自主研发的《一种基于神经网络的长文本指代消解方法和装置》获得国家知识产权局专利授权。


早在2020年,渊亭科技便成功研发出了该专利,将其深度应用于相关产品和业务,提高自然语言处理领域文本理解和语言生成的准确性和效率,受到了行业和客户认同。此次正式获批专利,是国家对渊亭技术创新水平的再度认可,以进一步促进企业知识产权成果的转化和落实。



自然语言处理(NLP)作为人工智能领域的重要分支,已经在语音、机器翻译等方向取得较为显著的进展。然而,指代消解一直是NLP领域的主要难题之一。


尽管目前基于规则和机器学习的方法在指代消解上取得了一定的进步,但在处理长文本时效果仍然不够理想,它们往往在理解和表征自然语言的深层语义方面存在不足,难以准确识别并解析长文本中的复杂指代关系。因为这些方法未能充分探索长文本的复杂性、深度挖掘利用语言知识以及上下文信息,从而在一定程度上影响了指代消解系统的效能和性能。



为了解决上述技术难题,渊亭科技在2020年便研究出了“一种基于神经网络的长文本指代消解方法和装置”。该专利核心利用基于多层注意力机制的神经网络技术,针对长文本中的指代和缺省内容进行有效地恢复和增强,提高了指代消解的准确度和效率,为自然语言处理领域带来了创新的解决方案。


专利原理 >>>


1、通过构建多层注意力模型,实现自然语言不同层次信息的处理;


2、根据注意力机制计算指代部分和被指代部分在其周围信息和原文条件下的向量表示,进而计算出是否存在指代关系。


这种方法有助于指代部分和被指代部分在当前语境下直接进行指代关系判别,对于显性指代零指代两种情况都有较好的效果。



本专利技术通过使用多层注意力神经网络模型,提高文本理解的准确性和效率,在国防情报分析、医疗临床记录分析、工业制造质量控制报告和金融新闻分析等多个领域都呈现出广泛的应用前景,可助力专业人士快速理解关键信息,做出精准决策。



国家知识产权局曾在一份行业分析报告中指出,中美两国在自然语言处理技术领域竞争愈发激烈,中国创新主体专利储备有待提升。


近年来,渊亭科技积极推进自然语言处理等关键领域的技术攻关,如今不仅在专利和软著数量上持续突破(已获知识产权200多项),且技术质量和研发水平也取得显著提升,构筑了专利布局战略优势。


未来,渊亭科技将投入更多研发力量,加快成果产出,强力筑牢信创底座,推动业务创新和增长。