一种基于BERT编码的数学应用题求解系统及方法

成果编号：38416

价格：8

完成单位：东北大学

单位类别：985系统院所、211系统院所

完成时间：2023年

成熟程度：研制阶段

服务产业领域：电子信息

我要对接关注发送消息

发布人：江苏省生产力促进中心高层次人才与外国专家服务处离线

发送消息

本发明提供一种基于BERT编码的数学应用题求解系统及方法，涉及应用求解技术领域。本系统包括编码模块、解码模块、监督模块以及微调模块。本方法使用MacBERT:作为中文题目的编码器，BERT作为英文题目的编码器；编码过程首先获取文本序列Q，并将文本序列Q映射成逐个字向量所构成的向量表示矩阵，对向量表示矩阵中各个字向量取平均得到文本序列的整体表示向量，使用树形解码器来生成表达式树；利用分类器捕捉导致生成错误表达式的题目表示，如果分类器输出结果为1，表示解码器生成的表达式与题目相对应，如果输出结果为0，则说明编码器生成的题目表示向量导致了错误表达式的生成，需要被进一步优化；对系统进行训练，从而实现数学应用题的求解。

90 次浏览分享到

成果介绍

科技计划：

成果形式：新技术

合作方式：技术咨询

参与活动：

专利情况：正在申请 ,其中:发明专利 1 项
已授权专利,其中:发明专利 0 项

成果简介

综合介绍

创新要点

一种基于BERT编码的数学应用题求解系统，具体包括：编码模块、解码模块、监督模块以及微调模块。所述编码模块负责对数学应用题进行编码，即将自然语言形式的数学应用题转换为向量形式的编码结果；所述解码模块接收编码模块输出的编码结果推理出求解每道数学应用题所对应的数学表达式；所述监督模块为一个正则化项，用于检验数学表达式的正确性；所述微调模块利用编码结果来预测求解求解这道题目所对应的数学表达式中各个数学符号的数目，让编码器在求解开始之前感知题目所对应的数学逻辑。

技术指标

(1)本发明提出了一种基于BERT编码的具有监督模块的数学应用题求解系统。一方面，为了确认模型生成的表达式的正确性，我们设计了基于多头注意力的监督模块以二分类的形式来检查生成的解表达式是否正确：首先我们通过将题目表示向量与表达式表示向量拼接后送入分类器的方式使其学习每道题目与其对应的数学表达式间的一致性关系，然后在求解阶段利用分类器模型所习得的问题表示-等式表示对间的一致性关系去检查当前生成的解表达式的向量表示与问题向量表示是否匹配，当发现两者不匹配时则通过优化导致错误解表达式生成的问题编码表示来提升模型效果。 (2)本发明基于预训练语言模型BERT在自然语言理解上的优势来学习题目中各部分间的关系，获得题目的上下文表示。同时设计了预测每道题目对应的表达式中各个运算符个数的微调任务，使编码器习得每道题目对应的数学关系，让具有相同操作符且各个操作符数量的题目表示更加接近。进而使得题目表示向量与表达式表示向量间的匹配关系更明显，拼接后的特征向量也更具代表性，从而减小监督模块的分类难度识别解码模块生成的错误表达式。

其他说明

完成人信息

姓名：对接成功后可查看

所在部门：对接成功后可查看

职务：对接成功后可查看

职称：对接成功后可查看

手机：对接成功后可查看

E-mail：对接成功后可查看

电话：对接成功后可查看

传真：对接成功后可查看

邮编：对接成功后可查看

通讯地址：对接成功后可查看

联系人信息