升级版织女模型Vega v2刷新世界记录

新闻网讯（通讯员计轩）在此前公布的全球权威自然语言处理领域-复杂语言理解测试SuperGLUE 中，武汉大学-京东可信人工智能联合研究中心组成的梦之队(JDExplore Dream Team, d-team)参与其中，其提出的升级版织女模型Vega v2超越同场竞技的谷歌、微软、OpenAI等业界顶尖企业，以总平均分91.3分登顶SuperGLUE榜首，再次刷新复杂语言理解技术世界记录。

SuperGLUE成绩排名表

主要完成人员为武汉大学计算机学院钟起煌、京东探索研究院丁亮、武汉大学图像传播与印刷包装研究中心刘菊华、武汉大学计算机学院杜博、京东探索研究院、悉尼大学陶大程。

测试中织女模型Vega v2在八个子任务中的四个单项任务，即自然语言推理任务CB(CommitmentBank)、文本蕴含任务RTE(Recognizing Textual Entailment)、因果推理任务COPA(Choice of Plausible Alternatives)和指代消解任务WSC(Winograd Schema Challenge)中均位列第一。相关负责人表示，织女模型Vega v2凭借60亿参数量规模大幅超过谷歌提出的5400亿超大模型PaLM的复杂语言理解性能，充分证明了武汉大学-京东可信人工智能联合研究中心自然语言理解技术水平在超级深度学习领域的全球领先地位。

SuperGLUE任务功能展示

织女模型Vega v2是在此前提出的模型Vega v1（15亿参数，GLUE榜单冠军）的基础上进行升级，规模更大、性能更强。不同于一昧地扩大模型规模，Vega v2更采用了一种高效的自进化学习方法，充分挖掘预训练数据中蕴含的语义知识，以进一步激发模型自然语言理解性能，从而在有限的模型规模下即可训练得到高性能语言模型。

此外，为了实现模型的快速部署，团队还针对大规模语言模型提出了一种基于知识蒸馏的提示学习算法，仅更新额外的5%模型参数即可实现大模型的有效任务迁移。

Vega v2模型训练方法

据悉，武汉大学-京东可信人工智能联合研究中心是由武汉大学计算机学院与京东联合成立的科研机构，以从基础理论层面实现颠覆式创新为目标，共同开展科学研究与人才培养，研究领域包括可信人工智能、量子机器学习、超级深度学习及其他人工智能涉及的理论与技术。联合研究中心自2021年成立以来，已累计发表SCI一区/CCF A类期刊或会议等高水平研究论文40余篇，并在ICCV2021多目标跟踪竞赛的深度+视频大赛与全球自然语言处理领域顶级测试GLUE大赛中取得世界第一的佳绩。

SuperGLUE比赛官网地址：https://super.gluebenchmark.com/

模型技术报告以及相关工作论文：

[1] Toward Efficient Language Model Pretraining and Downstream Adaptation via Self-Evolution: A Case Study on SuperGLUEhttps://arxiv.org/pdf/2212.01853.pdf

[2] Panda: Prompt transfer meets knowledge distillation for efficient model adaptationhttps://arxiv.org/pdf/2208.10160.pdf

（供图：计算机学院 编辑：相茹）