ccks2021-track3

CCKS2021中文NLP地址相关性任务-赛道三-冠军方案

团队：我的加菲鱼- wodejiafeiyu

初赛第二/复赛第一/决赛第一

前言

19年开始，陆陆续续参加了一些比赛，拿到过一些top，比较懒一直都没分享过，这次比较幸运又拿了top1，打算分享下

分类的任务用这个框架基本都能top10，之前个人参加的《全球人工智能大赛-赛道一》和这个也差不多，只是有些具体任务的trick不同

比赛主页

https://tianchi.aliyun.com/competition/entrance/531901/introduction

环境

• torch==1.6.0
• transformers=3.0.2

预训练模型

- nezha-base 
- nezha-wwm
- macbert

• 下载预训练模型，放到文件夹user_data/model_param/pretrain_model_param/下，文件夹和模型名字一一对应

全流程脚本

sh run.sh

核心思路

• 预训练mlm中的mask策略使用ngram-mask，相比原始的动态mask，提升了预训练难度
• 标签也包含语义信息，预训练部分融入标签信息，提升预训练效果
• 混合精度预训练，损失一部分精度，提升整体的训练速度，实际测试结果精度损失不大，速度提升明显
• 对抗训练，已经是一个比较常用的trick了
• 后12层加上embedding的cls动态加权平均
• multi-sample dropout
• 推理的时候，阈值搜索
• 三折交叉验证，每折使用不同的随机数种子使用dynamic pad
• 加权平均，模型融合

总结