距2018首届“顶天立地”iFLYTEK AI开发者大赛报名截止时间越来越近了。你的参赛作品准备好了吗？【点击这里】即可直接进入报名通道！
上期为大家介绍的是“应用开发AI挑战赛”的相关内容。有不少小伙伴留言，强烈要求小编再出一版关于“方言种类识别AI挑战赛”的一些具体赛况。今天小编就来满足你们~
针对大家对“方言种类识别AI挑战赛”的一些提问，我们邀请到了科大讯飞研究院科学家、语言识别技术总负责人潘嘉为大家进行赛事解读。小编把潘嘉老师的解读整理了下，分享给大家，满满的干货，小板凳快搬好，准备记笔记啦~
方言种类识别AI挑战赛
【赛题详情】
方言种类识别 AI 挑战赛任务为汉语方言语言种类识别，即根据给定语音，判断该语音属于哪个方言。
科大讯飞全球首次开放覆盖中国六大方言区、总时长约 60 小时的 10 种汉语方言语音数据集，供参加竞赛的科研单位以及开发者免费使用。
根据测试语音长度，方言识别 AI 挑战赛分为两个不同难度的子任务，即任务一（有效语音长度≤3s ）和任务二（有效语音长度>3s）。
结果评价指标为分类正确率 acc：即分类正确的语音条数/所有语音条数。
训练集合与开发集合供参加竞赛的科研单位以及开发者调试系统使用，测试集合不开放，最终排名以参赛者提交的系统在线上测试集合上的结果为准，分类正确率越高排名越靠前。
【开放数据】
初赛共有六种方言，分别来源于六大方言区，具体为：长沙话、河北话、南昌话、上海话、闽南语、客家话。
为了进一步提高数据的覆盖性，测试集在性别等方面都做过精心的挑选。每种方言平均包含6小时的朗读风格语音数据，覆盖40个说话人。数据由各个型号的智能手机采集，录制环境包含安静环境和噪声环境。数据以采样率16000Hz、16比特量化的PCM格式存储。
数据集包含训练集、开发集和测试集三个部分。
训练集每种方言有6000句语音，包含30个说话人，其中15位男性和15位女性，每个说话人200句语音；开发集和测试集分别每种方言包含5个说话人，其中开发集为2名女性和3名男性，测试集为3名女性和2名男性。这样的数据具有非常高的使用价值。
开发集和测试集的数据根据语音段的时长分为两类，一类是小于等于3秒的短时数据（任务一），另一类是大于3秒的为长时数据（任务二），分别对应于两个比赛任务，其中每个说话人两类数据各50句，共100句。训练集、开发集、测试集的说话人均没有重复。
为了增加本次比赛技术方案的多样性，每条语音对应文本内容的音素序列标注也将同样提供。
【参赛系统】
参赛系统的搭建方法不限，所有机器学习的方法均可以使用，并且参赛系统可以是多种方法以任意形式的结合，比如投票法等等。
两个不同的比赛任务可以采用两套完全独立的系统。比赛采用离线测试的方式进行，因此本次比赛对参赛系统的响应时间不做要求。
同时，考虑到复赛和初赛的难度差异，复赛和初赛也可以采用不同的系统。
【评测方式】
本次比赛的测试集是不公开的，因此需要参赛者提交自己的系统，具体操作方式如下：
a)初赛提交系统时，请提交参赛者名称、第一作者、该系统对应的任务、参赛系统、训练集和开发集上的分类正确率
b)复赛提交系统时，需要额外提交一份参赛系统的论文或者说明书（最好能够附带提供源代码），详细介绍系统的构成、训练方法和对应的参数
c)如无特殊情况，每天上午11点在官方网页上公布各个参赛者在测试集上的分类正确率并对结果进行排序（每个参赛单位的结果以最新提交的为准）
【评测系统】
为了能够正确进行测试，所有测试均在相同配置的Linux 64位服务器上统一采用CPU进行测试。因此提交的系统不能是windows等其他操作系统下的程序，并且不能和GPU、FPGA等其他硬件相关联。同时为了方便参赛者更好的参加比赛，本次比赛制定了详细的参赛系统提交和评估系统，介绍如下：
1.评测系统目录结构
/dataset…………开发集目录，用于系统提交后的正确性验证
/inference………评测代码及资源目录，系统运行的当前路径
/result …………请将评测结果以result.txt命名，存放在此目录
result.txt请按照result.txt中的格式。格式如下：
posterior: changsha, hebei, nanchang, shanghai, kejia, minnan
sent1: 0.01, 0.02, 0.03, 0.04, 0.1, 0.8
sent2: 0.7, 0.02, 0.04, 0.1, 0.06, 0.08
sent250: 0.01, 0.02, 0.03, 0.04, 0.6, 0.3
ACC: 0.8854
2.本地开发调试
a)使用开源深度学习训练框架(推荐)
请从公开镜像仓库下载对应版本的深度学习镜像CPU版本，编写本地程序进行评测。
以tensor flow工具为例：
I.下载镜像，docker pull tensorflow/tensorflow: 1.7.0
II.下载开发集到 /dataset目录，将评测代码inference.py及评测所需资源复制到 /inference目录
III.运行镜像，docker run –it –v /dataset:/dataset –v /inference:/inference –v /result:/result tensorflow/tensorflow:1.7.0 /inference/inference.py
IV.查看输出结果，并检查该输出结果的正确性其他框架与此类似。
b)使用非开源深度学习训练框架
首先，要将使用的深度学习训练框架制作成docker镜像，上传至公开镜像仓库（推荐使用国内稳定镜像仓库服务，如UCloud），制作详情可参考docker官方文档，具体操作如下：
I.在hub.docker.com注册账号，并创建仓库
II.本地执行docker tag your_demo your_account/your_demo:latest
III.本地执行docker push account/your_demo:latest，等待命令执行成功后，即可在hub.docker.com网页上，看到新提交的镜像信息
镜像提交完成后，参考使用开源深度学习训练框架中的步骤，进行本地开发和调试
具体的为：
IV. 下载上传的镜像，docker pull yourtoolname
V.下载开发集到 /dataset目录，将评测代码inference.py及评测所需资源复制到 /inference目录
VI.运行镜像，docker run –it –v /dataset:/dataset –v /inference:/inference –v /result:/result yourtoolname /inference/inference.py
VII.查看输出结果，并检查该输出结果的正确性
3.提交评测系统
a)将/inference目录打包成tar文件，tar –cvf inference.tar inference/
b)在比赛官网中评测系统提交页面进行上传
4.线上验证及评测
a)配置系统所需的镜像仓库地址，镜像入口及验证参数(/dataset目录由系统自动将开发集挂载到镜像内)
b)点击”运行”，等待评测结果
c)如评测报错或效果异常，请排查/inference目录结构、镜像等配置信息
d)确定评测结果无误后，点击”提交”。此时/dataset内将替换成为非公开的测试集，并记录系统效果
【限制条件】
为了保证比赛的公平性，本次比赛仅允许使用官方发布的数据和标注，否则比赛成绩将被视为无效。
不符合规定的情况包括以下几种：
a)参赛系统搭建过程中有任何一个环节（包括数据加噪、模型初始化等）用到了官方发布的训练数据集之外的其他数据
b)人工对发布数据集的音素序列标注进行矫正或改动
c)其他对发布数据集的人工处理，比如人工对数据集进行语音端点检测等
以下情况是允许的：
a)仅利用官方发布的训练数据集进行数据的机器仿真和加噪
b)利用官方发布数据集中已公布的所有信息，包括性别、说话人等
注：
完整的初赛数据集请在报名成功后前往个人中心-我的比赛，进入方言识别比赛专题页面进行下载
最后，潘嘉老师还为大家提出了一些新的研究方向。
科大讯飞首次提出基于BN i-vector的方法来解决语种识别的问题，相比传统的SDC特征的i-vector方法有着较大的提升。近几年来，类似于DNN等新的深度学习技术，也是可以尝试的方向。
具体的方法多种多样，比如可以直接利用文本信息来训练一个文本的分类器，跟传统的基于i-vector的方法进行融合，或者也可以把它作为一种外部的信息源，加入到端对端系统的输入中，直接训练端对端的系统。
今天的赛前分享就到这里了，感谢潘嘉老师的倾力相助。相信优秀的你们，一定会创造出出类拔萃的作品，小编再一次提醒大家，报名时间不多啦，大家千万别忘记报名了哦。
想了解大赛更多详细信息和最新消息，可以添加开发者大赛小助手的微信：
http://www.huodongxing.com/event/7442019062800?qd=weibo
（科大讯飞执行总裁胡郁）
