maxindian / ccks2020_task1_kbqa Goto Github PK

CCKS2020评测任务一：新冠知识图谱构建与问答（四）新冠知识图谱问答评测

1. 试一下从在线endpoint获取答案，会不会优于自己的endpoint
2. pkubase版本是否不一致？（官方给了新的pkubase）
3. 改进获取实体候选的方法
4. sparql parser改进，如filter regex
5. 选取最优的K值

本实验基于python3(Anaconda3)，另外需要以下工具包：

1. pytorch-1.2.0
2. jieba-0.42.1
3. pkuseg

其他资源配置：

1. BERT中文词表和config文件已经保留，BERT中文模型参数需要下载。打开链接，下载bert-base-chinese/pytorch_model.bin文件，并将其放至resource/bert-base-chinese目录下。
2. 下载知识图谱相关资源（链接：https://pan.baidu.com/s/1mQXgm7BtdQin3oLUoPqNXQ 提取码：cs35），将pkubase-complete2.txt和pkubase-mention2ent.txt放至resource目录下。
3. 下载数据集（链接：https://pan.baidu.com/s/1IqCfmkmAQTBz5K37Sv-7Kw 提取码：81ek），将task1-4_train_2020.txt和task1-4_valid_2020.questions放至data目录下。

配置完运行环境后，开始执行程序。

1. 执行以下代码清理PKUBASE与收集mention2entity映射文件。约耗时1小时。

   bash resource_prepare.sh

2. 使用virtuoso搭建PKUBASE的SPARQL查询端口（搭建流程），搭建完成后修改utils/configure.py中的endpoint。

3. 准备数据与训练（使用RTX2080TI）。约耗时1+5+2+7小时。‘

   bash data_prepare_and_train_modules.sh

4. 获取验证集和测试集的答案。约耗时2小时。

   python test.py
   

验证提交阶段：

验证集只发布了问题，不包含SPARQL，所以本文随机从训练集中划出十分之一（即400个问题）作为实际验证集，剩余3600个问题作为实际训练集。

测试提交阶段：