自然语言的语义理解往往包括分析构成一个事件的行为、施事、受事等主要元素，以及其他附属元素（adjuncts），例如事件发生的时间、地点、方式等。 在事件语义学（Event semantics）中，构成一个事件的各个元素被称为语义角色（Semantic Roles）；而语义角色标注（Semantic Role Labeling）任务 就是识别出一个句子中所有的事件及其组成元素的过程，例如：其行为（往往是句子中的谓词部分），施事，事件，地点等。下图中，例子中的一个事件“生产”被识别出来， 而“生产”对应的施事“全行业”和受事“化肥二千七百二十万吨”以及附属的事件发生的时间“全年”被准确标注出来。语义角色标注可为许多下游任务提供支持， 例如：更深层的语义分析（AMR Parsing，CCG Parsing等），任务型对话系统中的意图识别，事实类问答系统中的实体打分等。
利用huggingface/transformers中的albert+crf进行中文语义角色标注
利用albert加载中文预训练模型，后接一个前馈分类网络，最后接一层crf。利用albert预训练模型进行fine-tune。
albert预训练模型下载：
链接：https://pan.baidu.com/s/1GSuwd6z_YG1oArnHVuN0eQ
提取码：sy12
整个流程是：
- 数据经albert后获取最后的隐层hidden_state=768
- 将last hidden_state=768和谓词位置指示器（predicate_indicator）进行concatenation，最后维度是（768 + 1）经一层前馈网络进行分类
- 将前馈网络的分类结果输入crf
BIOES形式标注，见data/
训练数据示例如下，其中各列为字、是否语义谓词、角色，每句仅有一个谓语动词为语义谓词，即每句中第二列取值为1的是谓词，其余都为0.
她 0 O
介 0 O
绍 0 O
说 0 O
， 0 O
全 0 B-ARG0
行 0 I-ARG0
业 0 E-ARG0
全 0 B-ARGM-TMP
年 0 E-ARGM-TMP
生 1 B-REL
产 1 E-REL
化 0 B-ARG1
肥 0 I-ARG1
二 0 I-ARG1
千 0 I-ARG1
七 0 I-ARG1
百 0 I-ARG1
二 0 I-ARG1
十 0 I-ARG1
万 0 I-ARG1
吨 0 E-ARG1
srl = SRL(args)
if train_bool(args.train):
srl.train()
'''
epoch: 45, acc_loss: 46.13663248741068
dev_score: 0.931195765914934
val_loss: 50.842400789260864, best_val_loss: 50.84240078926086
'''
else:
srl.load()
# ner.test(args.test_path)
text = '代表朝方对**党政领导人和人民哀悼金日成主席逝世表示深切谢意'
predicates_indicator = [0, 0, 0, 0, 0, 0, 0, 0, 0,0,0,0,0,0,0,1,1, 0, 0, 0, 0, 0, 0, 0,0,0,0,0,0,0]
assert len(text) == len(predicates_indicator)
pprint(srl.predict(text, predicates_indicator))
# tag_predict: ['O', 'O', 'O', 'O', 'O', 'B-ARG0', 'I-ARG0', 'I-ARG0', 'I-ARG0', 'I-ARG0', 'I-ARG0', 'I-ARG0', 'I-ARG0', 'I-ARG0', 'E-ARG0', 'B-REL', 'E-REL', 'B-ARG1', 'I-ARG1', 'I-ARG1', 'I-ARG1', 'I-ARG1', 'I-ARG1', 'E-ARG1', 'O', 'O', 'O', 'O', 'O', 'O']
# {'ARG0': '**党政领导人和人民', 'ARG1': '金日成主席逝世', 'REL': '哀悼'}
- data
- example.dev
- example.train
- examples
- test_srl.py #训练及预测
- model
- pretrained_model #存放预训练模型和相关配置文件
- config.json
- pytorch_model.bin
- vocab.txt
- pretrained_model #存放预训练模型和相关配置文件
- srl
- utils
- convert.py
- dataset.py
- model.py
- module.py
- utils
- utils
- log.py
如有搜索、推荐、nlp以及大数据挖掘等问题或合作，可联系我：
1、我的github项目介绍：https://github.com/jiangnanboy
2、我的博客园技术博客：https://www.cnblogs.com/little-horse/
3、我的QQ号:2229029156
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent