Dự án nghiên cứu về bài toán nhận dạng thực thể tên riêng tiếng Việt, được phát triển bởi nhóm nghiên cứu xử lý ngôn ngữ tự nhiên tiếng Việt - underthesea. Chứa mã nguồn các thử nghiệm cho việc xử lý dữ liệu, huấn luyện và đánh giá mô hình, cũng như cho phép dễ dàng tùy chỉnh mô hình đối với những tập dữ liệu mới.

Nhóm tác giả

• Vũ Anh ([email protected])
• Bùi Nhật Anh ([email protected])

Tham gia đóng góp

Mọi ý kiến đóng góp hoặc yêu cầu trợ giúp xin gửi vào mục Issues của dự án. Các thảo luận được khuyến khích sử dụng tiếng Việt để dễ dàng trong quá trình trao đổi.

Nếu bạn có kinh nghiệm trong bài toán này, muốn tham gia vào nhóm phát triển với vai trò là Developer, xin hãy đọc kỹ Hướng dẫn tham gia đóng góp.

• Yêu cầu hệ thống
• Thiết lập môi trường
• Hướng dẫn sử dụng
  • Sử dụng mô hình đã huấn luyện
  • Huấn luyện mô hình
• Kết quả thử nghiệm
• Trích dẫn
• Bản quyền

• Hệ điều hành: Linux (Ubuntu, CentOS), Mac
• Python 3.6+
• conda 4+

Tải project bằng cách sử dụng lệnh git clone

$ git clone https://github.com/undertheseanlp/ner.git

Tạo môi trường mới và cài đặt các gói liên quan

$ cd classification
$ conda create -n ner python=3.6
$ pip install -r requirements.txt

cd ner
$ source activate ner
$ python ner.py -fin tmp/input.txt -fout tmp/output.txt

Prepare a new dataset

Train and test

$ cd ner
$ source activate ner
$ python train.py
  --train data/vlsp2018/corpus/train.txt

To be updated

To be updated

Dữ liệu VLSP 2016: mức từ (không dùng nhãn gold POS, Chunk)

Dữ liệu VLSP 2016: mức syllable