• 본 레포지토리의 소유자는 스캐터랩/핑퐁팀과 어떠한 관계도 없습니다.
  • 핑퐁팀의 원래 레포지토리는 (삭제/비공개로 전환)되었습니다. GitHub에서 Fork 기능이 작동하는 방식으로 인해, Fork의 Parent가 이 레포지토리로 변경된 것입니다.
• 개인정보와 관련하여 이슈가 되는 점을 고려하여, 사전 학습된 모델은 공개하지 않습니다.
  • 즉, 이 레포지토리를 Fork/Clone하셔도, 대화 가능한 챗봇을 재현하실 수 없습니다.
• 다만 연구 자체가 가지는 학술적인 의미를 고려하여, 개인정보가 남아있지 않은 순수한 코드를 배포합니다.
• 아래 내용은 기존의 README.md에서 일부 내용을 수정한 것입니다.

• This is a repository of pretrained dialogue generation models (GPT-2 and Meena) of Pingpong, ScatterLab.
• You can refer to our blog post (archive) for detailed pre-training processes and experiment results.

• You can't download the pretrained GPT-2 and Meena models; Original models have been deleted due to privacy concerns.
• Following models were available.
  • base_gpt_trained_on_dialogue_data_kr.pth
    • 한국어 대화 데이터로만 학습한 base size GPT-2
  • large_gpt_trained_on_dialogue_data_kr.pth
    • 한국어 대화 데이터로만 학습한 large size GPT-2
  • base_gpt_trained_on_wiki_and_dialogue_data_kr.pth
    • 한국어 대화 데이터, 위키피디아, 나무위키로 학습한 base size GPT-2
  • large_gpt_trained_on_wiki_and_dialogue_data_kr.pth (Recommend)
    • 한국어 대화 데이터, 위키피디아, 나무위키로 학습한 large size GPT-2
  • base_meena_trained_on_filtered_data_kr.pth
    • 필터링된 한국어 대화 데이터로 학습한 base size Meena
  • large_meena_trained_on_filtered_data_kr.pth (Recommend)
    • 필터링된 한국어 대화 데이터로 학습한 large size Meena
  • base_meena_trained_on_non_filtered_data_kr.pth
    • 필터링을 거치지 않은 한국어 대화 데이터로 학습한 base size Meena
  • large_meena_trained_on_non_filtered_data_kr.pth
    • 필터링을 거치지 않은 한국어 대화 데이터로 학습한 large size Meena
  • base_meena_trained_on_filtered_data_jp.pth
    • 約5億件の日本語日常会話データで学習したbase sizeのMeena

• GPT

PYTHONPATH=. python examples/run_gpt.py \
        --pretrained-model-path $PRETRAINED_MODEL_PATH \
        --model-config-path $MODEL_CONFIG_PATH \
        --tokenizer-model-path $TOKENIZER_MODEL_PATH \
        --decoding-method $DECODING_METHOD

• Meena

PYTHONPATH=. python examples/run_meena.py \
        --pretrained-model-path $PRETRAINED_MODEL_PATH \
        --model-config-path $MODEL_CONFIG_PATH \
        --tokenizer-model-path $TOKENIZER_MODEL_PATH \
        --decoding-method $DECODING_METHOD

• We implement two decoding methods called Top-p Sampling and Beam Search as examples.
  • There is a trade-off of Accuracy (Sensibleness) and Diversity (Specificity) between two decoding methods.
  • Beam Search is a good choice if you prefer the accuracy of the answer, and Top-p Sampling is a good choice if you prefer the diversity of the answer.

• 모델의 생성 결과는 학습을 바탕으로 한 예측 결과이며 스캐터랩/핑퐁팀의 의견과 무관합니다.
• 모델의 생성 결과는 가상의 대화 생성 결과이며 사실 여부를 담보하지 않습니다.
• 스캐터랩/핑퐁팀은 공개한 모델의 생성 결과에 대한 책임을 지지 않습니다.
• 본 레포지토리는 모델의 사전 학습 코드를 포함하고 있지 않습니다.
• 모델의 상업적 활용에 대해서는 [email protected]로 문의 부탁드립니다.

• モデルの生成結果は統計的機械学習を用いた予測結果であり、事実とは無関係な発話文が生成される可能性があります。この結果は当社の意思決定や判断を示すものではありません。
• 当社は、公開したモデルの使用によって生じる損失、損害等について、いかなる場合においても一切責任を負いません。
• 本レポジトリにはモデルの事前学習に関するソースコードが含まれておりません。
• モデルの商業的利用に関しては、[email protected]から問い合わせお願いします。

The codes in this repository are distributed under the terms of the Apache-2.0 License.

If you use our software for research, please cite:

@misc{pingpong2020dial_gen_models,
  author = {Chaehun Park, Sangwoo Seo, Dawoon Jung},
  title = {dialogue-generation-models},
  year = {2019},
  publisher = {GitHub},
  howpublished = {\url{https://github.com/pingpong-ai/dialogue-generation-models}}
}

@techreport{radford2019gpt2,
    title={Language Models are Unsupervised Multitask Learners},
    author={Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever},
    institution={OpenAI},
    year={2019}
}

@misc{adiwardana2020meena,
    title={Towards a Human-like Open-Domain Chatbot},
    author={Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu},
    year={2020},
    eprint={2001.09977},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

For training models, we used Cloud TPUs provided by TensorFlow Research Cloud program.