scb-10x / wangchanglm-api Goto Github PK

Currently the API returns the full completion:

<context>: วันที่ 10 พ.ค. 66 ที่ศาลอาญา ศาลนัดฟังคําพิพากษาคดีที่พนักงานอัยการคดีพิเศษ 1 เป็นโจทก์ฟ้อง น.ส.วันทนีย์ หรือเดียร์ ทิพย์ประเวช, นายเมธี หรือบอส ชิณภา สองสามีภรรยา, นายปิยะ หรือเป้ คีรีสุวรรณกุล, น.ส.พรสวรรค์ หรือฝ้าย ภูอินอ้อย, น.ส.ธวัลรัตน์ ทิพย์ประเวช มารดาของ น.ส.วันทนีย์ จําเลยที่ 1, น.ส.วิไลวรรณ หรือมิ้น หงษ์ประชาทรัพย์, น.ส.นิตยา หรือโบว์ พินนอก, นายบริภัทร เข็มรัตน์ (ได้ประกัน) และนายปิยะเศรษฐ์ ธิโสภา ที่ร่วมกันเป็นจําเลยที่ 1-9 ตามลําดับ ในความผิดฐานร่วมกันกู้ยืมเงินอันเป็นการฉ้อโกงประชาชน <human>: พาดหัวข่าวนี้ให้หน่อย <bot>: คดีนี้เกิดขึ้นเมื่อวันที่ 10 พฤษภาคม พ.ศ. 2546 เป็นการฟ้องร้องคดีอาชญากรรมที่ศาลแขวงพระนครเหนือ

Update the api to return only the portion after the <bot>:

As a client,
I can provide additional hyperparameters to the API for inference
So that users can explore the model better

Hyperparams - currently in the colab demo, we allow max new tokens, temperature and top p. I think we can reference OpenAssistant and use their set of hyperparameters. For chat mode, we also allow native huggingface and langchain since they give slightly different results we havent experimented enough to know which one is definitely better.

Another one for hyperparameter. We may want to add yes/no option for forcing model to begin generation in Thai (default being yes as per our audience)