- Install Python>=3.10.
- Set
VLLM_ENDPOINT
,VLLM_API_KEY
, andMODEL_NAME
to environment.
$ pip3 install -e .
$ python3 -m table_query_engine.server
$ docker-compose up -d
{{BASE_URL}}:8000/docs
$ python3 scripts/api_test.py --query-str "เมืองไหนมีประชากรมากที่สุด" --query-endpoint http://localhost:8000/query
>>> 200 {'response': 'Tokyo'}