.
├── README.md
├── config.txt
├── frontend
│ ├── README.md
│ ├── package-lock.json
│ ├── package.json
│ ├── public
│ │ ├── favicon.ico
│ │ ├── icon.svg
│ │ ├── index.html
│ │ ├── logo192.png
│ │ ├── logo512.png
│ │ ├── manifest.json
│ │ ├── robots.txt
│ │ └── title_id.json
│ ├── src
│ │ ├── App.css
│ │ ├── App.js
│ │ ├── Main.tsx
│ │ ├── components
│ │ │ ├── Button.tsx
│ │ │ ├── Header.tsx
│ │ │ ├── Message.tsx
│ │ │ ├── SearchBar.tsx
│ │ │ ├── styles
│ │ │ │ ├── Button.style.ts
│ │ │ │ ├── Header.style.ts
│ │ │ │ ├── Main.style.ts
│ │ │ │ ├── Message.style.ts
│ │ │ │ ├── SearchBar.style.ts
│ │ │ │ └── styles.ts
│ │ │ └── utils
│ │ │ ├── decoder.ts
│ │ │ ├── handleButton.ts
│ │ │ ├── handleMultiturn.ts
│ │ │ ├── handleRecommendation.ts
│ │ │ ├── handleSubmit.ts
│ │ │ └── requests
│ │ │ ├── requestMultiTurn.ts
│ │ │ ├── requestQuery.ts
│ │ │ ├── requestRecommendation.ts
│ │ │ ├── requestSearch.ts
│ │ │ ├── requestSummary.ts
│ │ │ └── streamResponse.ts
│ │ ├── index.css
│ │ ├── index.js
│ │ ├── react-app-env.d.ts
│ │ └── redux
│ │ ├── defaultMessages.ts
│ │ ├── message.slice.ts
│ │ ├── multiturn.slice.ts
│ │ ├── recommendation.slice.ts
│ │ ├── selectors.ts
│ │ └── store.ts
│ └── tsconfig.json
├── prompt_guide.md
└── server
├── articles
│ ├── tokenized_articles
│ │ └── html.pkl
│ ├── 기타지원_01.html
│ ├── 기타지원_02.html
│ ├── ...
│ ├── 취업지원_35.html
│ └── 취업지원_36.html
├── model
│ ├── bm25
│ │ ├── articles_preprocessed.pkl
│ │ ├── bm25.py
│ │ ├── ensemble.py
│ │ ├── html_preprocess.py
│ │ ├── query_expansion.py
│ │ ├── text_preprocess.py
│ │ └── word_similarity.pkl
│ ├── embed
│ │ ├── embed_base.py
│ │ ├── embed_prompt.py
│ │ ├── exceptions.py
│ │ └── multiturn_model.py
│ ├── files
│ │ ├── articles_eng.parquet
│ │ ├── config.txt
│ │ ├── info_sheet.csv
│ │ └── processed_doc.csv
│ ├── io_model.py
│ └── utils
│ ├── convert_prompt.py
│ ├── get_chat.py
│ ├── get_response_openai.py
│ └── schemas.py
├── requirements.txt
└── server.py
17 directories, 538 files
- Langchain으로 Hallucination 탐지
- 지니랩스 tts, sst로 배리어프리 App 구현?
- IR의 경우, first stage + reranking으로 구현
- gpt api 중에 text embedding이 있음
- 복지 제도 400개를 미리 embedding해두고 user query와 가장 유사한 복지 제도를 찾는 방식 -z
- convert embeddings from CSV str type back to list type
df['embedding'] = df['embedding'].apply(ast.literal_eval)
Best practices for prompt engineering (OpenAI community)
- OpenAI API를 활용한 Data Augmentation Example
Is openai text-embedding-ada-002 the best embeddings model?
- includes various talks about text embedding
- OpenAI에서 제공하는 text embedding
- 상당히 저렴함
- Document Retrieval에 활용
- OpenAI API를 활용한 방법론
- LLM QA에 대한 자세한 비교
- git action을 활용한 GCP 배포
- koAlpaca 사용시 유용한 내용들 다수 포함
- 미세 조정, 프롬프트 등등
- 프롬프트 엔지니어링 가이드
- fine tuning 없이는 그닥
- 코알파카보다 훨씬 잘하는데 API만 활용해도 충분할 것 같다.
- 과장 좀 보태면 목요일까지 프로토타입 만들기 가능...
awesome-pretrained-models-for-information-retrieval
- emoji [type] message
✨ [Add] Add html cleansing code
✨ [Add] Data preprocessing code
🐛 [Fix] Fix bugs
🛠️ [Git] resolve merge conflict
🛠️ [Git] .gitignore
🔥 [Feat] Implement main logics (incomplete)
📝 [Docs] Update git files
📝 [Docs] Add TODO
📝 [Style] Fix typo
- type
🔥 Feat : 새로운 기능 추가
✨ Add : 기능은 아닌 코드 추가
🐛 Fix : 버그 수정
📝 Docs : 문서 수정
📝 Style : 코드 포맷팅, 세미콜론 누락, 코드 리프랙터, 코드 변경이 없는 경우
🛠️ Git : 깃허브 관련
- message
- 첫글자는 대문자로 시작
- 필요한 경우 message 아래에 내용 첨부
Ex
🔥 [Feat] Implement main logics (incomplete)
TODO
- vehicle_update 함수 수정 필요
- request_time 변수 추가 필요
- calculate_time unit test