Light

acikyazilimagi / depremadres-intent-classification-v0 Goto Github PK

View Code? Open in Web Editor NEW

38.0 6.0 26.0 58.23 MB

Python 97.01% Dockerfile 2.44% Makefile 0.54%

depremadres-intent-classification-v0's Introduction

Yeni classifier eklenmesi

ml_modules altında BaseClassifier'ı extend eden yeni sınıf yarat.
Eğer gerekliyse requirements.txt'yi güncelle.
tests/ml/classifiers/test_models.py dosyasında yeni classifier'ı importlayıp setupClass'ı güncelle.
make test-docker komutu ile testlerin geçtiğinden emin ol.
Yeni branch'ı pushla ve PR aç.

Deprem Verisi ile Intent Classificiation

Proje amaci: Twitter’dan toplanan deprem alakali verilerin labellanmasi ve analizi. Su ana kadar kelime tabanli ve zero-shot classification modeli kullanilarak intent classification yapildi. Onumuzdeki amacimiz veri takimlarinin yardimiyla verisetleri olusturup tweetleri ilgili yardim birimlerine ulastirmak amacli kumelemek. Ornegin: yemek ihtiyaci oldugunu belirten bir tweetin enkaz icin degil de gida transferi saglayacak ekiplerle paylasilmasi icin duzenlenmesi.

#depremadres data Trello'da mevcut: 130k tweet data

Yapilmasi gerekenler

Depremle ilgili elimizde olan verilerin analiz edilmesi.
1. #depremadres hashtaginden 2232 tweet var elimizde.
2. deprem alakali 130k tweet var elimizde.
3. yapilabilecek preprocessing gelistirmeleri.
4. veriyi en iyi represent edecek label listesinin olusturulmasi.
5. data exploration
yeni toplanabilecek verilerin planlanmasi.
veri takimiyla iletisime gecilip toplanmis verilerin annotation isleminin yapilmasi.
supervised classification probleminin tasarlanmasi.
1. elimizdeki tweet yardim isteyen tweet vs ornegin siyasi tweet mi.
2. yardim tweetlerinin hangi contextte yardim istedigi: enkaz yardim, gida yardim, ilac yardim, gibi.
3. daha fazla model mumkun, veri analizleri dogrultusunda neler gelistirilebilirse deneyebilirsiniz.
problemin etrafinda gelistirilebilecek modellerin belirlenmesi.
modellerin training ve testing gelistirmelerinin yapilmasi.
sonuclarin analizinin yapilmasi.
pm ekibiyle iletisime gecilip modellerin ne yonde ise yarayabileceginin ve entegrasyonunun planlanmasi.

depremadres-intent-classification-v0's People

Contributors

Stargazers

Watchers

depremadres-intent-classification-v0's Issues

psycopg2 Connection Error// Documentation Requiered

AttributeError
module 'psycopg2' has no attribute 'connection'
File "C:\Users\YUNUS\Documents\indent-earthquake\depremadres-intent-classification-v0\intent-classification-v0\pg_ops.py", line 7, in
def get_data(conn: psycopg2.connection, table_name: str, column_names: List[str], condition: str) -> List[Tuple]:
File "C:\Users\YUNUS\Documents\indent-earthquake\depremadres-intent-classification-v0\intent-classification-v0\main.py", line 2, in
import pg_ops
AttributeError: module 'psycopg2' has no attribute 'connection'

CI / CD - Github Actions

Buraya CI / CD (Github Actions) ihtiyacınız var mı, başka şekilde mi deploy ediyorsunuz?

zero-shot model performansları

Intent classification için linkini paylaştığım çalışmaya bakmanızın faydalı olacağını düşünüyorum:

https://github.com/akdeniz27/Huggingface_Evaluate_for_zero-shot-text- classification/blob/main/HF_Evaluator_Text_Classification_TTC4900.ipynb

Özellikle bu model ile (vicgalle/xlm-roberta-large-xnli-anli) çok iyi sonuçlar alınabiliyor.

cosine similarity

Her tweet ve yemek, kurtarma, giysi txt arasında cosine similarity hesapladım. Bunun data frame'ini oluşturdum. Dosya upload edemediğim için buraya yazıyorum. Projeye katkı sağlar mı bilmiyorum ama buraya colab linkini bırakıyorum(.ipynb dosyası):

https://colab.research.google.com/drive/1S8UUXPQv87xCjMxoDoXgiKOyuet1pQU7?usp=sharing

annotation yardımı

main default branch olusturulmasi

ilk commit atarken main branch acmayi unuttum. su anda da devretmem gerekiyor. bir main branch acip default olarak guncellerseniz, cok iyi olur. tesekkurler.

pycache klasörleri

pycache klasörlerinin silinmesi ve .gitignore'a eklenmesi daha temiz bir codebase sunabilir

Verilerin Düzenlenmesi Ve Merkezcilliştirimesi

Arkadaşlar merhaba, formu doldurdum fakat süreci hızlandırmak adına toplanan veriler için yardımcı olmak isterim.
Tam olarak nelerin var olduğunu veya eksik olduğunu bilmiyorum fakat;

Verilere ulaşımın kolaylaştırılması
Altyapının oluşturulması
Sonrasında gelecek anotasyon altyapısı veya desteği

Yukardıdaki sorunları hallederek, analiz ve modelleme kısımlarını hızlandırabiliriz.

Veya başka herhangi bir destek gerekiyorsa oraya da zaman ayırabilirim.

NLI -> BERT

NLI'yı bu modelle değiştiriyoruz: https://huggingface.co/deprem-ml/bert-fine-tuned-intent

Recommend Projects

React

A declarative, efficient, and flexible JavaScript library for building user interfaces.
Vue.js

🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
Typescript

TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
TensorFlow

An Open Source Machine Learning Framework for Everyone
Django

The Web framework for perfectionists with deadlines.
Laravel

A PHP framework for web artisans
D3

Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

javascript

JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
web

Some thing interesting about web. New door for the world.
server

A server is a program made to process requests and deliver data to clients.
Machine learning

Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Visualization

Some thing interesting about visualization, use data art
Game

Some thing interesting about game, make everyone happy.

Recommend Org

Facebook

We are working to build community through open source technology. NB: members must have two-factor auth.
Microsoft

Open source projects and samples from Microsoft.
Google

Google ❤️ Open Source for everyone.
Alibaba

Alibaba Open Source for everyone
D3

Data-Driven Documents codes.
Tencent

China tencent open source team.