Sujet proposé par l'association 42AI. Découvrez la Data Science à travers ce projet dans la reconstitution du Choixpeau Magique de Poudlard ! Attention, ceci n'est pas un sujet sur les appareils photos.

Project en collaboration avec Nemuel Page Léonie (nepage-l).

Avant toutes choses, jetez un oeil aux données disponibles. Regardez sous quel formatelles sont enregistrées, s’il y a divers types de données, les différentes fourchettes, etc. Il est important de se faire une idée de votre matière première avant de commencer à travailler. Plus vous travaillerez sur des données et plus vous développerez une intuition sur comment vous allez pouvoir vous en servir.

Dans cette partie, le professeur McGonagall vous demande de produire un programme nommé describe.[extension]. Ce programme prendra un dataset en paramètre. Il devra ni plus ni moins afficher les informations sur toutes les features numériques comme l’exemple qui suit :

La visualisation des données est un outil puissant pour le datascientist. Cela vous permet d’acquérir une intuition sur comment les données sont connectées les unes aux autres. Visualiser vos données vous permet aussi de déceler plusieurs défauts.

Dans cette section, il vous est demandé de répondre à une question en créant un script pour chacune des questions qui affichera une visualisation particulière. Il n’y a pas forcèment une seule réponse valable à la question.

Faites un script nommé histogram.[extension] qui affiche un histogram répondant à la question suivante :

Quel cours de Poudlard a une répartition des notes homogènes entre les quatres maisons ?

Faites un script nommé scatter_plot.[extension] qui affiche un scatter plot répondant à la question suivante :

Quelles sont les deux features qui sont semblables ?

Faites un script nommé pair_plot.[extension] qui affiche un pair plot ou scatter plot matrix (selon la librairie graphique que vous utiliserez).

À partir de cette visualisation, quelles caractéristiques allez-vous utiliser pour entraîner votre prochaine régression logistique ?

Vous arrivez à la dernière partie : coder votre Choixpeau magique. Pour ce faire, il vous est demandé de réaliser un multi-classifieur en utilisant une régression logistique en one-vs-all.

Vous devrez rendre deux programmes :

• un premier qui va train vos modèles, il se nomme logreg_train.[extension]. Il prend en paramètre dataset_train.csv. Pour la partie obligatoire, vous devez utilisez la technique du gradient descent pour minimiser l’erreur. Le programme génère un fichier contenant les poids qui seront réutilisés pour la prédiction.

• un second qui se nomme logreg_predict.[extension]. Il prend en paramètre dataset_test.csv et un fichier contenant les poids entraînés au préalable. Afin d’évaluer les performances de votre classifieur ce second programme devra génèrer un fichier de prédictions houses.csv formatté strictement de la manière suivante:

Il est possible de faire plein de bonus pour ce sujet. Voici quelques suggestions :

• implémenter plus de champs pour describe.[extension]
• implémenter un stochastic gradient descent
• implémenter une fonction d’optimisation autre
• ...

• python3.10
• lib:
  • pip3 install pandas
  • pip3 install matplotlib

gd vs sgd

python ./histogram.py DATA

python ./scatter_plot.py DATA

python ./pair_plot.py DATA

python ./logreg_train.py DATA