View Code? Open in Web Editor
NEW
Scrape housing data from German housing portal Immowelt.de and retrieve as comma separted file.
License: MIT License
Python 33.33%
Jupyter Notebook 66.67%
immo_bee's People
Stargazers
immo_bee's Issues
- das main ist voller hilfsfiles
- das notebook enthält das komplette data cleaning
Das google probe-abo ist vorbei.
- neuen bucket anlegen
- credentials ändern
The href_extr only grabs exposes that include "expose" in the url.
Die zu scapenden orte müssen noch über die bash als paramater eingebbar gemacht werden.
- das scraping sammelt alle daten (stimmt das?)
- das muss jetzt noch sauber bereinigt werden.
- insbesondere \r\n muss raus
- ausserdem müssen die zuweisungen energielevel: A über ":" sauber aufgenommen werden.
- alle wohnen/kaufen, wohnung/haus alternativen müssen mitgenommen werden
- main sammelt bisher noch nur ids.
- im nächsten schritt soll aber auch das scraping der einzelnen seiten integriert werden
- automatisch in aws oder google sheets oder, oder packen
- darauf achten, dass die Datei wachsen kann
- die data types mitgeben und die formatierungen
immowelt has changed - in order to get a wider radius, lat and long are needed. They can be found through klicking with selenium.