pengzhaoqing / housepricing Goto Github PK

View Code? Open in Web Editor NEW

408.0 30.0 181.0 9.79 MB

HousePricing旨在提供房价的可视化预测，帮助用户更好的评估房产和预测未来的价格(dev)

Home Page: https://house-pricing.herokuapp.com/

Ruby 2.19% JavaScript 94.09% HTML 3.09% Dockerfile 0.03% Shell 0.01% SCSS 0.60%

house-price-prediction data-visualization rails echarts

housepricing's Introduction

HousePricing

HousePricing旨在提供房价的可视化预测，帮助用户更好的评估房产和预测未来的价格

第一版已上线，请点击这里访问，因为挂在免费的Heroku服务器中，第一次加载可能会很慢，请耐心等待

如果觉得好，请给项目点颗星来支持吧～～

有什么好的建议，请在issue中提出，欢迎contributors！

1. 面向用户(买房者、卖房者)

对于买家，在主页面通过各种筛选选出符合条件的房屋，进入各个房屋的详细页面，应用通过各种可视化手段让用户从交通、教育、工作、交通、生活等方面对这套房子进行评估。

未来工作：

加入房屋预测功能
加入相似房屋推荐功能

2. 面向开发者（数据挖掘工程师，数据可视化分析师等）

如果你是面向地理位置的数据挖掘工程师，你可以不用编写与百度API交互的代码，直接运行这个应用后导入自己的房屋数据，应用会自动与百度API爬取周围的基础设施，获得的数据可用来作为学术研究和分析等

请点击这里查看详细信息:http://blog.csdn.net/ppp8300885/article/details/77806852

How?

1. 数据挖掘 (Done)

1.1 在房价网站上利用爬虫爬下当前所有房子的价格和基本信息（房型、面积、楼层、建造时间等）

1.2 利用百度API对每套房产的周边信息进行挖掘（公交车站、地铁、写字楼、医院、学校、商场等）

1.3 将所有信息储存在关系型数据里，构建数据仓库（Data Warehouse）

2. 建立模型对数据进行分析（Under Construction）

2.1 选择模型

2.2 训练

3. 数据可视化（Partial done）

3.1 导入百度的可视化工具库（Echarts）

3.2 利用训练的模型对指定房屋价格进行评估和预测，并以科学地方法将结果进行可视化展示

framework_instruction.png

目前进展(更新)

数据提取完成，现在的HousePricing能够对需要的数据进行提取，需要管理员权限（如果是自己想跑源码的，可以自行提取）
下一步考虑加上相似房屋推荐功能和价格预测功能，然后数据可视化需要更多的表示方法

房屋预测功能具体应用场景：

对于买家，输入那个房子的坐标，我们通过这个数据集对这个房子的价钱进行预测，以帮助买家合理判断值不值买这个房子（开发中）
对于卖家，输入他自己的房子坐标，我们可以对这个房子价钱进行评估，让卖家对自己的卖价有个大致的定位，更好的选择自己的出手价格（开发中）

截图

screen1.png

screen2.png

screen3.png

screen4.png

screen5.png

数据说明

现有的一些字段以及字段之间的关联如下：

data_type.png

开发

原始数据由scrapy-hoursepricing爬取，抓取后的数据将存为json格式，然后由HousePricing进行解析并储存在数据库中

本项目由rails框架开发，请自行安装相关环境，请先fork此项目，然后运行下面：

git clone your_forked_project
cd project_path
bundle install
rake db:migrate
rake db:seed

在浏览器中输入localhost:3000，即可访问主页

Docker运行

为了方便运行和部署，这里提供了简单的docker镜像。

开发者首先需要在电脑上安装docker和docker-compose，然后运行下面：

# 编辑数据库配置
cp docker-util/app.env.example docker-util/app.env
vim docker-util/app.env

# 拉取或生成镜像
docker-compose build
# OR
docker pull pengedy/housepricing

# 运行
docker-compose up

即可访问http://localhost:3000

若需要原数据（我目前用的数据），请导入根目录下的mydb.dump到postgresql数据库

housepricing's People

Contributors

Stargazers

Watchers

Forkers

zanwenok maxostreet slothsimon zpdesu mys328 tonyforfan leozvc beyyes disappearedgod witnesslq pokbe ichoukou cc8848 hyfang znavy ucaslk1234 parasuna scrcherry paradoxliu longtailneighbor mzwe liuxinjiang bingjunguo gaoyuan0710 jiawenma vaharnina hehuanshu96 w550515513 baifengbai giserh strawberryqi yhualand darksola hunglish yrpony cuggisrs hhxx1994 houshanren xuruiray guojianbin beiliangshizi hibop python-yu zoewei94 wylc snowdj zhangfangkai longzekai m1l1 liyaoyaoli allenyep dai08170 luvletter chocoai realasking hulalazz bj18dan tz3070 richardfishliao piowind wmaa0002 dtcs2017 fenrir1111 yaokuan dataxujing lengrui1988 allensmile staranddream wangkanger amberyes devinskyming smebbiscuit semoons qiankeqin flylearning crystalwhm huangzhangfeng sil13 jinligen sinbadli yuzhiyiliu zenistzw reference-project xiaoxian3214 a0x 33419936 deemoalice lprodreamall songxianjin jiwangreal sunhaoer erickwang alexanderwjz fenglui wangzhefeng iotwlw elvistt tubutafeng houseinfomation zhengbo0

housepricing's Issues

数据问题

rake aborted!
ActiveRecord::NoDatabaseError: FATAL: role "python" does not exist

怎么运行这项目啊，需要装什么环境，或者docker部署就可以直接运行吗

几点建议。

项目很好，建议加以完善：
1.添加对于城市的选择，目前只有北京市房价；
2.添加样本统计；
3.热力图建议提供添加图例。
加油！

NoMethodError in Houses#index

打开数据列表会在页面上报错，主要报错信息如下：

NoMethodError in Houses#index
Showing /Users/SlothSimon/Projects/HousePricing/app/views/houses/_houses.erb where line #95 raised:
undefined method `hospital_num' for #House:0x007ffd311626d8

查看了一下自己导入的数据库发现Houses表中没有医院、学校等字段，不知是不是数据库还要做进一步的处理？

感谢！

代码没有注释，很难理解你是什么**

undefined local variable or method `buses_path' for #<SpidersController:0x00007fbeb0af9260>

【抓取房屋集周边】操作，更新数据完成时会触发这个bug

Started GET "/spiders/return_next" for 127.0.0.1 at 2019-04-25 13:00:08 +0800
Processing by SpidersController#return_next as JSON
  House Load (0.3ms)  SELECT  "houses".* FROM "houses" WHERE (id > 2999)  ORDER BY "houses"."id" ASC LIMIT 1
  BusesHouses Load (3.0ms)  SELECT "buses_houses".* FROM "buses_houses" WHERE "buses_houses"."house_id" = $1  [["house_id", 3000]]
  House Load (0.3ms)  SELECT  "houses".* FROM "houses"  ORDER BY "houses"."id" DESC LIMIT 1
Completed 500 Internal Server Error in 17ms (ActiveRecord: 3.7ms)

NameError (undefined local variable or method `buses_path' for #<SpidersController:0x00007fbeb0af9260>
Did you mean?  houses_path
               house_path):
  app/controllers/spiders_controller.rb:26:in `return_next'

我看源代码里写的确实是buses_path，
https://github.com/PENGZhaoqing/HousePricing/blob/master/app/controllers/spiders_controller.rb#L26
然而rake routes的结果却没有类似的路径：

                   Prefix Verb   URI Pattern                          Controller#Action
                     root GET    /                                    houses#map
    visualisation_scatter GET    /visualisation/scatter(.:format)     visualisation#scatter
    visualisation_heatmap GET    /visualisation/heatmap(.:format)     visualisation#heatmap
    visualisation_tableau GET    /visualisation/tableau(.:format)     visualisation#tableau
           sessions_login POST   /sessions/login(.:format)            sessions#create
          sessions_logout DELETE /sessions/logout(.:format)           sessions#destroy
            export_houses GET    /houses/export(.:format)             houses#export
            filter_houses GET    /houses/filter(.:format)             houses#filter
     return_houses_houses GET    /houses/return_houses(.:format)      houses#return_houses
return_nums_prices_houses GET    /houses/return_nums_prices(.:format) houses#return_nums_prices
             nearby_house GET    /houses/:id/nearby(.:format)         houses#nearby
                   houses GET    /houses(.:format)                    houses#index
                          POST   /houses(.:format)                    houses#create
                    house GET    /houses/:id(.:format)                houses#show
      return_next_spiders GET    /spiders/return_next(.:format)       spiders#return_next
       export_bus_spiders GET    /spiders/export_bus(.:format)        spiders#export_bus
 export_bus_house_spiders GET    /spiders/export_bus_house(.:format)  spiders#export_bus_house
                  spiders GET    /spiders(.:format)                   spiders#index
                          POST   /spiders(.:format)                   spiders#create
           ajax_hospitals GET    /hospitals/ajax(.:format)            hospitals#ajax
                hospitals GET    /hospitals(.:format)                 hospitals#index
                          POST   /hospitals(.:format)                 hospitals#create

所以，这里究竟应该如何解决呢？