chenhz5 / spider Goto Github PK

#python爬虫

powered by py新手,渣前端

##douban_movie 将豆瓣电影中某地区正在上映的电影爬下来,并按得分高低顺序排列,执行:

在main_2.py中设置url(ex. url="http://movie.douban.com/nowplaying/beijing/")
./main_2.py

main_2.py与spider_2.py基于Python 2.x, spider_3.py基于Python 3.x(待更新) 所用到的库:urllib2, bs4, chardet. 没有请自行下载

##dytt8_movie 将电影天堂上的最新电影及其下载地址爬下来,执行:

在main_2.py中设置url(ex. url="http://www.dytt8.net/html/gndy/dyzz/index.html")
./main_2.py

main_2.py与spider_2.py基于Python 2.x, spider_3.py基于Python 3.x(待更新) 所用到的库:urllib2, bs4, chardet. 没有请自行下载

两者返回的形式均为[列表]=[{字典},{字典},{字典}...]

##Remark 在百度云上搭建了一个tornado来显示douban_movie_spider2.py爬下来的豆瓣北京的正在上映电影 百度云的价格也太高了点吧,穷学生承受不起...

电影天堂用了一串js来反爬虫,所以不得已用正则把js的函数挑出来再用python处理.

微信公众号能在搜狗上搜索了,所以爬下来也就不是一个难事了,这里抓取的是公众号碉堡的图片链接. 处理好的demo放在coding上了.

##TODO 加入dytt8的电影信息 Python 3.x下的douban_movie与dytt8_movie