cuhksz-tql / weibospider_sentimentanalysis Goto Github PK

View Code? Open in Web Editor NEW

345.0 9.0 85.0 7.11 MB

借助Python抓取微博数据，并对抓取的数据进行情绪分析

Python 29.67% Jupyter Notebook 70.33%

weibo-spider scrapy sentiment-analysis

weibospider_sentimentanalysis's Introduction

微博用户的行为与情感分析

借助Python抓取微博数据，并对抓取的数据进行情绪分析

第一部分：微博数据抓取

参考自https://github.com/nghuyong/WeiboSpider/tree/search

（一）利用高级搜索抓取指定微博

本部分请参考文件夹WeiboSpider中的内容

1.安装依赖：

mongodb
phantomjs
redis
requirements.txt
（安装好mongodb之后需要新建数据库sina）

2.构建账号池

购买微博小号，购买链接http://www.xiaohao.shop/
将账号密码复制到 WeiboSpider/sina/account_build/account.txt\ 运行 WeiboSpider/sina/account_build/login.py 运行成功会显示cookie创建成功

3.自定义检索条件

修改 WeiboSpider/sina/redis_init.py 中的日期，关键词，运行该文件进行微博检索
（本项目默认抓取热门微博，如需更改可将url中的sort设置为time）

4.开始爬虫

运行 WeiboSpider/sina/spider/weibo_spider.py 抓取目标数据
建议采取多线程同时抓取，提高速度
Mac用户在命令行中输入 scrapy crawl weibo_spider
Windows用户在命令行中输入 scrapy runspider weibo_spider.py 5.检查抓取的数据

数据会存储在sina database中，collection下会有tweets（微博）comments（评论）account（账号）

（二）根据用户id抓取任意微博

本部分请参考文件夹WeiboSpiderSimple中的内容

1.安装依赖：

mongodb
requirements.txt\

2.替换cookie：

访问 https://weibo.cn/ 并登陆，获取对应的cookie，将WeiboSpiderSimple/sina/settings.py中的cookie换成你自己获取到的cookie

3.指定爬取的用户ID

将WeiboSpiderSimple/sina/spider/weibo_spider.py中的start_uids换成你想抓取的对象的微博ID。

4.开始爬虫

执行scrapy crawl weibo_spider或者直接在pycharm当中运行WeiboSpiderSimple/sina/spider/weibo_spider.py

第二部分：探索性分析

见EDA.py

第三部分：评论情绪分析

见Sentiment analysis.ipynb

weibospider_sentimentanalysis's People

Contributors

Stargazers

Watchers

Forkers

seaweiqing lovesnacks jiushi506 hzwh6910 biggerbiggest premieryh wangpanqiao immonet syuchiu pxyfelix deriskoi xty-self benyuereal fanfansky xuming1986 jesiswang sumo1234 cprocc ziowang csuxyl catherineangel yangwhite annat-t xuezhixing dimplesss lyy928 crimsonee xuhanlin1 bystander-eye violet-ve zc645080234 xhf79 rd-1988 luodongfu chenyh19 yuanlei6616 yingyingfan0059 rexsyc cxh1996108 l2827265 jiashuai123 huning2009 wgmzone youkaede77 lin123-123 qcmuu lv-zhengwei vincentvor rvenliu rexsyc52 oustandingman tim-chen-code tengbing88 2pc lucielus psyche-t miaomiaoxiaobai voiletevergaden wfw2046 litao439420999 201811510434yyy starsw001 dadacookie lpy2001 yongtso yja666s liuxinranamanda gggggyyyyy000 haobinldevin jasonhuc ybo-zhang ezlc weilin705 knightcn1983 chloey007 wei061812368 ka2048 hohuchu yeemu jasonxia123 zhengshenghan yangpu06 chengkunxf vimson999 jonsen99

weibospider_sentimentanalysis's Issues

Redis使用

用了10个账号，并发设置为1，延迟设置为1。现在爬不下来东西，是哪里出问题了吗？

您好，请问这个数据集您能给我一份吗

您好，请问这个数据集，您能给我一份吗？
我的邮箱是[email protected]
因为我的毕业论文中需要用到这样的一份数据集，但是我自己来爬取有一些难度，希望您能帮帮我，能把这个数据集给我发一份吗？
万分感谢

2020-07-18 19:03:56 [scrapy.middleware] INFO: Enabled item pipelines:
['sina.pipelines.MongoDBPipeline']
2020-07-18 19:03:56 [scrapy.core.engine] INFO: Spider opened
2020-07-18 19:03:56 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2020-07-18 19:03:56 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2020-07-18 19:03:56 [py.warnings] WARNING: D:\study\Python3.7\lib\site-packages\scrapy\spiders_init_.py:81: UserWarning: Spider.make_requests_from_url method is deprecated: it will be removed and not be called by the default Spider.start_requests method in future Scrapy releases. Please override Spider.start_requests method instead.
warnings.warn(