构造URL, 获取网页上的数据, 解析URL, 获取需要的信息存入字典

爬取蘑菇街网站上的所有商品比较复杂, 想获取全部的商品, 突破口就是商品的种类.

 通过URL打开虾米音乐的排行榜, 进入开发者模式, 找到歌曲信息的位置.
 网页构成中, 有一个table里面的tr有'data-mp3'属性.
 应该能猜到, 歌曲的数据应该就和这个有关系了, 但是这里面的文字杂乱无章, 很明显不是歌曲的直接URL
 该地址是加密过的, 通过凯撒密码解密,能得到它真正的URL
 获取到歌曲地址的url就能直接解析歌曲了, 然后通过二进制存储该数据, 就能把歌曲下载下来了

 1KKK漫画网站, 登录注册时是通过点击动漫人物头像,使头像转正后完成验证. 每次点击, 图像会顺时针旋转90°.
 但是电脑并不能自己识别图像的正反, 所以涉及到简单的机器学习.
 首先去查看图像验证码的地址, 发现每个头像都是由四个不同方向的小图组成.
 通过对图像地址的URL的反复调用,可以得到新的图像.所以, 循环执行url,尽可能得到验证码图库里面的头像.
 裁剪获得小头像(和验证码中的头像等大), 通过代码去重, 去重的主要目的是为了提高代码的执行效率.
 将所有的头像都转正. 通过selenium 模拟登录, 打开界面后截取,第一张小图, 然后和自己得到的正向头像图库一一对比.
 如果有相同的图片,则说明验证码图片为正向, 不必旋转; 若比较完成后,没有相同的图片,模拟点击该图片一次.
 后面三张验证码道理同上; 若旋转三次后, 验证都未通过, 则有可能是图库中的头像没有获取完全, 此时模拟点击换一组, 重新执行验证

通过3344法则，筛选优质基金（但是去年年底入的，筛的再好，也改不了我目前还是亏损状态的事实）