Comments (15)
23页遇到中断,我以为是我网络或者91服务器问题,然后从24页从新开始爬了一会又出现这个问题,我然后去查找这个页面,发现视频被删除,但是WEB页面链接还在。
能不能让程序中断后自动尝试重新连接,指定次数连接依旧失败后跳过呢
from 91porn_php.
“周末约完整版”
这种情况还是比较频繁的,31页也有,这样一中断,爬取效率降低好多
from 91porn_php.
感觉还是Aria2那个好,稳定,速度还快
from 91porn_php.
你这个是爬哪个列表,能给个稳定重现的例子吗?
from 91porn_php.
我更新了一下,做了兼容处理,可以试试
from 91porn_php.
你这个是爬哪个列表,能给个稳定重现的例子吗?
php 91all.php
next=watch (最新发布)
爬取的WEB页面http://91porn.com/v.php?next=watch
这两个视频是在WEB页面中的,但是点击进去会提示视频被删除,爬虫爬到被删除的视频时就中断了
from 91porn_php.
不麻烦的话,有时间话更新下Aria2吧,Aria2,VPS小鸡下载后自动上传删除本地文件很好用
from 91porn_php.
不麻烦的话,有时间话更新下Aria2吧,Aria2,VPS小鸡下载后自动上传删除本地文件很好用
‘’下载后自动上传删除本地文件‘’这个功能不是aria2实现的吧,那么master也一样啊
from 91porn_php.
不麻烦的话,有时间话更新下Aria2吧,Aria2,VPS小鸡下载后自动上传删除本地文件很好用
‘’下载后自动上传删除本地文件‘’这个功能不是aria2实现的吧,那么master也一样啊
是Aria2脚本实现的,下载一个文件会触发自动上传脚本,被下载的文件就开始上传了。Master下载后能不能也让他也执行一个上传脚本呢,执行Aria2里面那个脚本不知道能行不,Aria2那个上传脚本可以单独下载
另外因为VPS通过Rclone和云盘绑定,Rclone功能强大,可以通过一条命令让VPS指定文件夹文件上传到云盘,但是比如文件夹已经下载了10个文件你Rclone执行移动命令后是会移动到云盘,但是新下载的第11个文件就不行了,它不会自动检测文件变动重复执行移动操作,是个一次性命令。
https://p3terx.com/archives/rclone-advanced-user-manual-common-command-parameters.html
我是小白,最近也是在学习爬虫,说些个人知道的,希望大佬在加强下程序功能谢谢!
from 91porn_php.
更新以后,在downloader.php文件中把这两行注释打开并修改对应的网盘名称和路径,其中“91porn:/91porn”对应网盘名称和路径
from 91porn_php.
注释打开是在前面加“#”还是删除前面的“//”,另外网盘名称是Rclone里面的名字,那个路径是本地下载路径还是网盘文件夹路径?我反复试了几次没成功
from 91porn_php.
双斜杠。。网盘名称是rclone里定义的,路径是网盘的
from 91porn_php.
双斜杠。。网盘名称是rclone里定义的,路径是网盘的
如果是想上传后删除本地文件,是不是把Rclone参数改成移动就可以了?现在上传还是有问题,问题在上面楼层
from 91porn_php.
我看是这个问题https://blog.csdn.net/nksmiles/article/details/7371721
你不是用的vps吗,还用什么windows
from 91porn_php.
这会儿没空,晚上吧
from 91porn_php.
Related Issues (20)
- 麻烦大佬看看这个报错 HOT 3
- 更新了,执行php,提示报错。 HOT 2
- 麻烦大佬看下错误提示 HOT 1
- 大佬 这个报错怎么回事,麻烦看一下啊!! HOT 6
- 大佬今天刚拉的代码,帮我看看哪里出了问题 HOT 2
- 群晖docker 里面下载只能下载几条视频后面就下载不起来了。 HOT 4
- 下载单个视频文件的文件名
- 运行docker容器命令,报错
- 出错了。。 HOT 2
- 有验证的代理服务器 应该如何配置呢 HOT 1
- node运行md5.js时报错 HOT 1
- 现在91好像改了,解析出来放不了 HOT 2
- 解析出来的地址都是404 HOT 1
- 更新程序后,下载有限制
- 这个还能用吗
- 爬虫在白天用不了
- Porn
- 报错求救
- V
- 下载了没有用呀
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from 91porn_php.