junyiz / dature Goto Github PK

输入命令，正在抓取… 过了一会儿就暂停了，没有生成东西

范例中抓取牛根生的博客测试没问题，但下面这个博客抓取则会报错
http://blog.sina.com.cn/u/1587015434

报错：(node:19969) UnhandledPromiseRejectionWarning: TypeError: Cannot read property 'replace' of null at Object.extract [as sina] (/usr/local/lib/node_modules/dature/lib/extractor/sina.js:45:8) at processTicksAndRejections (internal/process/task_queues.js:93:5) at async fetch (/usr/local/lib/node_modules/dature/lib/fetch.js:18:16) (Use node --trace-warnings ...to show where the warning was created) (node:19969) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). To terminate the node process on unhandled promise rejection, use the CLI flag--unhandled-rejections=strict (see https://nodejs.org/api/cli.html#cli_unhandled_rejections_mode). (rejection id: 1) (node:19969) [DEP0018] DeprecationWarning: Unhandled promise rejections are deprecated. In the future, promise rejections that are not handled will terminate the Node.js process with a non-zero exit **code.**

❗当我用您的程序爬取博文到一定数量时，它就这样报错了。❗

• ❌我甚至用Linux笔记本跑了一下，也在一定页数出现了相同的错误（另外一台电脑，不是虚拟机）
• ❌不管是Windows10还是Linux文件夹权限都是对的，用管理员方式运行也不行😥
• ❌我删除了node_modules文件夹好几遍重新安装也没用😭
• ❌自己处理问题的能力有限，Google&bing&百度都找过问题的解决办法，但是我自己还是不会解决😥
• 🙏非常希望您可以帮助我解决这个问题，甚至💰有偿💰也愿意，我想帮我姥姥把她写了十来年的文章导出来。🙏
• 🎄等待您在百忙之中的回复的，这个问题困扰我两个星期了😢🎄
• ❤爱您

全部博客文章共有1000+条，但目前只能抓取前5条.

尝试了很多次，每次都会丢部分配图，显示不出来，如图所示，希望可以得到解决
谢谢作者开发出这么棒的软件，帮了我们的大忙

比较早的文章新浪博客的博文目录里不会显示出来，博文目录不可见的话博文就备份不到。

博客现在不对外开放了，但是作者本人登录后，文章列表什么的都和以前一样。
现在抓取的时候提示抓取成功，0文章。（也就是没有登录状态）
能不能修改一下让程序调用IE的登录状态呀？这样就可以抓取成功了吧。
望百忙之中抽空回复一下。谢谢

有输入密码的参数吗？

给老哥请个安先 LL

然后是报错，抓取完毕之后显示下面这个，而且博文图片有漏抓，不知跟这个错有关西不
抓取完毕, 博客存储目录：/Users/qulo/blog

/usr/local/lib/node_modules/dature/node_modules/picture-downloader/pictureDownloader.js:26
const request = url.startsWith('https') ? https.request : http.request
^

TypeError: Cannot read properties of undefined (reading 'startsWith')
at pictureDownloader (/usr/local/lib/node_modules/dature/node_modules/picture-downloader/pictureDownloader.js:26:23)
at ClientRequest. (/usr/local/lib/node_modules/dature/node_modules/picture-downloader/pictureDownloader.js:41:33)
at ClientRequest.emit (node:events:394:28)
at Socket.socketCloseListener (node:_http_client:423:9)
at Socket.emit (node:events:406:35)
at TCP. (node:

挺好用，发现以下两个过期项目：
1、新浪博客;size结尾的图片下载不了，去掉后才能下载
2、csdn下载失效了

从Html获取的图片地址是类似： http://s15.sinaimg.cn/mw690/0022E8QHzy7WvtCeEUe4e&690
可以换为： http://s15.sinaimg.cn/orignal/0022E8QHzy7WvtCeEUe4e

目录的： mw690 替换为 orignal
最后的 &690 删除

这样就完美了。

1. 使用windows 运行，只能导下一条blog， 但是放在centos上 是没有问题的

2.部分blog被设置成私密，导致无法取到对应的title和content，这里需要优化一下

总体上工具可用，多谢！

执行命令后，我自己的博客无法导出
能识别到我博客的名字，但是导出0条
然后发现点击任何人的博客都提示：系统维护中，博文仅作者可见。登陆后可查看本人文章。
可能新浪博客快要停运了。
关闭这个权限了？

为什么在这个页面获取到的cookie是这一个呀，与大佬教程的cookie格式不符合。

如题

很多以前正常的博文被新浪转为私密博文了，请问能否支持备份这部分的内容？

提示发现的博文数目是实际篇目的三倍，在每两篇之间都有两个空白。

在全部抓取完后并没有生成 html 文件，只能看到一个 img 文件夹，在抓取过程中也没报错。