astur / icrawler Goto Github PK

Как сказано в документации, _.pushшить можно не только скаляры, но и массивы urlей.
Но в этом случае tasks из newTasksResolve будет не массивом урлов, а массивом массивов урлов, и newTasksResolve будет кидать исключение, потом что tasks[i] будет не строкой, как ожидается, а массивом.
Чтобы вопроизвести, достаточно сделать _.push([url1, url2]), получится

TypeError: Parameter "url" must be a string, not undefined
    at Url.parse (url.js:87:11)
    at urlParse (url.js:81:5)
    at Url.resolve (url.js:641:29)
    at urlResolve (url.js:637:40)
    at newTasksResolve (\node_modules\icrawler\index.js:80:32)
    at onParse (\node_modules\icrawler\index.js:101:23)
    at Object.module.exports._.cb (\node_modules\icrawler\index.js:127:17)

Нужно переписать newTasksResolve с учётом того, что в tasks могут быть как скаляры, так и массивы, причём вперемешку.

У меня есть сомнения по поводу того, как работает обработчик ошибок.

Допустим, concurrency>1, и какой-то запрос возвращает ошибку.
Тогда в строке #140 очередь останавливается, и мы ждём (строка #147), пока отработают остальные активные задания в очереди (которых на момент первой ошибки concurrency штук). И когда останется только одно задание, сработает перезапуск очереди (строка #149).

Но дело в том, что перезапуск очереди находится в обработчике onError, и если остальные задания отработают успешно (и удалятся из активных), то мы никогда больше не попадём в onError, чтобы дать возможность выполниться этому setTimeout().

В этой ситуации очередь будет находится на паузе вечно.