看了30 天精通 RxJS 系列 想提問 about learn-rxjs-in-30-days HOT 3 CLOSED

const urls = [...]; // 你的 urls

function crawler(...urls) {
    return Observable.from(urls)
            .mergeMap(url => <promise of requests>, <concurrency>)
            .map(res => <data object needed>)
            .concatAll()
            .withLatestFrom(<db>, (x, y) => <query promise>)
            .concatAll()
}

crawler(...urls)
.catch(e => {
    // 先判斷是不是 request 發生錯誤
    if(...) {
        // 從 error 拿到發生錯誤的 request url
        return crawler(e.url).retry(3) // 可以設定 retry 幾次
    }
    // 如果不是要做什麼，寫在這
}) 
.subscribe(...)

const urls = [...]; // 你的 urls

function crawler(...urls) {
    return Observable.from(urls)
            .mergeMap(url => Observable.from(fetch(url))
                                .retry(3)
                                .catch(error => {
                                    // 這裡可以直接 log 或者傳到通訊頻道
                                    // 如果不想 一個一個發可以先暫存在一個 array 裡，等到全部 complete 再發送
                                    return Observable.empty();
                                }), <concurrency>)
            .map(res => <data object needed>)
            .concatAll()
            .withLatestFrom(<db>, (x, y) => <query promise>)
            .concatAll()
}

crawler(...urls)
.catch(e => {
    // 這裡處理整體錯誤
}) 
.subscribe(...)