melchisedech333 / dados-publicos-cnpj Goto Github PK

Note: this document is written in PT-BR 🇧🇷

A Receita Federal disponibiliza os arquivos de dados públicos de CNPJ para pessoas interessadas em pesquisas e outras situações. Esta aplicação procura ajudar no download dos arquivos, realizando o mesmo de forma automática. Por algum motivo ao começar o download dos arquivos, eles são baixados em uma velocidade muito lenta, e em muitos casos (como o meu) chegam a travar o download, ao ponto de ter que recomeçar tudo novamente. Esta aplicação também resolve este problema, a mesma realiza os downloads normalmente, mas a cada 3 minutos eles são reiniciados (mas sempre continuando da parte em que estavam).

Se meu código te ajudou em algo, considere ser um patrocinador 💙

Requerimentos:

• Linux
• gcc
• wget
• aria2c

Para utilizar a aplicação, basta realizar os passos abaixo.

git clone https://github.com/melchisedech333/dados-publicos-cnpj.git
cd dados-publicos-cnpj
chmod +x links.sh
gcc downloader.c -o downloader -lpthread
./downloader 

Além de utilizar esta aplicação, você pode contar com esta alternativa abaixo. Onde em URL você insere um link por vez (eles estão contidos no arquivo links.sh)

O legal do aria2c é que ele baixa utilizando multi-threading, então a depender da sua situação, pode ser mais rápido utilizá-lo.

aria2c --file-allocation=none -c -x 16 -s 16 URL

Patrocinar: melchisedech333
Twitter: Melchisedech333
LinkedIn: Melchisedech Rex
Blog: melchisedech333.github.io

BSD-3-Clause license