Extração de dados com Selenium + BeautifulSoup para listar pagamentos da Prefeitura do Rio de Janeiro

Executado com python v3.7

Download & Install Browser

Linux

wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
sudo apt install ./google-chrome-stable_current_amd64.deb -y

Windows

Download page: https://www.google.pt/intl/pt-PT/chrome/

Next, download Google Chrome Driver from here: https://chromedriver.chromium.org/downloads

Linux

sudo apt install firefox -y

Windows

Download page: https://www.mozilla.org/pt-BR/firefox/new/

Next, download Google Chrome Driver from here: https://github.com/mozilla/geckodriver/releases

Install tesseract using windows installer available at: https://github.com/UB-Mannheim/tesseract/wiki

• Agência de Fomento do Município do Rio de Janeiro S.A.
• Companhia Carioca de Securitização
• Companhia Municipal de Conservação e Obras Públicas
• Companhia Municipal de Energia e Iluminação
• Companhia Municipal de Limpeza Urbana
• Companhia de Desenvolvimento Urbano da Região do Porto do Rio de Janeiro
• Companhia de Engenharia de Tráfego do Rio de Janeiro
• Controladoria Geral do Município do Rio de Janeiro
• Distribuidora de Filmes S.A.
• Empresa Municipal de Artes Gráficas S.A.
• Empresa Municipal de Informática S.A.
• Empresa Municipal de Urbanização - RIO-URBE
• Empresa Pública de Saúde do Rio de Janeiro S/A
• Empresa de Turismo do Município do Rio de Janeiro
• Fundação Cidade das Artes
• Fundação Instituto das Águas do Município do Rio de Janeiro
• Fundação Instituto de Geotécnica do Município do Rio de Janeiro
• Fundação Jardim Zoológico da Cidade do Rio de Janeiro
• Fundação Parques e Jardins
• Fundação Planetário da Cidade do Rio de Janeiro
• Gabinete do Prefeito
• Guarda Municipal do Rio de Janeiro
• Instituto Municipal de Urbanismo Pereira Passos
• Instituto de Previdência e Assistência do Município do Rio de Janeiro
• MULTIRIO - Empresa Municipal de Multimeios Ltda.
• Procuradoria Geral do Município do Rio de Janeiro
• Riocentro S.A. - Centro de Feiras, Exposições e Congressos do Rio de Janeiro
• Secretaria Especial de Turismo
• Secretaria Municipal da Casa Civil
• Secretaria Municipal da Pessoa com Deficiência e Tecnologia
• Secretaria Municipal de Assistência Social e Direitos Humanos
• Secretaria Municipal de Cultura
• Secretaria Municipal de Desenvolvimento, Emprego e Inovação
• Secretaria Municipal de Educação
• Secretaria Municipal de Fazenda
• Secretaria Municipal de Infraestrutura, Habitação e Conservação
• Secretaria Municipal de Meio Ambiente da Cidade
• Secretaria Municipal de Ordem Pública
• Secretaria Municipal de Saúde
• Secretaria Municipal de Transportes
• Secretaria Municipal de Urbanismo
• Secretaria Municipal do Envelhecimento Saudável, Qualidade de Vida e Eventos

Execute run.py file:

python run.py

Schema

• date_scraping: string
• url: string
• orgao: string
• matricula: string
• nome: string
• lotacao: string
• mes_ano: string
• folha: string
• vantagens: string
• descontos: string
• liquido: string

Data

{
    "date_scraping": "2020-02-24 03:20:21",
    "url": "http://jeap.rio.rj.gov.br/contrachequeapi/transparencia",
    "orgao": "Secretaria Municipal de Urbanismo",
    "matricula": "1451426",
    "nome": "ANTONIO LUIZ BARBOZA CORREIA",
    "lotacao": "SMU",
    "mes_ano": "01/2020",
    "folha": "NORMAL",
    "vantagens": "32.967,34",
    "descontos": "9.021,26",
    "liquido": "23.946,08"
}

Please, if you find a bug feel free to contribute!