news_tech_crunch's Introduction

News_TechCrunch

Capture startup news data from Tech Crunch website.

Acessar o site https://techcrunch.com/
Clicar em "Search"
Para cada startup da lista de startups, inserir o nome em "Search TechCrunch"
Para cada notícia, acessar o link.
- Carga inicial: todas as notícias
- Carga diária: desconsiderar notícias antigas (maior que 30 dias)
O arquivo de saída terá os seguintes campos:

Título da notícia
Resumo da notícia - deixar em branco
Data da notícia
Texto da notícia
Nome da startup
Nome do veículo - texto "TechCrunch" para todas as linhas
Data e hora da Captura
URL da notícia

news_tech_crunch's People

Contributors

Watchers

news_tech_crunch's Issues

Desenvolver execução com carga diária

Desenvolver lógica para buscar apenas as notícias dos últimos 30 dias, de cada startup.

Estrutura REF

Solicitado para mudar o código para a estrutura padrão do REF (Init, Get Transaction Data, Process, End Process)

Reinit para o Process Transaction

Se ocorrer Exception no Process Transaction, o robô irá fechar o Browser e ao passar para a próxima transação no Process, tentará navegar para a URL da notícia e vai estourar erro (pois o Browser está fechado).

A solução é adicionar mais um state após o Process (Reinit) para reabrir o browser, chamando o InitAllApplications. Em caso de erro, deve seguir para o End Process. Em caso de sucesso, Get Transaction Data.

Recommend Projects