transparencia-brasil / achados-epedidos-ocr-extractor Goto Github PK
View Code? Open in Web Editor NEWScript para extrair textos de arquivo e salvar no elastic search para pesquisa na página /pedidos
Script para extrair textos de arquivo e salvar no elastic search para pesquisa na página /pedidos
aparentemente ele exige que o diretório seja terminado por /
em alguns lugares. exemplo: /mnt/achados/
em vez de /mnt/achados
precisa arrumar o conector do mysql para usar SSL e, eventualmente, receber o path do CA
Se eu não configuro o BUCKET_PATH
, ele devolve:
[25-Jun-2021 01:34:29 UTC] PHP Fatal error: Uncaught Google\ApiCore\ApiException: { "message": "Invalid gcs prefix provided in request input_config.gcs_source.uri field. Valid prefixes must start with 'gs:\/\/'.", "code": 3, "status": "INVALID_ARGUMENT", "details": [] }
Se eu configuro:
[25-Jun-2021 01:49:03 UTC] PHP Fatal error: Uncaught Google\ApiCore\ApiException: { "message": "Error opening file: gs:\/\/achados-e-pedidos-bucket\/pedidos\/Resumodaconclusodorelatrio204392_1.pdf.", "code": 5, "status": "NOT_FOUND", "details": [] }
Mas imagino que o ideal seria verificar como implementar essas coisas sem usar URLs do bucket na Google.
é possível acessá-lo via navegador dado que ele vai para o diretório de deploy via git
Vai retornar: Nada foi encontrado para o termo: "Previsão para Término ou Término de Operação da Barragem"
Significa que o arquivo ainda não foi indexado.
docker-compose run app php indexador.php 154764
Onde 154764 é a chave primaria (Codigo.pedidos_anexos) do registro do arquivo na base Mysql
Deve aparecer no log (exemplo com outro Código 154777):
PHP Warning: mysqli::mysqli(): Headers and client library minor version mismatch. Headers:50562 Library:50647 in /home/paulo_campos/vision-api/indexador
.php on line 105
Warning: mysqli::mysqli(): Headers and client library minor version mismatch. Headers:50562 Library:50647 in /home/paulo_campos/vision-api/indexador.php
on line 105
Relatório será gerado em:/mnt/achados-e-pedidos-bucket/RltIndexador-21-06-2021-22-10.csv
Anexos há processar: 1
Fetch Lote: 0 = 0 / 100
Iniciando o processamento:
Código: 154777
Caminho: /mnt/achados-e-pedidos-bucket/pedidos/Governo do Estado de Minas Gerais/01220000002201561_resposta_Contratos_STI_-_assinados_e_em_vigor_2012_a_2
015.xlsx
Avaliando como EXCEL
/mnt/achados-e-pedidos-bucket/pedidos/Governo do Estado de Minas Gerais/01220000002201561_resposta_Contratos_STI_-_assinados_e_em_vigor_2012_a_2015.xlsx
-> analisando...
1368 celulas analisadas, texto: 46620
Indexando: Governo do Estado de Minas Gerais/01220000002201561_resposta_Contratos_STI_-_assinados_e_em_vigor_2012_a_2015.xlsx
Indexando: http://www.achadosepedidos.org.br:8080/api/anexos/extractor-update/154777
Conteudo: [CONTEUDO DO ARQUIVO]. (Pode ser uma longa string)
Anexo Indexado!
Repare na ultima frase: Anexo Indexado!
Se aparecer algum problema, pode ser que o sistema esteja funcionando, mas o OCR não conseguiu ler o arquivo por exemplo.
criar um .env com qualquer conteúdo parece resolver
Já trocamos o acesso ao Google Bucket para o Azure bucket (o acesso é através do drive montado dentro do servidor do google).
problemas:
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.