greatjapa / dbc2csv Goto Github PK

just delete please.

Olá, parabéns pelo projeto!

Uma dica para melhorar a divulgação, e até ajudar usuários finais na interpretação dos dados, seria citar referências no README. Por exemplo o artigo "Microdatasus: pacote para download e pré-processamento de microdados do Departamento de Informática do SUS (DATASUS)", urn:doi:10.1590/0102-311x00032419 poderia ser citado.

A documentação oficial do SUS também, mesmo que não tenha sido consultada pelo projeto, é um complemento à documentação do próprio software... Parece estar toda neste link do DataSUS.

Olá, muito obrigada pelo pacote. Tem sido muito útil!!

Estou usando para converter arquivos do SINAM, em algumas colunas todas os campos ficam sem preenchimento. Estou em dúvida se são campos não preenchidos ou se pode ser alguma falha na conversão.

Alguma experiência anterior?

Muito obrigada!!

Versão do Windows: 20H2 Build:19042.630
Docker version 19.03.13, build 4484c46d9d
Usando WSL2 com Ubuntu 20.04 LTS
Git version 2.25.1

Passos para obter a informação:
Acessar: https://datasus.saude.gov.br/transferencia-de-arquivos/ e selecionar as opções abaixo
SIASUS - Sistema de Informações Ambulatoriais do SUS
Dados
AQ - APAC de Quimioterapia - A Partir de Jan/2008
2015
Março
TO
Arquivo baixado: AQTO1503.dbc

Reprodução do erro:
Instale seguindo o indicado em https://github.com/greatjapa/dbc2csv#como-instalar
Crie uma pasta source e mova o arquivo .dbc para dentro dela.
A pasta source não está dentro do projeto baixado pelo git, mas estão sob a mesma pasta
Usar o comando descrito em https://github.com/greatjapa/dbc2csv#como-converter
Terminal estará assim: "usuario"@"maquina":/mnt/c/Users/"usuario"/Documents/dbc/dbc2csv$ docker run -it -v /Users/"usuario"/Documents/dbc/source:/usr/src/app/data dbc2csv make

Saída:

./dbc2dbf.sh
Segmentation fault
data/*.dbc converted to dbf
mkdir -p data/csv
python3 dbf2csv.py
Pandas is not installed. No support for DataFrames, HDF, or SQL.
Traceback (most recent call last):
File "dbf2csv.py", line 6, in
dbf = Dbf5("data/" + file, codec='utf-8')
File "/usr/local/lib/python3.8/dist-packages/simpledbf/simpledbf.py", line 541, in init
self.numrec, self.lenheader = struct.unpack('<xxxxLH22x',
struct.error: unpack requires a buffer of 32 bytes
make: *** [Makefile:4: convert] Error 1

Olá pessoal achei muito bacana o método de conversão que foi aplicado com py e shell !

Segui o passo do tutorial mas está ocorrendo ao compilar a conversão, obtendo o seguinte retorno:
targino@TARGINO:/mnt/c/Users/L.TARGINO/Desktop$ sudo docker run -it -v /mnt/c/Users/L.TARGINO/Desktop/source:/usr/src/app/data dbc2csv make
./dbc2dbf.sh
./dbc2dbf.sh: 1: Syntax error: word unexpected (expecting "do")
make: *** [Makefile:2: convert] Error 2
targino@TARGINO:/mnt/c/Users/L.TARGINO/Desktop$

Obs: Estou utilizando WSL Ubuntu 18.04.5 no windows não sei se precisa estar em uma distro raiz para funcionar

Docker em execução

Local do arquivo .dbc

Nas minhas tentativas de executar o script. ocorreu um erro na conversão de DBF para CSV, o erro informava que eram data em valores inesperados. Conferi os dados fazendo a conversão manual pelo TabWin e vi que havia arquivos com campos preenchidos nas datas com asteriscos, ou um ano,ou dia ou mês inexistente. Não há uma padronização nas datas e talvez a melhor forma seria tratá-las apenas como uma String.
Eu também não consegui editar os arquivos do script para tentar ignorar as datas, minhas mudanças nunca eram aplicadas. Como eu posso fazer para tentar editar o script de forma que ele ignore o formato das datas? Ou como eu posso resolver essa situação?

Minha tentativa ocorreu com os arquivos do SINAN.