ūüė∑ Dowload dos documentos da CPI da Pandemia

Overview

Documentos da CPI da Pandemia

A CPI da Pandemia recebeu milhares de documentos p√ļblicos, todos disponibilizados no site do Senado Federal.

Mas como clicar um por um leva tempo, automatizamos o download de todos esses arquivos, facilitando assim não só o acesso, mas também buscas nos arquivos com ferramentas como Evernote, Spotlight, etc.

Avisos importantes

Nome dos arquivos

Para sincronizar esses arquivos na nuvem e evitar erros no sistema de arquivos, todos os nomes de arquivos foram normalizados retirando acentuação e caracteres especiais.

Por exemplo, um arquivo chamado Ofício.text é renomeado para Oficio.txt.

Erros

Algumas links para baixar os documentos p√ļblicos n√£o funcionam pois o servidor do Senado parece inst√°vel. Mesmo com estrat√©gias de repetir a tentativa em caso de erro, pode ser que nem todos os arquivos listados estejam, de fato, dispon√≠vel.

Links que n√£o puderem ser baixados s√£o listados no arquivo erros.txt.

Só quero baixar os arquivos

Dropbox

O resultado está disponibilizado nesse diretório no Dropbox, e você pode baixar tudo com um clique.

Vou tentar manter esse diretório atualizado executando esse programa cerca de 3x semana.

Rodando o docs-cpi-pandemia localmente, sem saber de programação

Baixe o executável compatível com o seu sistema operacional e arquitetura. Execute esse programa no terminal (ou prompt de comando) do seu computador.

Existem op√ß√Ķes que podem ser configuradas, as instru√ß√Ķes e valores padr√Ķes podem ser vistos adicionando --help ao final do comando.

Sou hacker e quero mais

Você também pode baixar tudo direto do Senado Federal, instalando esse pacote e digitando apenas um comando.

Utilizando Go nativo

Requer Go 1.16.

$ go run main.go --help

Utilizando com docker

Requer Docker:

$ docker build -t docs-cpi-pandemia .
$ docker run -it -v $PWD/data:/docs-cpi-pandemia/data docs-cpi-pandemia

Os arquivos serão baixados em um diretório data/ dentro da pasta onde você executou esse comando.

You might also like...
Comments
  • Arquivos compactados (.zip) sequenciais

    Arquivos compactados (.zip) sequenciais

    Algubs arquivos compactados s√£o sequenciais, por exemplo:

    • ARQUIVO01.zip
    • ARQUIVO02.zip
    • ARQUIVO03.zip

    Quando descompactamos temos alguns problemas:

    • Talvez tentamos descompactar ARQUIVO01.zip (ou qualquer outro) antes de baixar os demais
    • Com isso, n√£o sei se os diret√≥rios descompactados est√£o corretos
    • Mesmo se estiverem, n√£o estamos exlcuindo ARQUIVO02.zip e ARQUIVO03.zip (apenas o primeiro arquivo da sequ√™ncia)

    Possíveis alternativas:

    • Remover a descompacta√ß√£o autom√°tica
    • Mover a descompacta√ß√£o para o final da fila, ap√≥s o t√©rmino dos downloads‚Ķ o que parece uma boa ideia, mas o comando nunca termina 100%, sempre fica enroscado nos √ļltimos poucos downloads
    opened by cuducos 0
  • Adicionando goreleaser

    Adicionando goreleaser

    Este commit adiciona um suporte inicial ao goreleaser, que toma conta dos releases a cada push de tags. Caso deseje, ele tamb√©m tem suporte ao docker, mas como n√£o sabia se a imagem est√° sendo enviada para algum registry, ainda n√£o fiz as altera√ß√Ķes no arquivo de release para fazer o push das imagens.

    Um GITHUB_TOKEN vai ter que ser providenciado para que a action funcione corretamente

    opened by ellisonleao 0
Owner
Eduardo Cuducos
Sociologist, geek, bread baker, and sports fan. Co-founder of Operação Serenata de Amor.
Eduardo Cuducos
NYAGOS - The hybrid Commandline Shell between UNIX & DOS

The Nihongo Yet Another GOing Shell English / Japanese NYAGOS is the commandline-shell written with the Programming Language GO and Lua. There are som

nyaos.org 305 Dec 30, 2022
A patcher for the MS-DOS version of Fallout 1 including Crafty's sFall1 patches and maybe more

A patcher for the MS-DOS version of Fallout 1 including Crafty's sFall1 patches and maybe more

null 8 Oct 13, 2022