Post on 04-Aug-2020
Brasil.IO:Brasil.IO:Libertação deLibertação de
DadosDadosPúblicos, comPúblicos, com
PythonPythonÁlvaro JustenÁlvaro Justen
$ whoami$ whoami
TuricasTuricas, prazer! =), prazer! =)Sigam-me os bons:Sigam-me os bons:
{{ , , , , , , , , } }
//turicasturicas
twittertwittergithubgithub
youtubeyoutubeslideshareslideshareinstagraminstagram
turicas@brasil.ioturicas@brasil.io
AgendaAgendaDados abertos
O que sãoPara que servem
Acessibilidade de dadosProblemas comunsComo resolverExemplos de código o/
Software Livre & PythonSoftware Livre & Python(desde 2004/2005)(desde 2004/2005)
-- (definição de )
Dados AbertosDados Abertos“ Dados abertos são dados que podemser livremente usados, reutilizados eredistribuídos por qualquer pessoa -sujeitos, no máximo, à exigência de
atribuição da fonte ecompartilhamento pelas mesmas
regras. ”OpenData Handbook Open Definition
Mais detalhes:
Lei de Acesso à Informação: 12.527/2011kit.dados.gov.brescoladedados.org
--
“ De acordo com o governo brasileiro, ocontrole social é a participação da
sociedade civil nos processos deplanejamento, acompanhamento,
monitoramento e avaliação das açõesda gestão pública e na execução das
políticas e programas públicos. ”Wikipedia
Operação Serenata deOperação Serenata deAmorAmor
#civictech#civictech
R$ 191 em um restaurante cujos pratos não custam R$ 40,
deputado?
Rosie, a robôRosie, a robô
twitter.com/tOa_D/status/1058495655184871425
Jornalismo InvestigativoJornalismo Investigativo++
Jornalismo de DadosJornalismo de Dados
(em conjunto com Juan Torres, para ) correio24horas.com.br
Acesse a matéria
(em conjunto com Giulliana Biaconi, para ) generonumero.media
Leia a matéria
(em conjunto com Natália Mazotte, para )
Rua: substantivo (ainda)Rua: substantivo (ainda)masculinomasculino
generonumero.mediayoutu.be/7yQ8U2tFFq4
(em conjunto com Adriano Belisário, para ) apublica.org
Acesse a matéria
(em conjunto com Voltdatalab, para )
Aplicações ÚteisAplicações ÚteisEleiçõesEleições
poder360.com.br
Maior parte do tempo dos projetos deMaior parte do tempo dos projetos deanálise de dados:análise de dados:
Problema antigoProblema antigo(automação (automação ))
Acessibilidade: ProblemasAcessibilidade: ProblemasFormato (qualidade técnica)
Exemplo: Boletim de balneabilidade em PDF (INEMA/BA)Dispersão
Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE)Quantidade de dados
Exemplo: 18 milhões de sócios (RFB)Domínio da área
Exemplo: o que é unidade eleitoral? (TSE)
Acessibilidade: SoluçõesAcessibilidade: SoluçõesEducação tecnológica
Do-it-yourselfInterdisciplinaridade
Melhorar ferramentasSoftware livre
Libertação de dadosDados menos dispersosFormato aberto
Pressão por dados melhoresDar visibilidade aos problemasUsar a LAI
Educação TecnológicaEducação TecnológicaCurso Gratuito (3.000+ alunos)Curso Gratuito (3.000+ alunos)
Python!Python!
Acesse a matéria
Causos da TransparênciaCausos da TransparênciaBrasileiraBrasileira
&&Libertação de DadosLibertação de Dados
Problema: Migram-se os ministérios,Problema: Migram-se os ministérios,sem dadossem dados
Estrelando: Estrelando: Ministério da JustiçaMinistério da Justiça
twitter.com/turicas/status/1112491956314259457
Problema: dados dispersosProblema: dados dispersosEstrelando: Estrelando: IBGEIBGE
SoluçãoSoluçãogithub.com/turicas/genero-nomes
(código ao vivo)
Problema: dado pago! (???)Problema: dado pago! (???)Estrelando: Estrelando: Receita FederalReceita Federal
https://twitter.com/turicas/status/1019272233095745537
SoluçãoSoluçãoPedido de acesso à informação
com muitos recursosPaciência
Problema (2): lentidão ao baixarProblema (2): lentidão ao baixarEstrelando: Estrelando: Receita FederalReceita Federal
twitter.com/turicas/status/1114185311372873729
SoluçãoSoluçãoURL="http://200.152.38.155/CNPJ/DADOS_ABERTOS_CNPJ.zip"
aria2c -s 16 -x 16 $URL
Problema (3): Formato ProprietárioProblema (3): Formato ProprietárioEstrelando: Estrelando: Receita FederalReceita Federal
Problema: dado disperso e nãoProblema: dado disperso e nãopadronizadopadronizado
Estrelando: Estrelando: Conselho Conselho Nacional de JustiçaNacional de Justiça
SoluçãoSoluçãogithub.com/turicas/salarios-magistrados
twitter.com/turicas/status/943176715672711168
Formato não estruturadoFormato não estruturadoEstrelando: Estrelando: INEMA/BAINEMA/BA
(código ao vivo)
SoluçãoSoluçãorows convert arquivo.pdf arquivo.csv
github.com/turicas/balneabilidade-brasil
AcessibilidadeAcessibilidade[x] Formato[x] Dispersão[ ] Quantidade de dados[ ] Domínio da área
Brasil.IOBrasil.IOO Brasil em dados libertos
DemonstraçãoDemonstraçãoDataset salarios-magistradosDataset eleicoes-brasilDossiê Odebrecht
Tecnologias utilizadasTecnologias utilizadasScripts:
Análise:
Backend:
Servidores: DigitalOcean e OVHPaaS: dokku
Python3scrapyrows
sqlite3
Python3DjangoPostgreSQLNeo4J
Contribua com o Brasil.IO!Contribua com o Brasil.IO!Melhorando os scripts de coletaColetando novos datasetsPublicando tutoriais no Doando no Saiba mais em:
blog.brasil.ioapoia.se/brasilio
brasil.io/colabore
23 e 24 de novembro, São Paulo/SP
CODA.BR 2019CODA.BR 2019
coda.escoladedados.org
23 a 28 de outubro, Ribeirão Preto/SP
PythonBrasil 2019PythonBrasil 2019
pythonbrasil.com.br
--
Dúvidas?Dúvidas?“ Restringir acesso a dados públicos é
elitizar a democracia. ”Manifesto Brasil.IO
{{ , , , , , , , , } }
//turicasturicas
twittertwittergithubgithub
youtubeyoutubeslideshareslideshareinstagraminstagram
turicas@brasil.ioturicas@brasil.io