Brasil.IO:Brasil.IO:Libertação deLibertação de

DadosDadosPúblicos, comPúblicos, com

PythonPythonÁlvaro JustenÁlvaro Justen

$ whoami$ whoami

TuricasTuricas, prazer! =), prazer! =)Sigam-me os bons:Sigam-me os bons:

{{ , , , , , , , , } }

//turicasturicas

twittertwittergithubgithub

youtubeyoutubeslideshareslideshareinstagraminstagram

turicas@brasil.ioturicas@brasil.io

Brasil.IOBrasil.IOO Brasil em dados libertos

AgendaAgendaDados abertos

O que sãoPara que servem

Acessibilidade de dadosProblemas comunsComo resolverExemplos de código o/

Software Livre & PythonSoftware Livre & Python(desde 2004/2005)(desde 2004/2005)

-- (definição de )

Dados AbertosDados Abertos“ Dados abertos são dados que podemser livremente usados, reutilizados eredistribuídos por qualquer pessoa -sujeitos, no máximo, à exigência de

atribuição da fonte ecompartilhamento pelas mesmas

regras. ”OpenData Handbook Open Definition

Mais detalhes:

Lei de Acesso à Informação: 12.527/2011kit.dados.gov.brescoladedados.org

--

“ De acordo com o governo brasileiro, ocontrole social é a participação da

sociedade civil nos processos deplanejamento, acompanhamento,

monitoramento e avaliação das açõesda gestão pública e na execução das

políticas e programas públicos. ”Wikipedia

Operação Serenata deOperação Serenata deAmorAmor

#civictech#civictech

R$ 191 em um restaurante cujos pratos não custam R$ 40,

deputado?

Rosie, a robôRosie, a robô

twitter.com/tOa_D/status/1058495655184871425

Jornalismo InvestigativoJornalismo Investigativo++

Jornalismo de DadosJornalismo de Dados

(em conjunto com Juan Torres, para ) correio24horas.com.br

Acesse a matéria

(em conjunto com Giulliana Biaconi, para ) generonumero.media

Leia a matéria

(em conjunto com Natália Mazotte, para )

Rua: substantivo (ainda)Rua: substantivo (ainda)masculinomasculino

generonumero.mediayoutu.be/7yQ8U2tFFq4

(em conjunto com Adriano Belisário, para ) apublica.org

Acesse a matéria

(em conjunto com Voltdatalab, para )

Aplicações ÚteisAplicações ÚteisEleiçõesEleições

poder360.com.br

Data PipelineData Pipeline

schoolofdata.org/methodology

Qualidade dos DadosQualidade dos Dados

5stardata.info

Maior parte do tempo dos projetos deMaior parte do tempo dos projetos deanálise de dados:análise de dados:

Problema antigoProblema antigo(automação (automação ))

Acessibilidade: ProblemasAcessibilidade: ProblemasFormato (qualidade técnica)

Exemplo: Boletim de balneabilidade em PDF (INEMA/BA)Dispersão

Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE)Quantidade de dados

Exemplo: 18 milhões de sócios (RFB)Domínio da área

Exemplo: o que é unidade eleitoral? (TSE)

Acessibilidade: SoluçõesAcessibilidade: SoluçõesEducação tecnológica

Do-it-yourselfInterdisciplinaridade

Melhorar ferramentasSoftware livre

Libertação de dadosDados menos dispersosFormato aberto

Pressão por dados melhoresDar visibilidade aos problemasUsar a LAI

Educação TecnológicaEducação TecnológicaCurso Gratuito (3.000+ alunos)Curso Gratuito (3.000+ alunos)

Python!Python!

Acesse a matéria

xkcd.com/353

Causos da TransparênciaCausos da TransparênciaBrasileiraBrasileira

&&Libertação de DadosLibertação de Dados

Problema: Migram-se os ministérios,Problema: Migram-se os ministérios,sem dadossem dados

Estrelando: Estrelando: Ministério da JustiçaMinistério da Justiça

twitter.com/turicas/status/1112491956314259457

SoluçãoSolução

web.archive.org

Problema: dados dispersosProblema: dados dispersosEstrelando: Estrelando: IBGEIBGE

SoluçãoSoluçãogithub.com/turicas/genero-nomes

(código ao vivo)

Problema: dado pago! (???)Problema: dado pago! (???)Estrelando: Estrelando: Receita FederalReceita Federal

https://twitter.com/turicas/status/1019272233095745537

SoluçãoSoluçãoPedido de acesso à informação

com muitos recursosPaciência

Problema (2): lentidão ao baixarProblema (2): lentidão ao baixarEstrelando: Estrelando: Receita FederalReceita Federal

twitter.com/turicas/status/1114185311372873729

SoluçãoSoluçãoURL="http://200.152.38.155/CNPJ/DADOS_ABERTOS_CNPJ.zip"

aria2c -s 16 -x 16 $URL

Problema (3): Formato ProprietárioProblema (3): Formato ProprietárioEstrelando: Estrelando: Receita FederalReceita Federal

SoluçãoSoluçãogithub.com/turicas/socios-brasil

Problema: dado disperso e nãoProblema: dado disperso e nãopadronizadopadronizado

Estrelando: Estrelando: Conselho Conselho Nacional de JustiçaNacional de Justiça

SoluçãoSoluçãogithub.com/turicas/salarios-magistrados

twitter.com/turicas/status/943176715672711168

Formato não estruturadoFormato não estruturadoEstrelando: Estrelando: INEMA/BAINEMA/BA

(código ao vivo)

SoluçãoSoluçãorows convert arquivo.pdf arquivo.csv

github.com/turicas/balneabilidade-brasil

AcessibilidadeAcessibilidade[x] Formato[x] Dispersão[ ] Quantidade de dados[ ] Domínio da área

Brasil.IOBrasil.IOO Brasil em dados libertos

DemonstraçãoDemonstraçãoDataset salarios-magistradosDataset eleicoes-brasilDossiê Odebrecht

Tecnologias utilizadasTecnologias utilizadasScripts:

Análise:

Backend:

Servidores: DigitalOcean e OVHPaaS: dokku

Python3scrapyrows

sqlite3

Python3DjangoPostgreSQLNeo4J

Contribua com o Brasil.IO!Contribua com o Brasil.IO!Melhorando os scripts de coletaColetando novos datasetsPublicando tutoriais no Doando no Saiba mais em:

blog.brasil.ioapoia.se/brasilio

brasil.io/colabore

23 e 24 de novembro, São Paulo/SP

CODA.BR 2019CODA.BR 2019

coda.escoladedados.org

23 a 28 de outubro, Ribeirão Preto/SP

PythonBrasil 2019PythonBrasil 2019

pythonbrasil.com.br

--

Dúvidas?Dúvidas?“ Restringir acesso a dados públicos é

elitizar a democracia. ”Manifesto Brasil.IO

{{ , , , , , , , , } }

//turicasturicas

twittertwittergithubgithub

youtubeyoutubeslideshareslideshareinstagraminstagram

turicas@brasil.ioturicas@brasil.io