Conjunto para Proteção de Trabalho em Altura e Conjunto para ...
Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan...
Transcript of Python Públicos, com Dados Libertação de Brasil.IOJornalismo de Dados (em conjunto com Juan...
Brasil.IO:Brasil.IO:Libertação deLibertação de
DadosDadosPúblicos, comPúblicos, com
PythonPythonÁlvaro JustenÁlvaro Justen
$ whoami$ whoami
TuricasTuricas, prazer! =), prazer! =)Sigam-me os bons:Sigam-me os bons:
{{ , , , , , , , , } }
//turicasturicas
twittertwittergithubgithub
youtubeyoutubeslideshareslideshareinstagraminstagram
[email protected]@brasil.io
Brasil.IOBrasil.IOO Brasil em dados libertos
AgendaAgendaDados abertos
O que sãoPara que servem
Acessibilidade de dadosProblemas comunsComo resolverExemplos de código o/
Software Livre & PythonSoftware Livre & Python(desde 2004/2005)(desde 2004/2005)
-- (definição de )
Dados AbertosDados Abertos“ Dados abertos são dados que podemser livremente usados, reutilizados eredistribuídos por qualquer pessoa -sujeitos, no máximo, à exigência de
atribuição da fonte ecompartilhamento pelas mesmas
regras. ”OpenData Handbook Open Definition
Mais detalhes:
Lei de Acesso à Informação: 12.527/2011kit.dados.gov.brescoladedados.org
--
“ De acordo com o governo brasileiro, ocontrole social é a participação da
sociedade civil nos processos deplanejamento, acompanhamento,
monitoramento e avaliação das açõesda gestão pública e na execução das
políticas e programas públicos. ”Wikipedia
Operação Serenata deOperação Serenata deAmorAmor
#civictech#civictech
R$ 191 em um restaurante cujos pratos não custam R$ 40,
deputado?
Rosie, a robôRosie, a robô
twitter.com/tOa_D/status/1058495655184871425
Jornalismo InvestigativoJornalismo Investigativo++
Jornalismo de DadosJornalismo de Dados
(em conjunto com Juan Torres, para ) correio24horas.com.br
Acesse a matéria
(em conjunto com Giulliana Biaconi, para ) generonumero.media
Leia a matéria
(em conjunto com Natália Mazotte, para )
Rua: substantivo (ainda)Rua: substantivo (ainda)masculinomasculino
generonumero.mediayoutu.be/7yQ8U2tFFq4
(em conjunto com Adriano Belisário, para ) apublica.org
Acesse a matéria
(em conjunto com Voltdatalab, para )
Aplicações ÚteisAplicações ÚteisEleiçõesEleições
poder360.com.br
Maior parte do tempo dos projetos deMaior parte do tempo dos projetos deanálise de dados:análise de dados:
Problema antigoProblema antigo(automação (automação ))
Acessibilidade: ProblemasAcessibilidade: ProblemasFormato (qualidade técnica)
Exemplo: Boletim de balneabilidade em PDF (INEMA/BA)Dispersão
Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE)Quantidade de dados
Exemplo: 18 milhões de sócios (RFB)Domínio da área
Exemplo: o que é unidade eleitoral? (TSE)
Acessibilidade: SoluçõesAcessibilidade: SoluçõesEducação tecnológica
Do-it-yourselfInterdisciplinaridade
Melhorar ferramentasSoftware livre
Libertação de dadosDados menos dispersosFormato aberto
Pressão por dados melhoresDar visibilidade aos problemasUsar a LAI
Educação TecnológicaEducação TecnológicaCurso Gratuito (3.000+ alunos)Curso Gratuito (3.000+ alunos)
Python!Python!
Acesse a matéria
xkcd.com/353
Causos da TransparênciaCausos da TransparênciaBrasileiraBrasileira
&&Libertação de DadosLibertação de Dados
Problema: Migram-se os ministérios,Problema: Migram-se os ministérios,sem dadossem dados
Estrelando: Estrelando: Ministério da JustiçaMinistério da Justiça
twitter.com/turicas/status/1112491956314259457
Problema: dados dispersosProblema: dados dispersosEstrelando: Estrelando: IBGEIBGE
SoluçãoSoluçãogithub.com/turicas/genero-nomes
(código ao vivo)
Problema: dado pago! (???)Problema: dado pago! (???)Estrelando: Estrelando: Receita FederalReceita Federal
https://twitter.com/turicas/status/1019272233095745537
SoluçãoSoluçãoPedido de acesso à informação
com muitos recursosPaciência
Problema (2): lentidão ao baixarProblema (2): lentidão ao baixarEstrelando: Estrelando: Receita FederalReceita Federal
twitter.com/turicas/status/1114185311372873729
SoluçãoSoluçãoURL="http://200.152.38.155/CNPJ/DADOS_ABERTOS_CNPJ.zip"
aria2c -s 16 -x 16 $URL
Problema (3): Formato ProprietárioProblema (3): Formato ProprietárioEstrelando: Estrelando: Receita FederalReceita Federal
SoluçãoSoluçãogithub.com/turicas/socios-brasil
Problema: dado disperso e nãoProblema: dado disperso e nãopadronizadopadronizado
Estrelando: Estrelando: Conselho Conselho Nacional de JustiçaNacional de Justiça
SoluçãoSoluçãogithub.com/turicas/salarios-magistrados
twitter.com/turicas/status/943176715672711168
Formato não estruturadoFormato não estruturadoEstrelando: Estrelando: INEMA/BAINEMA/BA
(código ao vivo)
SoluçãoSoluçãorows convert arquivo.pdf arquivo.csv
github.com/turicas/balneabilidade-brasil
AcessibilidadeAcessibilidade[x] Formato[x] Dispersão[ ] Quantidade de dados[ ] Domínio da área
Brasil.IOBrasil.IOO Brasil em dados libertos
DemonstraçãoDemonstraçãoDataset salarios-magistradosDataset eleicoes-brasilDossiê Odebrecht
Tecnologias utilizadasTecnologias utilizadasScripts:
Análise:
Backend:
Servidores: DigitalOcean e OVHPaaS: dokku
Python3scrapyrows
sqlite3
Python3DjangoPostgreSQLNeo4J
Contribua com o Brasil.IO!Contribua com o Brasil.IO!Melhorando os scripts de coletaColetando novos datasetsPublicando tutoriais no Doando no Saiba mais em:
blog.brasil.ioapoia.se/brasilio
brasil.io/colabore
23 e 24 de novembro, São Paulo/SP
CODA.BR 2019CODA.BR 2019
coda.escoladedados.org
23 a 28 de outubro, Ribeirão Preto/SP
PythonBrasil 2019PythonBrasil 2019
pythonbrasil.com.br
--
Dúvidas?Dúvidas?“ Restringir acesso a dados públicos é
elitizar a democracia. ”Manifesto Brasil.IO
{{ , , , , , , , , } }
//turicasturicas
twittertwittergithubgithub
youtubeyoutubeslideshareslideshareinstagraminstagram
[email protected]@brasil.io