BIG DATA

BIG DATA:Oportunidades e Desafios de Sua Implementação Pela Administração Pública

43º Seminário Nacional de TIC para a Gestão Pública07, 08 e 09/10/2015 – Salvador/BA

Marcelo Veloso

Para alguns pesquisadores, o Big Data é tão revolucionário na vida

humana quanto a descoberta do fogo ou o início da agricultura

Motivação

Fonte: Veja Edição 2321 - Vida Digital - Big Data

Estima-se que o impacto da utilização do Big Data nos 28 Estados

Membros da União Europeia poderá

representar uma contribuição de 206 bilhões de euros para a economia

europeia até 2020

Motivação

Fonte: http://www.bigopendata.eu/

Recolhe 500 terabytes

de dados por dia, incluindo 2,5 bilhões de peças de

conteúdo, 2,7 bilhões de "likes", e

300 milhões de fotos

Gigantes do Big Data

Admitiu ter armazenado 100 petabytes de fotos e

vídeos a partir de 2012


Processa 3,5 bilhões de solicitações por dia.

Em 2009, se preparava para ter mais de 1 exabyte de

dados. Estima-se que hoje esteja armazenando mais de 10

exabytes


Amazon extrai dados de 152 milhões de compras realizadas para ajudar os

usuários a decidir quais itens comprar. Estima-se que tenha

1 exabyte de dados armazenados


O que são as medidas?

Unidade Tamanho EquivalênciaByte 1 byte 1 letraMegabyte 1.024 kilobytes 1 livroGigabyte 1.024 megabytes 1.600 livrosTerabyte 1.024 gigabytes 1.600.000 livrosPetabyte 1.024 terabytes 160.000.000 livrosExabyte 1.024 petabytes 1.600.000.000.000 livros

90% de todos os dados do mundo de hoje foram

produzidos nos últimos

dois anos

Crescimento

Crescimento

Calcula-se que hoje 2,5 quintilhões de bytes de dados é

produzida todos os dias:2.500.000.000.000.000.0

00

Crescimento

Em 2011 foram criados 2 zettabytes, tendo esse número passado para 3 em

2012, 5 em 2013, com previsão de alcançar 8 em 2015 e que chegará em

35 zettabytes em 2020

Crescimento

Zettabyte = 10(21)

Apresentar quais os principais desafios a serem enfrentados, além de exemplos de

oportunidades reais a serem alcançadas através da implementação de soluções de

big data pela administração pública brasileira

Objetivo

“Big data é de alto volume, de alta velocidade e de alta variedade dos ativos de informação que demandam formas inovadoras e rentáveis de processamento de informação para uma melhor percepção e tomada de decisão”

Definição

(Gartner, 2014)

Características

Fonte: https://www.youtube.com/watch?v=H7NLECdBnps

Refere-se à enorme quantidade de dados gerada e que devem ser analisada e gerenciada para se conseguir tomar decisões com base em uma análise completa.Para o Big Data, quanto mais dados a serem analisados melhores serão os resultados apresentados

Volume

Refere-se a quão rápido os dados estão sendo produzidos e o quão rápido devem ser tratados. A identificação dos dados deve ser feita em um tempo hábil, sendo em muitas vezes em tempo real.Significa garantir acessibilidade

Velocidade

A ascensão da informação proveniente a partir de novas fontes, tanto de dentro quanto de fora da organização. Apresentam-se como estruturados, não estruturados ou semiestruturados, oriundos das mais diversas fontes. Estima-se que 80% dos dados de uma organização não sejam numéricos

Variedade

Uma nova geração de tecnologias e arquiteturas concebidos para extrair o valor econômico de volumes muito grandes de uma ampla variedade de dados, permitindo a alta velocidade de captura, descoberta, e/ou análise

Valor

Fonte: IDC, 2012

Para os que consideram esse 5º V, refere-se a uma característica fundamental do Big Data, pois afirmam que não seria possível gerar valor a partir da combinação de "volume + velocidade + variedade" se os dados não forem confiáveis

Veracidade

Fonte: http://www.bigopendata.eu/

Desafios na Administração Pública

Necessidade de recursos tecnológicos capazes de suportar o armazenamento de expressivos volumes de dados,

Necessidade de capacidade de processamento desses dados

Exigência de investimentos significativos, o que pode representar empecilhos para o desenvolvimento de projetos de Big Data

Armazenamento de Dados

Aumento na complexidade do ambiente de Tecnologia da Informação

Ameaças internas e externas aos dados, naturalmente existentes pelo valor que pode ser obtido a partir dos mesmos

Aumento das chamadas Advanced Persistent Threat – APT (Ameaça Persistente Avançada)

Grande diversidade de dados utilizados, que exigem tratamento diferente de técnicas tradicionais para Segurança da Informação

Segurança e Privacidade de Dados

Área de conhecimento nova. Falta profissionais experientes

Exigência de conhecimentos especializados em variadas ciências: matemática, estatística e linguagens de programação. Falta profissionais qualificados

Qualificação através de programas de mestrado ou doutorado

Estimativa do Gartner para 2015 previa a criação de 4,4 milhões postos de empregos em todo o mundo para se trabalhar com Big Data

Falta de Profissionais

Oportunidades na Administração Pública

Saúde: qualidade e eficiência em políticas de saúde pública; detecção de surtos de doenças

Transportes: tráfego mais seguro e com menos interrupção

Educação: análise de como alunos aprendem

Arrecadação: detecção de fraudes/sonegações

Meio Ambiente: monitoramento em tempo real; previsões climáticas

Segurança: patrulhamento baseado em análises preditivas

Oportunidades

DataViva

http://pt.dataviva.info/

Uma plataforma inovadora que

agrega valor às análises econômicas e ao

acesso a dados públicos

DataViva

Big Data é uma realidade com a qual se convive hoje e que apresenta diversas possibilidades de utilização com os mais variados objetivos. Organizações devem buscar o equilíbrio entre os desafios a serem enfrentados com os benefícios a serem alcançados, na busca da melhoria da prestação de serviços aos cidadãos

Conclusão

Obrigado!Marcelo [email protected]@MVSecurityBRabout.me/marcelovelosopt.slideshare.net/mvsecurity

BIG DATA

Technology

Transcript of BIG DATA