Big Data
-
Upload
vivaldo-jose-breternitz -
Category
Technology
-
view
1.017 -
download
0
description
Transcript of Big Data
Universidade Presbiteriana Mackenzie
BIG DATA: UM NOVO CONCEITO,
GERANDO OPORTUNIDADES E
DESAFIOS
Prof. Dr. Vivaldo José Breternitz
Faculdade de Computação e Informática
Workshops do Curso de Matemática Campos do Jordão, 23-24/03/2013
1
2
Vivaldo José Breternitz• Vida acadêmica
– Professor/Coordenador de Estágios na FCI– Doutor em Ciências – USP– Mestre em Engenharia – Mack– Graduado em Administração - UniAnchieta
• Vida empresarial– Na área de TI desde 1970– Funções técnicas, executivas e consultoria em
empresas como ABN AMRO, Bradesco, Cica, Deutsche Bank, Prodam, Prodesp, Santander etc.
2
• Poderíamos chamar Big Data a tecnologia que reúne uma quantidade extraordinariamente grande de dados, de vários tipos e os processa praticamente em tempo real, aumentando as possibilidades de uso imediato das informações assim geradas
3
Utilização
– Marketing
– Finanças (caso Macy’s)
– Segurança (caso IBM RJ)
– Saúde (Google, epidemia de gripe)
– Fins militares (análise de atividade do inimigo; telecom, imagens etc.)
– Etc., etc., etc....
4
O sw e o hw disponíveis até muito recentemente não conseguiam dar
conta disso
5
O tema já chegou ao cinema
6
• Moneyball: filme baseado na história de Billy Beane, gerente do time de baseball Oakland Athletics.
• Moneyball se foca nas tentativas de Beane de criar um time competitivo (o clube estava em má situação financeira) usando análise estatistica sofisticada para encontrar jogadores baratos
• O filme foi lançado no final de 2011
Gartner Hype Cycle 2012
7
• Bit: menor unidade de informação em computação (usualmente, oito compõem um byte)
• Byte: “espaço” em um computador que pode armazenar um caracter ou dois algarismos
Volume de dados
8
Numbers• How many data in the world?
– 800 Terabytes, 2000
– 160 Exabytes, 2006
– 500 Exabytes, 2009
– 2.7 Zettabytes, 2012 (um quatrilhão de DVDs)
– 35 Zettabytes by 2020
• How many data generated ONE day?
– 7 TB, Twitter
– 10 TB, Facebook Big data: The next frontier for innovation,
competition, and productivity. McKinsey Global
Institute 20119
10
Numbers
An increasingly sensor-enabled and instrumented business environment generates HUGE volumes of
data with MACHINE SPEED characteristics…
EACH engine generating 10 TB every 30 minutes!11
Dados de tipos variados, inclusive não estruturados
• Convencionais• Sons• Imagens• Sensores• Etc
12
Processados em tempo real
• Business Intelligence: captura os dados e DEPOIS os processa
• Big Data: data streaming – os dados vão sendo processados à medida que são capturados
13
Big Data Market forecast US$ billions (world)
14
15
16
Estratégias, software e hardware radicalmente diferentes são
necessários (e já estão em uso por Amazon, Ebay, Facebook e
outros):
– Hadoop - plataforma para computação distribuída
– Cassandra – gerenciador de banco de dados
– IBM Netezza Accelerator, SAP HANA – in memory processing
E logo vão proliferar
• Cursos, livros, consultorias, produtos maquiados etc. etc., visando atingir esse mercado...
• Isso sempre acontece....
17
O pessoal de TI consegue capturar e processar os dados, mas para
vocês, está reservado o filé:
Análise!
Talento é mais importante que
tecnologia18
Sinto-me constrangido em falar disso com vocês
Afinal, quem vai ensinar Matemática aos meus netos????
Essa é uma preocupação de quem pensa o Brasil de forma estratégica
19
“A data scientist is somebody who is inquisitive, who can stare at data and spot trends. It's almost like a Renaissance individual who really wants to learn and bring change to an organization.“
Anjul Bhambhri, vice president of Big Data products at IBM
Esse pessoal vem sendo chamado
Data Scientists
20
Acredita-se que um bom Data Scientist deva ter habilidades multidisciplinares
• Características pessoais
– Curiosidade
– Mente aberta
– Raciocínio lógico apurado
• Domínio de sistemas computacionais
• Conhecimentos na área empresarial:
– Entendimento do negócio e do mercado
– Capacidade de comunicar seus insights a pessoas com formações diferentes
21
Acredita-se que um bom Data Scientist deva ter habilidades multidisciplinares
• Conhecimentos na área de Matemática
– Álgebra linear: cálculo vetorial, matricial
– Cálculo: derivadas, integral
– Teste de hipóteses: paramétricos e não paramétricos
– Matemática discreta: média, mediana, moda etc.
– Estatística e software dessa área
– Modelagem matemática
– Teoria dos conjuntos
– Álgebra booleana
• Etc
22
Ou seja
23
24
O Prof. Leandro, nosso Coordenador de Atividades Complementares, postou em
nosso Facebook um texto acerca do assunto, intitulado “Cientista de dados é o
cara”
• http://cio.uol.com.br/gestao/2013/03/18/cientista-de-dados-e-o-cara/
25
• Profissionais com esse perfil são muito
raros
• Sua formação demanda muito tempo
• Pesquisas da consultoria McKinsey dizem que, apenas nos USA, faltarão em 2018 aproximadamente 190.000 desses profissionais.
• Faltarão também cerca de 1,5 milhão de profissionais habilitados como usuários
26
Esses profissionais não são os mesmos que na atualidade são chamados de “Analistas de Business Intelligence”, especialmente pelo grau de sofisticação das ferramentas utilizadas e da formação necessária
Não havendo ainda formação específica para profissionais dessa área, tem sido comum a utilização de pessoas com formação e experiências diversas
27
Salários: ainda não temos números no Brasil, mas...
• UK– Graduates entering the Big Data industry
can expect to be paid approximately £27k
– An analyst with four years’ experience is likely to command £40k - £48k
– Senior consultants will earn around £120k
– Consultancy is a popular option and freelancers can potentially earn £500 per day.
28
Falando de trabalho: www.fcioportunidades.blogspot.co
m
29
Mas nem tudo são flores...
30
Privacidade Adam Savage, of “Myth Busters,”
took a photo of his vehicle using his smartphone. He then posted the photo to his Twitter account including the phrase “Off to work.”
Since the photo was taken by his smartphone, the image contained metadata revealing the exact geographical location the photo was taken
By simply taking and posting a photo, Savage revealed the exact location of his home, the vehicle he drives, and the time he leaves for work
31
Computational Social Science (CSS)
• Ciência que compreende a investigação da
dinâmica social conduzida de forma
interdisciplinar, sob a perspectiva da
informação e por meio do uso de sistemas
computacionais avançados
• Sua aplicação pode gerar manipulação de
pessoas em escala nunca vista
32
A sociedade precisa ficar alerta!!!
33
Para quem quer saber mais:
34
E para que não aconteça isto
35
36