Big Data: em busca da veracidade e valor - Social Analytics Summit 2013
-
Upload
gustavo-arjones -
Category
Marketing
-
view
320 -
download
1
description
Transcript of Big Data: em busca da veracidade e valor - Social Analytics Summit 2013
Big Data: em busca da veracidade e valorSocial Analytics Summit
Gustavo [email protected] | @arjones
23 Novembro 2013
• NERD
• Data Lover, Curioso
• Ciências da Computação
• MBA em Marketing
• CTO & Co-founder da Socialmetrix (2008)
• Brasil, Argentina e México
Caixinha de sugestões: @arjones
Gustavo Arjones
@socialmetrix | @arjones
Big Data: em busca da veracidade e valor
… como sexo na adolescência:
• Todo mundo fala sobre isso;
• Ninguém entende realmente como fazer;
• Todo mundo pensa que os demais estão fazendo;
• Então todos dizem que também estão fazendo!
Big Data é …
Big Data: em busca da veracidade e valor
http://smx.io/bigteen@socialmetrix | @arjones
Conjunto de técnicas e ferramentas para
capturar, filtrar, consolidar e visualizar informação
que permita a ação.
Big Data ~(Analytics | BI | Data warehouse | OLAP)
Big Data em nosso contexto
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
Os 5 V’s de Big Data:
Big Data: em busca da veracidade e valor
• Volume
• Variedade
• Velocidade
• Veracidade
• Valor
@socialmetrix | @arjones
Volume
Big Data: em busca da veracidade e valor
• 5Kb por atividade
• 100.000 usuarios
• 10 atividades por dia
• 30 dias
~ 150 Gb / mês ( ~ 1.8 Tb / ano )
@socialmetrix | @arjones
Os sistemas tradicionais não acumulavam tanta
informação, e o volume só tende a crescer #IoThttp://smx.io/iot
Variedade
Big Data: em busca da veracidade e valor
• Quantitativos
• Demograficos
• Localização (celulares)
• Atividades (behavior)
• Conversas
• Dispositivos (Waze)
• etc ….
@socialmetrix | @arjones
Velocidade
Big Data: em busca da veracidade e valor
• Quando tudo é Rápido e Fugaz, quem define o que é
relevante?
Computadores e Algoritmos
@socialmetrix | @arjones
Velocidade
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
TED: Kevin Slavin: How algorithms shape our world
http://smx.io/teddata
Veracidade
Big Data: em busca da veracidade e valor
• Fonte de Informação (dataset)
– Sujo (dirty) relações de alto-nivel
– Limpando com hipóteses e informação de contexto
– Vigencia ex: localização pode ser fugaz
• Interpretação (análise)
– A história que contamos com essa informação
@socialmetrix | @arjones
Veracidade Fontes de Informação
Big Data: em busca da veracidade e valor
• Falsos Reviews & Bombardeio de comentários
– Percepção é realidade!
– Nossos clientes podem diferenciar?
@socialmetrix | @arjones
O impacto em nossa marca será negativo,
portanto tem que ser analizado como
verdadeiros.
Veracidade Correlação e Causalidade
Big Data: em busca da veracidade e valor
• Pessoas que comem nozes e castanhas vivem mais e
são mais magras http://smx.io/nozes
– Fatores Socio-economicos
– Acesso a Esportes e Lazer
• A causa do aquecimento global é a diminuição da
população de piratas!
@socialmetrix | @arjones
Big Data: em busca da veracidade e valor
Dois eventos podem acontecer no mesmo
período e não serem causa um do outro
Veracidade Zoom (Big picture vs. Detalhe)
Big Data: em busca da veracidade e valor
• É imperativo aproveitar o potencial de sumarização
• Entender o todo e se enfocar no que é importante, chama
a atenção
@socialmetrix | @arjones
Veracidade Zoom (Big picture vs. Detalhe)
Big Data: em busca da veracidade e valor
http://smx.io/folha@socialmetrix | @arjones
Veracidade Margens de Erro
Big Data: em busca da veracidade e valor
• Aproximações são aceitáveis e bem-vindas!
GA: "A amostragem (sampling) é muito utilizada … a análise de um
subconjunto de dados fornece resultados semelhantes … [e] …
acelera o processamento dos relatórios” http://smx.io/gas
• Facebook faz isso o tempo todo
Custo de manter os contadores atualizados é muito grande devido a
intensa atividade, se aproximam os números e se calcula o valor
exato quando (e se) realmente necessário
@socialmetrix | @arjones
Veracidade Margens de Erro
Big Data: em busca da veracidade e valor
• Porque se usa com tanta frequencia?
– Porque vale a pena!
@socialmetrix | @arjones
Com 3% de erro, reduzo o consumo de memória
em 20.000+ vezes
Valor
Big Data: em busca da veracidade e valor
• Influenciadores (Followers, Klout, etc)
• Análise de sentimento, temáticas e extração
automática de tópicos
• Secret cases
@socialmetrix | @arjones
Valor Análise de sentimento
Big Data: em busca da veracidade e valor
• Depende de contexto externo (cultura)
• Trade-off velocidade vs precisão
Melhores resultados: Usar ambos métodos!@socialmetrix | @arjones
Análise Resposta Precisão Custos
Automático < 1 seg ~ 68% $
Manual ~ 4 horas 95% $$$
Valor Temáticas
Big Data: em busca da veracidade e valor
• Tracking continuado de temáticas importantes permite
entender tendências e realizar rápida ação
@socialmetrix | @arjones
Valor Extração Automática de Tópicos
Big Data: em busca da veracidade e valor
• Veloz (< 2 segundos)
• Menor dependência de contextos externos, maior
precisão
• Ajudam a entender como a conversa está variando,
podem mostrar assuntos que não estavam no radar.
@socialmetrix | @arjones
Valor Extração Automática de Tópicos
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
Valor Secret Cases (sorry!)
Big Data: em busca da veracidade e valor
Valor está em encontrar como métricas de negócio
são afetadas pela atividade social/online.
• Montadora = nossos dados + Emplacamento
• Operadora Celular = nossos dados + WebAnalytics+
Compras de Plano
@socialmetrix | @arjones
Oportunidade
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
• Integração / Convergência
• Reduzir a Obsessão por likes, followers
• Algumas questões NÃO serão resolvidas e afetam valor
percebido. Ex: “Fila no Banco”
• Predictive Analytics ?
Desafio
Big Data: em busca da veracidade e valor
• Silo de dados
Tenho acesso aos dados que preciso?
– Vendas
– Anuncios
– Promoções
– Compras
– Custos
@socialmetrix | @arjones
Futurologia ...
Big Data: em busca da veracidade e valor
• Grafos Sociais
• Sistemas de Recomendação
• Influenciadores
“Mapear as relações”
@socialmetrix | @arjones
Muito Obrigado!
Gustavo Arjones | @arjonesCTO & Co-Founder
facebook.com/socialmetrix
www.socialmetrix.com