ANÁLISE DA DESISTÊNCIA DE NOVATOS EM PROJETOS DE SOFTWARE LIVRE: CASO DO PROJETO HADOOP COMMON

Igor Steinmacher

Igor Scaliante Wiese

Ana Paula Chaves

Marco Aurélio Gerosa

CONTEXTO

... e precisam de ajuda para dar seus passos iniciais

2

“Um novato em projeto de software é como um explorador que precisa se orientar em um ambiente hostil...”

[Degenais et al. 2010]

B. Dagenais, H. Ossher, R.K.E Bellamy, M.P. Robillard and J.P. de Vries, Moving into a new software project landscape, in ICSE 2010.

3

PROBLEMA

Taxa de retenção de novatos em projetos de software livre é baixa

4

PROBLEMA

Fonte: Wikimedia Editor Trends Study/Results <http://strategy.wikimedia.org/?oldid=80283>

• Bongwon Suh, Gregorio Convertino, Ed H. Chi, and Peter Pirolli. 2009. The singularity is not near: slowing growth of Wikipedia. In WikiSym '09. ACM, New York, NY, USA, , Article 8 , 10 pages. 

• Parul Vora, Naoko Komura. 2010. The n00b Wikipedia Editing Experience. In WikiSym '10. • Aaron Halfaker, Aniket Kittur, and John Riedl. 2011. Don't bite the newbies: how reverts affect the

quantity and quality of Wikipedia work. In WikiSym '11. • Loxley Sijia Wang, Jilin Chen, Yuqing Ren, and John Riedl. 2012. Searching for the goldilocks zone:

trade-offs in managing online volunteer groups. In CSCW '12.

5

OBJETIVO

Questão de Pesquisa:

Ausência de resposta, polidez, utilidade ou o tipo de autor das respostas influencia na permanência de novatos em um projeto

de software livre?

Objetivos Específicos:

• Durante as primeiras interações dos novatos com o projeto• OE1: Verificar se os novatos recebem respostas; • OE2: Observar quem são os autores das respostas às dúvidas

dos novatos; e • OE3: Classificar as respostas recebidas pelos novatos.

6

DADOS COLETADOS

Projeto Hadoop Common

60 meses

• Lista de e-mails• 9285 discussões• 50128 mensagens

• Discussões nas tarefas (Jira)• 7721 tarefas• 76065 comentários

Tarefas Jira

Lista e-mails

Identificação dos membros existentes

no projeto (36 meses)

Identificação dos “novatos”(6 meses)

Verificação dos novatos que

ficaram(6 meses)

Verificação dos novatos que

“continuaram”(+ 12 meses)

Verificação dos novatos

“desistentes”(6 meses)

Envio de questionário

Mineradores

7

MÉTODO

1 2

3

3

4

8

# usuários % dos existentes % dos novatos

Existentes (intervalo 1) 677

Novatos (intervalo 2) 67 9,90%

Ficaram (intervalo 3) 20 2,95% 29,85%

Continuaram (intervalo 4) 12 1,77% 17,91%

RESULTADOS (RETENÇÃO)

Novatos na Lista de e-mails

# usuários % dos existentes % dos novatos

Existentes (intervalo 1) 483

Novatos (intervalo 2) 127 26,29%

Ficaram (intervalo 3) 30 6,21% 23,62%

Continuaram (intervalo 4) 17 3,52% 13,39%

Novatos no Gerenciador de tarefas (Jira)

9

OE1:OS NOVATOS SÃO RESPONDIDOS?

  # pessoas Desistiram Aparecem nos intervalos 3 e 4

Sem resposta 13 11 (84,6%) 2 (15,4%)

Com resposta 34 30 (88,2%) 4 (11,8%)

  # pessoas Desistiram Aparecem nos intervalos 3 e 4

Sem comentários 7 6 (85,7%) 1 (14,3%)

Com comentários 71 55 (77,5%) 16 (22,5%)

Novatos no Gerenciador de tarefas (Jira)

Novatos na Lista de e-mails

10

20 discussões de novatos que desistiram tiveram alguma resposta de outros novatos

OE2:QUEM RESPONDE AOS NOVATOS?

Lista de e-mails

Nenhuma mensagem de novato respondida apenas por novatos. Apenas 2 discussões têm participação de outros novatos

• Indícios de que experiência dos autores de respostas influencia a permanência• Verificou-se que alguns novatos responderam questões de maneira equivocada ou

que não continham informações úteis

OE2:QUEM RESPONDE AOS NOVATOS?

11

Jira

39 relatos (45%) não contaram com membros centrais.Participação heterogênea.

11 relatos (28%) não contaram com membros centrais.Participação heterogênea

• Discussões mais extensas (# mensagens trocadas)• Maior contribuição dos membros centrais, e mais respostas de novatos• Discussões mais contextualizadas, focadas, e extensas (# mensagens)

12

OE3: QUE TIPO DE RESPOSTA OS NOVATOS RECEBEM?

Tipo da Resposta Desistiram ContinuaramAjuda / No Tópico 20 7Não Útil / Outra questão 5 0Não Útil / Fora do tópico 3 0Indiferente 1 0Outro 4 0

• respostas no tópico, contextualizadas e com informações úteis• não houve alterações ou padrões a tratar no contexto dessa questão

Lista de E-mails

Gerenciador de Tarefas

13

QUESTIONÁRIO (DESISTENTES) 1. Você se lembra de ter enviado email à lista hadoop-common-dev?

2. À época, você estava interessado em continuar contribuindo com o projeto Hadoop?

2a. Caso tenha respondido SIM à questão 2, por que desistiu?

2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar mensagens à lista de desenvolvedores?

3. Você contribuiu com algum projeto de software livre depois de Junho de 2009?

4. Você já havia contribuído com algum projeto de software livre antes de Junho de 2009?

Questão 1 Questão 2 Questão 3 Questão 4

Sim 13 11 1 7

Não 0 2 12 611

14

QUESTIONÁRIO (DESISTENTES)

Tipo da RespostaResposta à questão 2

Sim (2a) Não (2b)

i. Era usuário e só quis esclarecer dúvidas 0 2

ii. Pergunta não respondida ou resposta não agradou 2 0

iii. Falta de ajuda em escolher tarefa 3 0

iv. Diz não ter sido aceito pelo projeto 1 0

v. Mudou de foco ou empresa 4 0

vi. Voltou depois ao projeto 1 0

2a. Caso tenha respondido SIM à questão 2, por que desistiu?2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar mensagens à lista de desenvolvedores?

“... meu problema era como começar a contribuir... se eu tivesse alguém para segurar minha mão, isso poderia ter ajudado...”

“eles não responderam à minha pergunta”.

15

CONCLUSÕES

ausência de respostapolidez da resposta má recepção (questionário)utilidade da resposta direcionamento / mensagens negativastipo do autor experiência de quem responde Adicionalmente fatores externos

As interações iniciais exercem influência na decisão de permanecer colaborando no projeto

“Habilidades sociais” são requeridas

Ausência de resposta, polidez, utilidade ou o tipo de autor das respostas influencia na permanência de novatos em um projeto

de software livre?

16

OPORTUNIDADES FUTURAS

Estender a análise para outros projetos

Estabelecer uma classificação mais rigorosa

• Entrevistas com outros desistentes e conduzir estudos de caso específicos

Estudar proposta de uma abordagem para análise automatizada do conteúdo do padrão das discussões (análise de discurso)

PERGUNTAS?

Igor Steinmacherigorfs@utfpr.edu.br

Igor Scaliante Wieseigor@utfpr.edu.br

Ana Paula Chavesanachaves@utfpr.edu.br

Marco Aurélio Gerosagerosa@ime.usp.br