O EMPREGO DE PROGRAMAS DE KEYSTROKE LOGGING NA ...€¦ · departamento de letras o emprego de...

Departamento de Letras

O EMPREGO DE PROGRAMAS DE "KEYSTROKE LOGGING" NA INVESTIGAÇÃO DA ESCRITA: CONTRIBUIÇÕES PARA UMA ABORDAGEM PROCESSUAL DA COMPOSIÇÃO DE TEXTOS

Aluna: Lorena Araujo Alves Orientadora: Erica dos Santos Rodrigues

Introdução Este relatório irá reportar as atividades realizadas no primeiro ano do projeto de

iniciação tecnológica (PIBITI) intitulado O emprego de programas de "keystroke logging" na investigação da escrita: contribuições para uma abordagem processual da composição de textos. Nosso projeto de pesquisa volta-se para a investigação do processo de escritura de textos por alunos universitários com uso de nova metodologia, isto é, a partir da exploração dos recursos do keylogger Inputlog (http://www.inputlog.net/). Este estudo de caráter translacional se insere na área da Psicolinguística e está vinculado ao projeto de Rodrigues [1] (orientadora da pesquisa) conduzido no LAPAL (Laboratório de Psicolinguística e Aquisição da Linguagem, PUC-Rio).

Neste trabalho, é considerada a investigação da escrita a partir de uma perspectiva psicolinguística. Investigações dessa natureza vêm sendo conduzidas desde a década de 80, com o desenvolvimento de modelos cognitivos que focalizam o processo de composição dos textos e não somente o produto final [2]. Esses modelos buscam caracterizar o processamento da escrita em termos de seus componentes, dos procedimentos envolvidos e das demandas cognitivas associadas a cada etapa da atividade redacional. Desta forma, com a análise da gênese da produção textual, há a possibilidade de se mapearem as particularidades e dificuldades de escrita de escritores com diferentes níveis de experiência, o que pretendemos desenvolver neste projeto.

Para efetuar tal exame da escrita enquanto processo é necessário fazer-se uso de ferramentas que permitam a captura do curso da produção textual, o registro do que acontece durante a escritura. Ao longo do tempo, alguns recursos metodológicos têm sido utilizados nesta investigação, desde relatos dos escritores durante a própria produção textual (os protocolos verbais) ao emprego de ferramentas que gravam eventos do teclado (os keyloggers). Os principais aspectos dessa trajetória metodológica - foco do nosso referencial teórico - será pontuado mais adiante nesse texto.

Objetivos da pesquisa

Relacionando-se com o que foi dito anteriormente, o objetivo central deste projeto é, pois, avaliar as funcionalidades do programa Inputlog na caracterização dos processos e demandas cognitivas associados à composição de textos escritos por estudantes universitários.

De maneira mais específica, desejamos neste projeto: • examinar os diferentes produtos gerados pelo Inputlog, em especial os dados

fornecidos pelo módulo Analyze do programa; • comparar o produto final da escrita e as ações do escritor no curso da produção textual

de modo a verificar que tipos de mudanças, acréscimos e apagamentos, são realizados;


• mapear as principais dificuldades de escrita dos alunos participantes na construção de textos dissertativos/argumentativos, buscando, a partir desse diagnóstico, propor estratégias de intervenção.

Metodologias utilizadas na investigação da escrita enquanto processo

Inicialmente, os primeiros estudos de investigação da escritura em uma abordagem

processual, como os de Hayes e Flower [2, 3], basearam-se no relato verbal dos próprios escritores enquanto elaboravam os textos – os chamados protocolos verbais (think aloud protocols). O escritor deveria narrar tudo o que pensa enquanto produz o seu texto, como por exemplo, planejamentos, o passo a passo para construção de parágrafos, o tipo de revisão e alterações que irá fazer e etc. Todas essas informações seriam gravadas pelo pesquisador e depois transcritas para realização de análises e estudos.

Contudo, o uso dos protocolos verbais apresenta algumas questões em termos de sua completude e validade ecológica. Apesar de ser possível, pelos protocolos, ter certas indicações sobre as operações e estratégias usadas pelo escritor, essas são incompletas visto que são baseadas apenas no que o produtor tem acesso em um nível consciente. Além disso, os problemas de validade ecológica se referem a como a tarefa de escrita pode se tornar um tanto artificial, uma vez que há a frequente interferência do escritor em seu próprio fluxo natural de composição do texto para verbalizar suas ações e planos.

Paralelamente aos trabalhos com os protocolos verbais, também foi explorado o uso da filmagem da atividade de produção escrita em algumas pesquisas. Através dessa filmagem, seria possível obter dados temporais mais específicos, o que permitiu o desenvolvimento de pesquisas sobre pausas indicativas de esforço cognitivo e informativas sobre processos mentais [4, 5].

Mais recentemente, com os avanços tecnológicos, novas metodologias e recursos começaram a ser utilizados. O programa Camtasia Studio é um exemplo que possibilita a criação de vídeos a partir da captura da tela do computador. Além desse recurso, com a intenção de se realizar um exame mais minucioso e preciso da escrita enquanto processo, têm sido utilizadas ferramentas de keylogging, isto é, programas que permitem gravar, de forma encoberta, as ações realizadas em um computador com dados temporais associados, sem que o escritor perceba que suas ações estão sendo monitoradas. Não só todo o material digitado é registrado, como também os apagamentos, inserções de palavras, pausas realizadas, etc. [6]. A tarefa de escrita se dá, desta forma, sem qualquer tipo de intervenção e permite ao pesquisador ter acesso a processos mais automáticos, muitas vezes de nível inconsciente e não reportados nos protocolos verbais.

Os dados fornecidos pelos keyloggers, ou seja, os tipos de ações realizadas associadas a informações temporais precisas, podem ser informativos sobre as demandas cognitivas associadas às diferentes etapas da escrita e ao monitoramento e revisão textual do próprio escritor. Sendo assim, esses programas viabilizam a reconstrução e descrição da atividade de produção textual.

O Inputlog é uma dessas ferramentas de keystroke logging e foi utilizada em nossa pesquisa como recurso metodológico. O programa funciona com o editor de texto Word e faz o registro das ações realizadas no computador sem que haja alterações na interface ou mesmo nas funcionalidades do editor de texto.

Este keylogger é constituído por cinco módulos, os quais permitem uma exploração diversificada dos dados. O módulo Record é o que faz a gravação dos eventos do teclado e as ações do mouse, com informação temporal associada em milissegundos. Ele registra inclusive quando há aberturas de novas janelas/abas de internet ou outros programas durante a sessão de escrita no Inputlog. O Pre-process atua como um filtro do tipo de informação que se


deseja processar (dados do teclado, mouse, fonte MS Word, Internet etc.) previamente a realização de análises. O Analyze permite a geração automática de vários tipos de análise de dados. O Post-process possibilita a integração de diferentes tipos de arquivos de log de outros programas (eyetracker, por exemplo). O módulo Play nos permite reproduzir a gravação da sessão de escrita através de um “vídeo”, com possibilidade de ajuste de velocidade para reprodução. Podendo reproduzir como se deu exatamente a sessão de escrita, este recurso proporciona a consulta/checagem de eventuais dúvidas sobre os registros dos dados que aparecem nas análises.

Nesta pesquisa, os recursos utilizados foram o Record, o Analyze e o Play. O módulo Analyze é tido como o principal, o coração do programa, já que nos fornece diversas análises dos dados, estas descritas abaixo.

A Summary Analysis nos antecipa as informações gerais sobre o processo e o produto da escrita. A partir dessa análise, vemos os dados referentes ao número de caracteres (no processo e no produto final), número de palavras, frases e parágrafos; o tempo total do processo da escritura com a separação entre tempo ativo de escrita e tempo total de pausas; os dados sobre eventos do teclado e do mouse, entre outras informações, de acordo com o limiar previamente definido. Já aqui, é possível ter uma breve noção da relação produto/processo no que concerne quantidade de alterações feitas no texto.

Na General Analysis encontramos o registro de cada ação de escrita com informação de ordem temporal em milésimos de segundo. Cada input referente às digitações, apagamentos, inserções, movimentos de mouse e etc. são representados individualmente em cada linha da planilha do arquivo em XML (podendo ser convertida em arquivo Excel) acompanhado da informação de tempo (duração do evento, momento de início e término). Há também o registro sobre as pausas feitas durante a sessão de escrita, com sua localização e ocorrência (antes/depois/dentro/entre palavras, frases e parágrafos).

Figura 1 – Exemplo de um fragmento de texto na General Analysis

A Pause Analysis contém informações específicas sobre as pausas realizadas durante todo o processo de escritura. Esta análise nos traz, por exemplo, o número e tempo total de pausas; duração médias das pausas, bem como informação sobre a mediana e do desvio padrão; dados de tempo e número de pausas também dentro/entre/antes e depois de palavras,


frases e parágrafos, entre outras informações. Além disso, há o registro do tempo total do processo de escrita. Todos esses dados são gerados também em função de um limiar pré-estabelecido.

A Linear Analysis gera um arquivo contendo toda a produção escrita em formato linear (o contrário da representação vertical da General Analysis) incluindo também os dados de pausa e ações do mouse. Nessa análise, o pesquisador pode dividir a reprodução da sessão de escrita em “blocos” baseados na escolha de períodos ou intervalos fixos de duração temporal e também na definição de um limiar específico de duração pausas a serem visualizadas.

Na Revision Matrix verificamos o registro particular das operações de revisão. Esta análise nos mostra todos os tipos de revisão realizadas e estas são numeradas sequencialmente (numeração relacionada com a da análise S-Notation). Os tipos de revisão são categorizados em normal production - digitação contínua de texto; insert - inserção de novo material em qualquer parte do texto já produzido até o momento e delete - apagamento de informações digitadas imediatamente ou não. Ela também inclui dados de R-Burst (revision burst), ou seja, das sequências de escrita sem interrupções. Há o registro da média de R-Burst, bem como mediana e desvio-padrão tanto por tempo quanto por quantidade de caracteres, considerando-se o limiar pré-definido pelo investigador para duração da pausa.

A S-Notation é mais um tipo de análise que se encarrega de registrar as revisões realizadas, só que em uma notação específica que nos permite recuperar o momento em que ocorreram no texto. Ela é apresentada em formato linear onde são indicados a localização de todos os inserts e deletes feitos pelo escritor durante a produção textual. A notação dessa análise utiliza o símbolo | para marcar o momento de quebra na produção linear do texto; os colchetes [ ] para sinalizar apagamentos e as chaves { } para indicar as inserções de material. Além disso, há o uso de numerações para determinar a ordem em que quebras ocorreram (número subscrito) e para marcar de qual quebra foi originada tal inserção ou apagamento (número sobrescrito). Devido ao fato de que em alguns textos possa ser um tanto complexo recuperar precisamente a ordem dessas revisões, o acompanhamento do vídeo do módulo Play pode facilitar a leitura da análise S-Notation.

Figura 2 – Exemplo de um fragmento de texto na análise S-Notation


O Process Graph nos permite observar de maneira mais visual a relação entre o

processo e o produto da sessão de escrita. Através das marcações e curvaturas do gráfico podemos ver se ocorreram muitas alterações ou não ao longo daquele texto, se o processo se distancia ou se aproxima do produto em termos de quantidade de caracteres, por exemplo. Além disso, verifica-se os momentos de concentrações das diferentes durações de pausas (dentro do limiar que o pesquisador definiu).

De acordo com Leijten & Van Waes [7], esses dados fornecidos pelo Inputlog podem ser usados no estudo de processos cognitivos envolvidos na produção escrita de modo geral, como também, por exemplo, na análise dos procedimentos realizados na composição de seus textos por escritores novatos e escritores com alto grau de experiência em escrita. Nesta pesquisa, procuramos justamente investigar as diferenças existentes entre a produção escrita desses dois tipos de grupos de escritores. Na próxima seção, explicaremos os procedimentos metodológicos utilizados em nosso estudo conduzido no NOAP - Núcleo de Orientação e Atendimento Psicopedagógico da PUC-Rio, que teve como participantes alunos universitários com e sem dificuldade de escrita. Tarefa e Procedimento Elaboramos a nossa primeira proposta de redação a ser aplicada para os dois grupos. Os participantes da pesquisa deveriam produzir um texto dissertativo-argumentativo, com título e em torno de 20 linhas, apresentando seus posicionamentos pessoais sobre o tema “dinheiro e felicidade”. A proposta trazia o seguinte texto: “Sabemos que o dinheiro pode comprar conforto, melhores condições de vida, lazer. Desta forma, para muitas pessoas, ter dinheiro significa ser feliz e, por isso, a busca pelo bem monetário se torna algo muito frequente, não só pela população menos favorecida, como também pela classe mais privilegiada. Um estudo recente da Escola de Negócios de Harvard, nos Estados Unidos, do qual participaram 4 mil milionários de vários países, mostrou, contudo, que não existe uma quantia exata de dinheiro para que a pessoa se sinta feliz. Nessa pesquisa, um quarto dos milionários entrevistados afirmou que, para ser feliz, precisaria que sua riqueza aumentasse em 1.000%. Foi verificado também que os indivíduos que se tornaram milionários em função de terem recebido herança ou por terem casado com uma pessoa com posses sentiam-se menos felizes que os que construíram seus patrimônios a partir do trabalho. Esses dados nos fazem pensar: dinheiro e felicidade são, de fato, “sinônimos”? O que representa a felicidade no mundo atual? ”

Na produção desta redação, contamos com a participação de 14 alunos com

dificuldades em leitura e escrita (alunos atendidos pelo NOAP) e 9 monitores do núcleo (os que dão atendimento a esses alunos); estes últimos - alunos com nível mais elevado de expertise em escrita - atuaram como o nosso grupo controle.

Toda tarefa deveria ser feita individualmente. Os participantes receberam a proposta em uma folha separada para fazerem a leitura do texto. Terminada a parte de compreensão, inicializava-se o Inputlog para a produção escrita no editor de texto Word do programa. Os participantes tinham o tempo total de uma hora para realização da tarefa e em termos de duração da tarefa tivemos uma média de 38 minutos para os alunos e 35 para os monitores.

Ao finalizarem os textos, esses eram salvos no computador. O próximo passo foi gerar, para o texto de cada participante, as análises automáticas do Inputlog. Nesta primeira fase da pesquisa, geramos quatro análises: Summary Analysis, General Analysis, Pause


Analysis e Revision Matrix. A partir das análises, iniciaram-se a tabulação dos dados e o tratamento estatístico dos resultados preliminares com vistas à comparação do desempenho em escrita dos alunos do grupo experimental e do grupo controle. Até o presente momento foi realizada a estatística descritiva. Resultados preliminares - Tabulação de dados e Estatística 1 - Active Writing Time (s) vs. Total Pause Time (s) Limiar de pausa estabelecida: maior ou igual a 2000ms

A análise da relação entre o tempo ativo de escrita (Active Writing Time) e o tempo total de pausa (Total Pause Time), que somados remetem ao tempo total do processo, gerou os dados apresentados a seguir. A análise foi realizada separadamente em ambos os grupos, aferindo valores de média, máximo - mínimo e desvio padrão dos participantes referente aos três dados temporais (Tabelas 1 e 2). Posteriormente, essas médias dos grupos foram calculadas em porcentagem e comparadas (Gráfico 1). Tabela 1: Alunos em atendimento no NOAP (N=14)

Total Process Time (s)

Total Pause Time (s)

Active Writing Time/Total

Writing Time (s) Média 2303,33 1116,42 1186,91

Máx-Min 4862,33 - 1250,56 3101,53 - 469,58 2362,95 - 606,18

DesvPad 985,37 656,69 487,06 Tabela 2: Monitores do NOAP (N=9)

Total Process Time (s)

Total Pause Time (s)

Active Writing Time/Total

Writing Time (s) Média 2134,61 951,00 1183,61 Máx-Min 3421,19 - 864,69 1944,86 - 276,12 2040,31 - 422,67 DesvPad 936,75 512,14 550,26


Gráfico 1: Comparação em porcentagem da distribuição entre tempo ativo de escrita e tempo total de pausa nos grupos 2 - Relação Processo/Produto - Número de Caracteres

A relação processo-produto no que se refere à quantidade de caracteres utilizada pelos participantes também foi analisada conforme é apresentado abaixo. Com base no número total de caracteres do processo e o total de caracteres do produto final, pudemos calcular a quantidade de caracteres que foram descartados durante a produção escrita. Além disso, dados sobre as médias, máximo - mínimo e desvio padrão foram calculados para o grupo de alunos e o de monitores (Tabelas 3 e 4). Os valores das médias dos caracteres descartados foram convertidos em porcentagem para serem comparados, pois representam a revisão textual realizada pelos participantes (Gráfico 2). Tabela 3: Alunos em atendimento no NOAP (N=14)

Qnt. de Caracteres no

Processo


Produto

Qnt. de Caracteres

Descartados Média 2364,36 1774,5 589,86 Máx-Min 4195 - 1580 2543 - 1131 1909 - 211 DesvPad 744,13 390,84 475,16 Tabela 4: Monitores do NOAP (N=9)


Processo


Produto

Qnt. de Caracteres

Descartados Média 3123,78 2157,00 966,77 Máx-Min 4160 - 1950 3130 - 1268 2139 - 143 DesvPad 805,87 563,95 663,48


Gráfico 2: Comparação do percentual de revisão textual realizada por ambos os grupos 3 - Processo de Revisão - A quantidade de ocorrências de Normal Production, Delete e Insert

Aqui encontramos a análise de como se caracterizou o processo de revisão textual entre os alunos e os monitores. A partir do número total de eventos de revisão (All), foi sinalizada a distribuição entre os tipos desses eventos - digitação contínua de texto (normal production), inserções (insert) e apagamentos (delete) - nos dois grupos. Novamente, valores de média, máximo - mínimo e desvio padrão foram aferidos (Tabelas 5 e 6). Por fim, as médias dos participantes sobre as ocorrências de normal production, insert e delete foram transformadas em porcentagem e comparadas (Gráfico 3).

Tabela 5: Alunos em atendimento no NOAP (N=14)

All Normal

production Delete Insert Média 225,29 60,00 103,79 61,50 Máx-Min 667 - 60 123 - 10 27 - 306 263 - 3 DesvPad 161,89 33,04 74,72 81,03 Tabela 6: Monitores do NOAP (N=9)

All Normal

production Delete Insert Média 312,00 58,11 145,67 108,22 Máx-Min 625 - 80 122 - 13 299 - 38 204 - 3 DesvPad 195,50 37,87 92,10 92,24


Gráfico 3: Comparação do percentual de ocorrência dos tipos de revisão feitos pelos grupos 4 - Processo de Revisão - A média de Revision Bursts: Tempo (s) e Caracteres

Nesta análise, foram calculadas as médias dos dados de Revision Bursts, isto é, de sequências de escrita sem interrupções, para ambos os grupos. Calculamos as médias dos participantes referentes ao número de sequências realizadas (number of R-bursts) e também os valores de média de revision burst por tempo (em segundos) e por número de caracteres (Tabela 7). Posteriormente, as médias de R-burst por tempo (Gráfico 4) e por número de caracteres (Gráfico 5) de alunos e monitores foram comparadas.

Tabela 7: Comparação dos dados de médias de R-burst nos dois grupos

Number Of R-

Bursts Mean R-Burst

Time (s) Mean R-Burst

Chars

Alunos 60 15.850 27.420 Monitores 58,11 12.827 36.386


Gráfico 4: Comparação da média de R-burst por tempo (s) entre alunos e monitores

Gráfico 5: Comparação da média de R-burst por número de caracteres entre alunos e monitores

Discussão dos resultados preliminares

Os resultados preliminares sugerem que a diferença central entre alunos e monitores está no processo de revisão textual.

Na análise 1, a partir do tempo total do processo de escritura de cada participante, vemos quanto desse tempo foi utilizado ativamente e quanto foi o tempo total referente às pausas. Com base na média dos dois grupos, percebemos que a distribuição entre tempo ativo de escrita e tempo de pausas (com limiar de 2000ms) foi similar.


Por outro lado, a análise 2 nos mostra que o percentual de revisão é maior entre os monitores, o que é congruente com a literatura da área. Nesta análise, vemos que na diferença entre números de caracteres do processo e do produto, os monitores apresentam maior quantidade de caracteres descartados, ou seja, realizam maior quantidade de alterações no texto.

Em termos dos tipos de revisão realizados, os dois grupos parecem diferir mais consideravelmente em quantidade de insert e normal production. Na análise 3, percebemos que há maior percentual de insert nos monitores em comparação aos alunos, isto é, há mais quebras na normal production dos monitores para a inserção de material linguístico. As inserções apresentam maior custo cognitivo do que os apagamentos, visto que envolvem reelaboração de conteúdo e/ou forma.

Os dados relativos a R-Burst presentes na análise 4 sugerem que os monitores são mais eficientes no processo de formulação linguística: os monitores apresentam tempo médio de escrita sem interrupção menor do que os alunos e médias mais altas de caracteres por Revision Burst. Uma possível explicação é que os monitores realizam maior planejamento prévio antes de iniciar uma sequência de escrita.

Considerações finais Com o início desse estudo, já obtivemos algumas evidências a favor da nossa hipótese de que os escritores com maior grau de expertise em escrita (como os monitores) tendem a se dedicar mais aos processos de monitoramento e revisão textual. Todavia, ainda há outros aspectos a serem investigados no decorrer deste projeto de pesquisa.

Há a necessidade, por exemplo, de realizar uma análise fina do fluxo de escrita e do processo de revisão a partir dos outputs das análises S-Notation, Revision-Matrix e Linear Analysis. Com base nessas análises, desejamos mapear os momentos em que ocorrem as revisões para saber se as modificações são imediatas ou realizadas a posteriori; queremos identificar quais são as unidades linguísticas afetadas pelos tipos de revisão e quando ocorrem as pausas mais longas (antes de quais unidades linguísticas?) - que indicam maior esforço cognitivo.

Esse detalhamento nos permitirá fazer a caracterização dos diferentes perfis de escrita desses escritores, trazendo à luz suas dificuldades em produção textual. A partir desse diagnóstico inicial, serão elaboradas propostas de intervenção que visem a melhoria das habilidades redacionais dos alunos.

Por fim, deseja-se fazer a avaliação das habilidades de escrita dos alunos via Inputlog após o trabalho de intervenção realizado ao longo de um semestre. Referências 1 - RODRIGUES, E. dos S. Aspectos cognitivos e metacognitivos da leitura e da escrita sob o olhar da Psicolinguística. (2015- em desenvolvimento). 2 - HAYES, J. R.; FLOWER, L. S. Identifying the organization of writing processes. In: GREGG, L.; STEINBERG, E. R. (Eds). Cognitive processes in writing. Hillsdale, NJ: Lawrence Erlbaum, 1980, p. 3-30. 3 - FLOWER, L. S.; HAYES, J. R. A Cognitive Process Theory of Writing. College Composition and Communication, v.32, n. 4, p. 365-387, 1981.


4 - MATSUHASHI, A.; COOPER, C. A video time monitoring observational study: The transcribing behavior and composing processes of a competent high school writer. Paper presented at the meeting of the American educational research association, Toronto, Ontario, Canada, 1978. 5 - MATSUHASHI, A. Pausing and planning: the tempo of written discourse production. Research in the Teaching of English, v. 15, n. 2, 1981, p. 113-134. 6 - VAN WAES, L.; LEIJTEN, M.; VAN WEIJEN, D. Keystroke logging in writing research: Observing writing processes with Inputlog. GFL-German as a foreign language, v. 2, n. 3, p. 41-64, 2009. 7 - LEIJTEN, M.; VAN WAES, L. Keystroke Logging in Writing Research: Using Inputlog to Analyze and Visualize Writing Processes. Written Communication, v. 30, n. 3, p. 358– 392, 2013.

O EMPREGO DE PROGRAMAS DE KEYSTROKE LOGGING NA ...€¦ · departamento de letras o emprego de...

Documents

Transcript of O EMPREGO DE PROGRAMAS DE KEYSTROKE LOGGING NA ...€¦ · departamento de letras o emprego de...