Análise Das Mensagens de Fóruns MineraForum

Anlise das mensagens de fruns de discusso atravs de um software para minerao de textos

Breno Fabrcio Terra Azevedo1, Patricia Alejandra Behar2, Eliseo Berni Reategui2 1Instituto Federal de Educao, Cincia e Tecnologia Fluminense - Rua Dr. Siqueira, 273 - Parque Dom Bosco - CEP 28030-130 - Campos dos Goytacazes - RJ - Brasil

2Universidade Federal do Rio Grande do Sul - Av. Paulo Gama, 110 - prdio 12105 - 3 andar sala 332 - CEP 90040-060 - Porto Alegre - RS - Brasil

[email protected], [email protected], [email protected]

Abstract. This paper presents the results of a qualitative analysis of textual contributions recorded by students in discussion forums. The study was performed with the software MineraFrum. It applies text mining techniques using graphs to identify which students wrote relevant messages, and which students did not. Thus, it is possible to have subsidies to assess which students need more help, and motivate them to discuss the important concepts related to the topic under discussion. Resumo. Este artigo apresenta os resultados de uma anlise qualitativa das contribuies textuais registradas por alunos em fruns de discusso. O estudo foi efetuado com o software MineraFrum. O referido programa aplica tcnicas de minerao de textos utilizando grafos para identificar quais alunos redigiram mensagens relevantes e quais no o fizeram. Desta forma, possvel ter subsdios para avaliar os discentes que necessitam de maior auxlio e motiv-los para discutir os conceitos importantes que fazem parte do tema em debate.

1. Introduo O envolvimento em fruns de discusso uma atividade importante para os alunos. Atravs da anlise da interao dos discentes nos fruns, o professor pode diagnosticar informaes sobre os estudantes. No entanto, se o docente possuir uma grande quantidade de alunos, o tempo necessrio para que ele consiga analisar as discusses ser grande. Um recurso que permita fazer, de forma automatizada e rpida, uma anlise das mensagens postadas em um frum de discusso, pode auxiliar o professor. Isto possibilitar que o docente identifique os alunos que esto (e aqueles que no esto) discutindo os conceitos do tema em debate. Desta forma, o docente poder dedicar um tempo maior para descobrir o motivo pelo qual alguns discentes no discutiram os conceitos referentes ao tema. Caso o professor identifique alunos com dificuldade para compreender os conceitos importantes, ele poder oferecer ajuda. De acordo com Palloff e Pratt (2004), o papel do professor nos fruns de discusso muito importante. Alm de escrever mensagens de apoio e motivao para os alunos, responder s perguntas, ele deve observar o nvel de participao de cada discente. Caso seja detectado que um aluno no est participando ou est desviando do tema da discusso, o docente deve tentar ajud-lo a suplantar as dificuldades e a

ISSN: 2176-4301

Anais do XXII SBIE - XVII WIE Aracaju, 21 a 25 de novembro de 2011

20

solucionar os problemas. Para auxiliar na anlise qualitativa dos textos produzidos pelos alunos em um frum de discusso, este artigo apresenta um estudo realizado com o software MineraFrum. O MineraFrum utiliza tcnicas de minerao de textos para analisar as mensagens de fruns de discusso. A partir desta anlise, possvel identificar se as contribuies textuais produzidas pelos discentes so relevantes (ou no) para o debate. Na prxima seo ser apresentada uma breve introduo sobre minerao de textos. A seo 3 relata alguns trabalhos que empregam esta tcnica na anlise de fruns de discusso. A seo 4 explica o MineraFrum. A seo 5 descreve as experincias realizadas. A seo 6 relata as consideraes finais do artigo.

2. Minerao de textos De acordo com Tan (1999), a minerao de textos trata do processo de extrair padres interessantes e no-triviais de conhecimento a partir de textos. Segundo Feldman e Sanger (2007), a minerao de textos pode ser definida como um processo intensivo de conhecimento no qual um usurio interage com uma grande quantidade de documentos utilizando ferramentas para anlise dos mesmos. O objetivo extrair informaes teis a partir de colees de documentos. Estas informaes so identificadas em padres interessantes nos dados textuais no estruturados. Na minerao de textos, uma tcnica bastante comum utilizada para representar um documento identificar as caractersticas do mesmo atravs de um modelo de espao vetorial. Nesta tcnica, cada termo do documento torna-se uma caracterstica dimensional. O valor de cada dimenso pode indicar o nmero de vezes que o termo aparece no texto, ou pode indicar o peso do termo a ser considerado, como por exemplo, a quantidade de documentos nos quais o termo aparece. No entanto, essa tcnica descarta informaes importantes, como por exemplo, a ordem nos quais os termos aparecem, onde os mesmos aparecem, e a proximidade entre eles [Schenker 2003]. A tcnica de minerao de textos utilizando grafos descobre as palavras com maior ocorrncia no texto, e identifica se elas esto prximas. O grafo obtido a partir da minerao apresenta em seus ns as palavras que mais ocorreram. As associaes entre os ns do grafo indicam a proximidade entre as palavras. A figura 1 apresenta o grafo gerado a partir do texto Existem diversas tcnicas de minerao de textos.

Figura 1. Grafo gerado a partir de um texto.


21

3. Anlise de fruns de discusso com minerao de textos Dringus e Ellis (2005) conduziram um estudo para avaliar a utilizao de minerao de dados e de textos para analisar fruns de discusso. No artigo, os autores discutem os problemas que contribuem para dificultar a avaliao destes ambientes. Eles sugerem indicadores de participao que o professor pode extrair das discusses e utilizar para avaliar o progresso e o desempenho dos alunos. Os autores recomendam que a minerao de dados seja utilizada para descobrir a distribuio e frequncia das contribuies do participante ao longo do tempo de durao do frum. Ela pode ser empregada tambm para identificar iniciativas ou respostas, e descobrir quanto tempo aps a postagem inicial, a resposta foi emitida. A pesquisa indica que a minerao de textos seja utilizada para avaliar se uma contribuio est relacionada ao tpico do frum, e se os alunos compartilham recursos, como referncias da Web ou citaes da literatura. De acordo com o estudo, as tcnicas de minerao de textos e dados podem ser parte da soluo para auxiliar o professor a analisar fruns de discusso e obter feedback dos alunos. Kim et al. (2007) apresentaram em seu artigo um agente inteligente, que foi implementado dentro de um frum de discusso, para fornecer automaticamente respostas s perguntas dos alunos. O trabalho apresenta como os tpicos de discusso foram modelados utilizando atos de discurso. Cada postagem foi classificada de acordo com categorias de atos de discurso, como: pergunta, resposta, elaborao e correo. Os autores desenvolveram um conjunto de padres para analisar as interaes dos discentes nas discusses. Alguns destes padres foram utilizados para descobrir mensagens onde os alunos poderiam ter perguntas no respondidas. O agente inteligente utiliza tcnicas de minerao de texto para extrair palavras e suas freqncias da pergunta do aluno, dos documentos do curso, e das discusses anteriores. A medida de similaridade cosseno1 utilizada para descobrir quais destes documentos e/ou discusses passadas possuem semelhana com o texto envolvido na pergunta do aluno. Li e Huang (2008) apresentaram uma pesquisa para fornecer um retrato mais completo das interaes entre os sujeitos, na aprendizagem colaborativa suportada por computador. Os autores propem um modelo de anlise multidimensional para investigar as interaes, baseado em tcnicas de anlise de contedo, minerao de texto, e anlise de redes sociais. A anlise de contedo empregada para pesquisar como os alunos interagem, descobrindo os possveis padres de processo (a inteno do discurso) dentro da conversao. A minerao de texto utilizada para descobrir os tpicos que apareceram nos debates. As mensagens de um conjunto de discusses so agrupadas em um documento, que representado por um vetor de termos ponderados. O mtodo do cosseno utilizado para calcular a similaridade entre o vetor do documento e o vetor do tema, definido pelo professor. O estudo tambm descreve o projeto e implementao de uma ferramenta para anlise inteligente de contedo, denominada VINCA (Visual Intelligent Content Analyzer). Foi realizado um experimento com a ferramenta para analisar um conjunto de discusses, com a finalidade de desvendar a interao dos alunos em termos de padro de processo, espao de tpicos, e rede social. Outra pesquisa para analisar fruns de discusso apresentada por Lin et al. (2009). O trabalho utiliza minerao de textos e prope um sistema de classificao dos 1 A medida de similaridade cosseno um mtodo para calcular a distncia entre dois vetores que

representam documentos [Feldman e Sanger 2007].


22

gneros das contribuies textuais, como: anncio, pergunta, explicao, interpretao, conflito, afirmao, entre outros. Este sistema pode ser utilizado para facilitar o processo de codificao da anlise do contedo de um frum. Foram coletados dados de um frum de discusso do Moodle para realizar os experimentos. A maior questo de pesquisa no estudo foi validar a coerncia dos resultados codificados por um sistema automtico de classificao de gneros e a anlise realizada por juzes humanos. O artigo conclui que o modelo em cascata, embutido no sistema desenvolvido, pode facilitar o processo de codificao da anlise de contedo de fruns.

4. MineraFrum O MineraFrum um software que realiza a anlise qualitativa das mensagens redigidas em fruns de discusso. Este foi desenvolvido no NUTED2-PGIE/UFRGS. Ele capaz de calcular a relevncia de cada postagem dentro do debate. Para analisar o contedo das contribuies textuais, o programa emprega a tcnica de minerao de textos utilizando grafos. Devido aos resultados promissores apresentados no trabalho de Azevedo et al. (2010), verificou-se que a minerao utilizando grafos uma opo vivel para a anlise das mensagens de fruns de discusso. Considerando-se o grafo gerado a partir de uma mensagem, pode-se avaliar se ela refere-se ao contexto, e avaliar a relevncia temtica da mesma. Ao analisar uma mensagem, quanto mais palavras relativas ao tema forem citadas, e quanto mais prximas elas estiverem umas das outras, maior ser a relevncia temtica. Desta forma, esta tcnica utilizada pelo MineraFrum. Alguns recursos oferecidos pelo MineraFrum so relacionados abaixo:

Permite que o usurio informe um texto de referncia sobre o tema em debate.

Caso o usurio deseje, ao invs de informar um texto de referncia, possvel digitar os conceitos que so relevantes ao tpico da discusso e realizar associaes entre eles.

Utiliza um dicionrio de sinnimos no processo de minerao. Este dicionrio foi previamente definido dentro do software. No entanto, caso o usurio necessite, outro dicionrio pode ser informado. Os sinnimos so importantes quando o MineraFrum compara as palavras digitadas nas mensagens com os conceitos relevantes identificados no texto de referncia.

Alm do dicionrio de sinnimos, o usurio pode informar palavras que possuam equivalncia semntica.

Calcula a relevncia de cada postagem. Exibe um grfico com a mdia dos valores de relevncia das mensagens

postadas por cada autor. Identifica se existem mensagens similares redigidas no frum de discusso. Possibilita que os resultados do processo de minerao sejam armazenados

em arquivo (no formato html). 2 Ncleo de Tecnologia Digital aplicada Educao / Ps-graduao em Informtica na Educao


23

Exibe um relatrio com informaes sobre a anlise das postagens: o total de mensagens redigidas por cada aluno, a quantidade de contribuies relevantes feitas por cada discente, os conceitos que foram utilizados nas postagens relevantes, a relevncia de cada mensagem, se a mensagem similar (ou no) a alguma outra do frum, a mdia das relevncias das mensagens de cada aluno, a quantidade de vezes que cada mensagem foi citada dentro do debate.

A figura 2 exibe a interface do MineraFrum aps o usurio selecionar o boto Minerar frum. As informaes sobre a minerao das postagens so apresentadas. Nesta tela, o usurio tambm pode escolher outras funcionalidades.

Figura 2. Interface do MineraFrum com a aba Minerar frum selecionada.

No processo de anlise das mensagens postadas, o MineraFrum organiza e agrupa as mensagens de cada aluno. O software calcula o valor da relevncia de cada mensagem. Para realizar este procedimento, trs critrios so considerados: a relevncia temtica da mensagem (RT), a relevncia de citaes da mensagem (RM), e a similaridade da mensagem (SM). Para calcular a relevncia temtica das mensagens (RT), o MineraFrum executa as seguintes aes:

a) Constri um grafo a partir do texto de referncia sobre o tema do debate, indicado pelo usurio. Neste processo, as stopwords (palavras que podem ser descartadas no processo de minerao, como: advrbios, artigos, preposies, entre outras) so eliminadas e as palavras com maior ocorrncia dentro do texto so identificadas. As palavras com maior incidncia representam os conceitos mais relevantes do texto minerado e correspondem


24

aos vrtices do grafo. As arestas entre os vrtices so criadas de acordo com a proximidade entre as palavras dentro do texto. Caso o usurio decida por digitar os conceitos importantes relacionados ao tpico da discusso, ao invs de indicar o texto de referncia, o MineraFrum constri o grafo a partir destes conceitos.

b) Criao de um grafo a partir de cada mensagem redigida no frum. c) Para calcular a relevncia temtica de uma mensagem, o MineraFrum deve

analisar a correspondncia entre o grafo gerado a partir do texto de referncia e o grafo construdo a partir da mensagem. Na primeira etapa desta anlise so identificados quais vrtices do primeiro grafo so equivalentes a outros no segundo grafo. No contexto desta pesquisa, dois vrtices so equivalentes se eles possuem contedo semelhante, isto , se possuem as mesmas palavras, ou se as palavras podem ser reduzidas ao mesmo radical, ou se possuem sinnimos, ou se possuem palavras com equivalncia semntica. Na segunda etapa da anlise, utilizada uma frmula que considera trs aspectos dos vrtices equivalentes: a quantidade destes vrtices nos dois grafos, a distncia entre eles dentro do seu respectivo grafo e o peso deles no seu grafo. O valor deste resultado corresponde relevncia temtica da mensagem (RT).

Para calcular o valor de RM de uma mensagem, o software divide a quantidade de citaes da mensagem pelo total de postagens no frum. Para identificar se uma mensagem similar a alguma outra do frum (SM), o MineraFrum analisa a correspondncia entre os grafos de todas as mensagens. Caso a mensagem seja semelhante a outra do frum, o valor de SM ser igual a RT, com sinal negativo. O valor da relevncia de uma mensagem (RF) ser obtido com a mdia ponderada entre RT e RM. Caso a mensagem seja similar a outra do frum, o valor de SM ser subtrado de RF. Se a contribuio textual no for semelhante a outra do frum, ento o valor calculado para RF ser mantido. O valor final de RF convertido em um valor inteiro, em uma escala de 0 (zero) a 5 (cinco). O valor zero significa que a mensagem no possui relevncia dentro do debate. O valor cinco indica que a postagem possui relevncia mxima. O MineraFrum segue as sugestes indicadas no estudo de Dringus e Ellis (2005), pois utiliza minerao de textos para avaliar se uma mensagem est relacionada ao tema em debate, e auxilia o professor a obter informaes sobre os discentes. A tabela 1 apresenta uma comparao entre o MineraFrum e os trabalhos correlatos apresentados na seo 3.

Tabela 1. Comparao entre o MineraFrum e trabalhos correlatos.

Autores Semelhanas entre o

MineraFrum e trabalhos correlatos

Diferenas entre o MineraFrum e trabalhos

correlatos

Kim et al. (2007) Agente inteligente que analisa o contedo de mensagens de fruns.

As tcnicas de minerao de textos utilizadas so distintas do MineraFrum. O objetivo do agente


25

responder automaticamente as perguntas dos alunos, e o intuito do MineraFrum apresentar indicadores para auxiliar o docente na anlise de fruns.

Li e Huang (2008)

Ferramenta que utiliza tcnicas de minerao de textos para analisar a relevncia das mensagens em relao ao tema em debate.

O trabalho representa os textos com o modelo de espao vetorial e realiza a comparao dos mesmos com a medida de similaridade cosseno. A ferramenta desenvolvida no est integrada a um AVA.

Lin et al. (2009)

Sistema de classificao de gneros para investigar o contedo das mensagens de fruns. A ferramenta auxilia o professor.

As tcnicas utilizadas para analisar o contedo das mensagens e os resultados fornecidos so distintos do MineraFrum. No h integrao com AVA.

O MineraFrum um recurso que pode ser utilizado pelo docente dentro do Ambiente Virtual de Aprendizagem (AVA). Ele est integrado ao ROODA3 [Behar 2007], ETC4 [Macedo et al. 2010] e MOODLE5. O docente poder escolher os fruns de discusso para que as mensagens sejam mineradas. A figura 3 apresenta a interface do ETC, na qual o professor pode selecionar o boto do MineraFrum.

Figura 3. Interface do ETC com o boto do MineraFrum. 3 O ROODA uma das plataformas de Educao a Distncia utilizada pela UFRGS. O ROODA est

disponvel em https://www.ead.ufrgs.br/rooda/ 4 O ETC um editor de texto coletivo desenvolvido pelo NUTED, utilizado na UFRGS e tambm em

cursos de extenso, disponvel em http://www.nuted.ufrgs.br/etc2/ 5 O MOODLE, com o MineraFrum integrado, est disponvel em http://www.nie.iff.edu.br/moodle/


26

5. Experincias realizadas Para validar os resultados do MineraFrum, foram realizados dez experimentos. Nas experincias, cinco professores analisaram 403 mensagens de dez fruns de discusso. Os temas dos fruns foram distintos, bem como, o nvel de ensino e a modalidade dos cursos dos alunos. Cabe ressaltar que os fruns foram realizados nos Ambientes Virtuais de Aprendizagem ROODA, ETC e MOODLE. O objetivo das experincias foi comparar a mdia das relevncias das mensagens, calculada pelo MineraFrum, com a mdia das avaliaes das postagens feitas pelos professores. importante relembrar que o MineraFrum calcula um valor de relevncia entre zero e cinco, para cada contribuio textual. Desta forma, nos experimentos realizados, foi solicitado aos docentes para que na avaliao de cada mensagem fosse atribudo um valor entre zero e cinco. Na avaliao das mensagens participaram dois professores que possuem Doutorado e trs com Mestrado. Dois docentes possuem grande experincia em EAD, e trs possuem pouca. A tabela 2 descreve as caractersticas dos fruns analisados: o AVA no qual o frum foi realizado, o tema, o curso, o nvel de ensino e a modalidade de cada curso. A tabela 3 apresenta a tabulao dos valores obtidos com as anlises feitas pelo MineraFrum e pelos docentes. As informaes so: o professor que avaliou as mensagens, a quantidade de alunos que participou de cada frum, a quantidade de postagens, a mdia das anlises do software, a mdia das avaliaes do docente, o grau de similaridade entre as mdias, a mdia da diferena entre as anlises, o desvio padro de cada anlise. A tabela 3 apresenta o grau de similaridade entre a mdia da anlise do MineraFrum e a do professor. Este dado revela que a mdia das anlises das mensagens calculada pelo software semelhante mdia das avaliaes feitas pelos docentes. O frum nove apresentou o menor valor para este dado, 70,30%. No frum sete, obteve-se o maior valor, 96,43%.

Tabela 2. Caractersticas dos fruns analisados.

Frum AVA Tema do frum Curso Nvel de ensino Modalidade

1 Rooda Mapas conceituais Informtica na Educao Doutorado Presencial 2 Rooda Aprender com os outros Pedagogia Graduao EAD

3 Rooda Aprender como transformao

Pedagogia (grupo 1) Graduao EAD

4 Rooda Aprender como transformao Pedagogia (grupo 2) Graduao EAD

5 ETC Trabalho em equipe Extenso Extenso Presencial

6 ETC Desenvolvimento de

competncias Extenso Extenso Presencial

7 Moodle Derivadas - Origens

Histricas Sistemas de Informao Graduao Presencial 8 Moodle Certificao Digital Sistemas de Informao Graduao Presencial

9 Moodle Educao a distncia Tcnico em Segurana do

Trabalho Ensino Mdio EAD

10 Moodle EAD e educao aberta Tcnico em Segurana do

Trabalho Ensino Mdio EAD


27

Tabela 3. Resultados das anlises dos fruns.

Frum 1 2 3 4 5 6 7 8 9 10 Professor A A A A B B C D E E Quantidade de alunos 10 28 28 31 18 11 20 12 23 24

Quantidade de mensagens 16 67 48 73 76 42 22 12 23 24

Mdia da anlise do MineraFrum

3,19 3,00 2,92 2,88 3,00 3,21 3,68 3,42 3,09 2,88

Mdia da anlise do professor

3,63 2,25 2,79 2,32 3,61 3,90 3,82 2,67 4,39 4,08

Grau de similaridade entre a mdia da anlise do MineraFrum e a do professor

87,93%

75,12%

95,71%

80,48%

83,21%

82,32%

96,43%

78,05%

70,30%

70,41%

Mdia da diferena entre as anlises

1,06 1,37 1,04 1,33 1,29 1,50 1,23 1,25 1,83 1,38

Desvio padro da anlise do MineraFrum

1,11 1,36 1,11 1,19 1,63 1,39 0,72 0,67 0,95 0,34

Desvio padro da anlise do professor

1,41 1,11 0,80 1,22 1,59 1,32 1,10 1,44 0,78 1,06

Desvio padro da diferena entre as anlises

0,85 1,27 1,05 1,34 0,99 1,02 0,75 1,54 0,78 0,97

Destaca-se que fruns, com a mesma quantidade de alunos, podem ter valores distintos no grau de similaridade entre as mdias. Nos fruns 2 e 3 houve a participao de 28 alunos. No frum 2, o grau de similaridade foi 75,12% e no frum 3 foi 95,71%. importante citar que o software utiliza trs critrios para analisar as mensagens. A relevncia temtica da contribuio textual, a relevncia de citaes da mensagem e a similaridade da mensagem. Ao avaliar as postagens, cada professor utilizou seus prprios critrios pessoais. Cabe ressaltar que as mensagens trocadas entre os participantes do frum, que expressam apoio e motivao so muito importantes para promover a sensao de comunidade entre os sujeitos [Palloff e Pratt 2002]. Esta sensao fortalece o processo de aprendizagem. O MineraFrum somente considerar estas mensagens como relevantes se elas envolverem conceitos relacionados ao tema do debate.

6. Consideraes finais O MineraFrum um recurso para auxiliar o docente na anlise qualitativa das mensagens de fruns. O software permite executar, de forma automatizada, o referido processo. Cabe ressaltar que o papel do docente nos debates fundamental. A partir dos resultados apresentados na seo 5, pode-se dizer que o objetivo dos experimentos foi alcanado. Verificou-se que a mdia das anlises das mensagens,


28

calculada pelo MineraFrum, semelhante mdia das avaliaes dos professores. O MineraFrum capaz de apresentar ao professor uma viso sobre as contribuies escritas pelos discentes, organizando e agrupando as postagens de cada aluno. O software disponibiliza informaes que podem auxiliar o docente. Entende-se que, a partir das informaes apresentadas pelo MineraFrum, o professor poder direcionar seu apoio aos alunos que colocaram poucas contribuies relevantes no frum. O docente tambm poder motivar a interao entre os discentes que mais registraram textos relevantes com os que redigiram poucos.

Referncias Azevedo, B. F. T., Reategui, E. B., Behar, P. A. (2010) Qualitative Analysis of

Discussion Forums, In: IADIS International Conference on e-Learning, Freiburg, Alemanha, p. 251-258.

Behar, P. A., Bernardi, M., Souza, A. P. F. de Castro e Kellen, K. (2007) ROODA: desenvolvimento, implementao e validao de um AVA para UFRGS, In: XII Taller Internacional de Software Educativo, Santiago, Chile, LOM Ediciones S.A., v. 1, p. 321-338.

Dringus, L. P., Ellis, T. (2005) Using data mining as a strategy for assessing asynchronous discussion forums, Computers & Education, n. 45(1), p. 141-160.

Feldman, R. e Sanger, J. (2007), The Text Mining Handbook: Advanced Approaches in Analyzing Unstructured Data, Cambridge University Press.

Kim, J., et al. (2007) An Intelligent Discussion-Bot for Guiding Student Interactions in Threaded Discussions, In: Proceedings of the AAAI Spring Symposium on Interaction Challenges for Intelligent Assistants, Stanford University.

Li, Y. e Huang, R. (2008) Analyzing Peer Interactions in Computer-Supported Collaborative Learning: Model, Method and Tool, In: LNCS, n. 5169, p. 125-136.

Lin, F., Hsieh, L., Chuang, F. (2009) Discovering genres of online discussion threads via text mining, Computers & Education, n. 52(2), p. 481-495.

Macedo, A. L. et al. (2010) ETC: o que mudou e por qu?, Revista Novas Tecnologias na Educao, v. 8, p. 2-12.

Palloff, R. M. e Pratt, K. (2002), Construindo comunidades de aprendizagem no ciberespao, Porto Alegre, Artmed.

Palloff, R. M. e Pratt, K. (2004), O aluno virtual: um guia para trabalhar com estudantes on-line, Porto Alegre, Artmed.

Schenker, A. (2003), Graph-Theoretic Techniques for Web Content Mining, Tese de Doutorado, University of South Florida, Florida.

Tan, A. (1999) Text Mining: The State of the Art and the Challenges, In: Proceedings of the PAKDD99 Workshop on Knowledge Discovery from Advanced Databases, Beijing, p.71-76.


29

Análise Das Mensagens de Fóruns MineraForum

Documents

Transcript of Análise Das Mensagens de Fóruns MineraForum