1

A Usabilidade como Capacidade Inovativa em Ead: Um Estudo em uma

Instituio Particular de Ensino Superior

Autoria: Alandey Severo Leite da Silva, Alexandre Rablo Neto, Cristiane Buhamra Abreu, Jalva Lilia Rabelo de Sousa, Heber Jos de Moura, Raimundo Bezerra Lima Junior

Resumo

O presente artigo aborda a usabilidade na Educao a Distncia no Ensino Superior. O objetivo geral do estudo analisar a importncia da usabilidade como fator de satisfao em EaD. Utilizou-se o survey mediante a aplicao de questionrio como forma de coleta de dados. A metodologia adota uma abordagem quantitativa, por meio da aplicao de um questionrio obtendo 116 respondentes, acrescido de 50 respondentes do pr-teste. Conclui-se com o estudo, que a usabilidade em EaD est relacionada com a satisfao, com significncia estatstica em 69,7% a satisfao dos alunos.

2

Introduo

A tecnologia faz parte do cotidiano das pessoas, tornando-se inegvel a presena da mesma em todos os segmentos da sociedade. A educao no ficaria de fora desse mundo digital e procurou inovar com a Educao a Distncia (EaD), modalidade de ensino que encurta as distncias e oportuniza a todos aqueles que tem um mnimo de intimidade com a era digital, ingressar nessa modalidade de ensino. Nascimento et al (2013) destacam que, diferentemente de uma dcada atrs, hoje no possvel desconsiderar o impacto causado pela introduo do EaD e as transformaes que ainda sero produzidas nas tradicionais formas de concepo e prtica da educao e da comunicao. Uma evidncia do crescimento da EaD o nmero significativo da oferta de cursos nessa modalidade.

Segundo Gabriel (2013) o modelo educacional tradicional vigente no mais adequado para suprir as necessidades da sociedade moderna. A autora afirma que o sistema educacional atual foi idealizado e estruturado para uma poca diferente: a cultura intelectual do iluminismo e circunstncias econmicas da Revoluo Industrial, onde os discentes so orientados por sinos e sinais sonoros para marcar o tempo, instalaes separadas, disciplinas separadas. No entanto, a sociedade est numa era mais excitante e os jovens esto expostos a todo tipo de estmulo ficando, portanto, entediados com as aulas tradicionais.

Mudar os paradigmas da educao tradicional e caminhar na direo oposta um desafio que as Instituies de Ensino tm enfrentado e bravamente se lanado no universo virtual da Educao a Distncia.

O Ambiente de Educao a Distncia com suporte de Tecnologia de Informao Computacional (TICs) promete solues para trs desafios atualmente enfrentados pela educao superior: i)flexibilidade; ii) acesso; e, iii) custo. Pouca ateno tem sido dirigida a questes como satisfao, desenvolvimento, efetividade, interatividade individual e social, usabilidade e a importncia dessas para o aprendizado e influncia aos desafios supracitados (KIRKPATRICK & MCLAUGHLAN, 2001; SHARMA, 2011; WONG, 2012). Instigados por esse novo olhar sobre a educao, que os autores desse artigo buscam respostas para a pergunta: Qual o nvel de satisfao dos discentes em relao ao acesso as ferramentas da Educao a Distncia? O objetivo geral do estudo analisar a importncia da usabilidade como fator de satisfao em EaD , tendo como objetivos especficos: i) identificar o perfil do estudante em EaD; ii)verificar a usabilidade em uma instituio particular de ensino superior do Cear; e, iii) propor um indicador de satisfao e usabilidade em EaD.

O artigo est organizado da seguinte forma: A seo 1 apresenta uma breve introduo do estudo, problemtica, objetivos, dentre outros; a seo 2 apresenta os conceitos, cenrios e avanos da Educao a Distncia na Educao Superior, passando por uma reviso da literatura sobre o tema. Na seo 3, faz-se uma reflexo sobre a usabilidade na EaD, a seo 4 aborda o processo de aprendizagem do aluno na EaD fundamentado no framework proposto por Kirkpatrick. Em seguida, na seo 5, explica-se a Metodologia da Pesquisa utilizada no artigo. O estudo apresenta a anlise dos resultados e propostas de continuidade para a pesquisa em tela na seo Concluso e finalmente expem-se as Referncias contendo a literatura usada e algumas das pesquisas mais recentes relacionadas temtica. A contribuio que se pretende com o resultado desta pesquisa e o produto final do artigo traduzem-se na identificao do nvel de satisfao por parte dos discentes quanto ao aspecto de usabilidade na modalidade de EaD, como proposta para aprimoramento da ferramenta adota pela instituio de ensino superior (IES) que comps o estudo de caso.

3

2. Evoluo Histrica da Educao Distncia (EaD) e seu uso para o Ensino Superior no Brasil

A EaD foi reconhecida legalmente no Brasil na dcada de 1990, com a Lei de Diretrizes

e Bases da Educao (LDB) Lei n 9.394/96 do Ministrio da Educao (MEC). Nascimento et al (2013) afirmam que a partir deste perodo, a EaD passou a ser desenvolvida principalmente pela iniciativa privada se tornou a modalidade de ensino de maior crescimento no pas.

Mugnol (2009) ressalta que somente em 2005, por meio do Decreto n 5.622, de 19 de dezembro de 2005, complementado posteriormente, pelo Decreto n 6.303 de 12 de dezembro de 2007, foi que ocorreu o reconhecimento no sistema oficial de ensino dos cursos ofertados na modalidade por instituies credenciadas pelo MEC. O Decreto n 5.622 caracteriza a EaD como a modalidade educacional na qual a mediao didtico-pedaggica nos processos de ensino e aprendizagem ocorre com a utilizao de meios e tecnologias de informao e comunicao, com estudantes e professores desenvolvendo atividades educativas em lugares ou tempos diversos.

O autor destaca ainda que no incio do sculo XXI aumentaram os debates a respeito desta modalidade de ensino, mesmo que uma parte significativa da comunidade educacional continue considerando-a como uma modalidade diminuda de ensino e sem qualidade suficiente para ser equiparada educao presencial. No entanto, a EaD est mostrando-se cada vez mais eficiente, no apresentando nenhuma diferena significativa entre a formao de alunos da educao a distncia para os presenciais. A Educao a Distncia hoje uma realidade na educao no Brasil. Diferentemente de uma dcada atrs, Bohadana e Valle (2009) afirmam que hoje no possvel desconsiderar o impacto causado pela introduo da EaD e as transformaes que ainda sero produzidas nas tradicionais formas de concepo e prtica da educao e da comunicao. Um evidncia do crescimento da EaD o aumento significativo da oferta de cursos nesta modalidade.

As novas tecnologias a exemplo da Web 2.0 com blogs, wikis, redes sociais; hardwares Touch Screen; Tablet PC; dentre outros, alinhado a ferramentas e Ambientes Virtuais de Aprendizagem (AVAs) proprietrias ou de marcas registradas como BlackboardTM, MoodleTM, ElluminateTM , dentre outras, possibilitam uma maior interao no que tange ao uso da Educao a Distncia em instituies de ensino superior, mas ainda deixam muito a desejar em quesitos relacionados com satisfao, desenvolvimento, efetividade, interatividade individual e social e usabilidade (ENGLISH & DUNCAN-HOWELL, 2008; MCLOUGHLIN & LEE, 2008; KIRKPATRICK & MCLAUGHLAN, 2001; SHARMA, 2011; WONG, 2012).

Segundo Nascimento et al (2013), a busca por padres educacionais mais elevados e a crescente demanda pela formao e qualificao de jovens e adultos tm construdo um novo cenrio para o ensino, sendo que, o maior acesso a recursos tecnolgicos e a disseminao da internet tm representado os principais agentes neste processo de transformao.

Romero (2010) corrobora com esse pensamento quando afirma que na educao apoiada por tecnologias interativas, os contedos e ferramentas digitais e virtuais assumem papel de destaque e oferecem novas formas de trabalho e de aprendizagem.

Por uma questo de ordem, necessrio esclarecer o que significa a expresso Ambiente Virtual de Aprendizagem AVA e Usabilidade.

De acordo com Almeida (2004), Ambiente Virtual de Aprendizagem AVA refere-se a sistemas computacionais, destinados ao suporte de atividades mediadas pelas tecnologias de informao e comunicao. Permitem integrar mltiplas mdias e recursos, apresentam informaes de maneira organizada, proporcionam interaes entre pessoas e objetos de conhecimento, visando atingir determinados objetivos.

4

Quanto a Usabilidade, Dias (2007) afirma que apesar de ter razes na Cincia Cognitiva, o termo usabilidade comeou a ser usado no incio da dcada de 1980, principalmente nas reas de Psicologia e Ergonomia, como um substituto da expresso user-friendly(amigvel). Segundo a ISO 9241-11 (1998), usabilidade a capacidade que um produto tem de ser usado por usurios especficos para atingir objetivos especficos com eficcia, eficincia e satisfao em um contexto especfico de uso.

A usabilidade da ferramenta o que viabiliza o processo de aprendizagem do aluno do outro lado do computador. Seu empenho e interesse em estudar, compromisso em participar das atividades e dos fruns definidos pelo professor tutor so fundamentais, mas se toda essa postura for associada a um ambiente virtual de aprendizagem atrativo e interativo, certamente o professor tutor encontrar do outro lado um aluno participativo e interessado.

Pesquisas recentes evidenciam haver uma forte correlao entre a usabilidade e satisfao do usurio com a ferramenta tecnolgica usada na educao superior. O uso da ferramenta o que viabiliza o processo de aprendizagem do aluno do outro lado do computador. Seu empenho e interesse em estudar, compromisso em participar das atividades e dos fruns definidos pelo professor tutor so fundamentais, mas se toda essa postura for associada a um ambiente virtual de aprendizagem atrativo e interativo, certamente o professor tutor encontrar do outro lado um aluno participativo e interessado (CUKUSIC; GRANIC, 2011).

3. Usabilidade na EaD

H discusses frequentes sobre a influncia da Educao a Distncia no processo de

aprendizagem do aluno. Ser que o aluno aprende mais quando opta por uma disciplina e/ou um curso EaD tanto quanto ele aprenderia presencialmente? Esse um questionamento que remete a refletir se o desempenho do aluno tem relao direta com a escolha dele em relao modalidade de disciplina e/ou do curso.

Segundo Sanchez (2009), os levantamentos oficiais sobre a EaD fazem recortes que permitem avaliaes limitadas de questes como aproveitamento, evaso escolar, metodologias etc. No quesito graduao a distncia, por exemplo, esto disponveis dados apenas a partir do ano 2000.

Gabriel (2013) afirma que um dos desafios da educao na era digital conseguir que, em meio a tantos estmulos e mdias digitais, os estudantes se interessem por tpicos educacionais essenciais sua formao, no dispersem, aprofundem suas reflexes e adquiram pensamento crtico para soluo de problemas. Para isso necessrio conseguir engajar os jovens nesses tpicos. A autora ressalta ainda que engajar ainda mais complicado do conseguir ateno, uma vez que envolve algum tipo de ao por parte das pessoas depois que foram impactadas pela sua mensagem. Assim, enquanto ateno se refere a perceber, engajamento se refere a agir. A ateno e o engajamento das pessoas com relao a algo esto diretamente associados relevncia que esse algo tem para elas.

Para Preece et al (2005),a usabilidade considerada como o fator que assegura que os produtos sejam fceis de usar, eficientes e agradveis, da perspectiva do usurio. Assim sendo, Usabilidade implica em otimizar as interaes estabelecidas pelas pessoas com produtos interativos, possibilitando a realizao das suas atividades no trabalho, na escola ou em atividades de lazer, sendo dividida nas seguintes metas: a) eficincia: cumprir os objetivos para o qual foi criada; b) segurana: permitir o manuseio de forma segura para o usurio e para o prprio sistema; c) utilidade: ser til para o usurio e as atividades que ele pretende desempenhar; d) capacidade de aprendizagem: ser uma interface de fcil aprendizado para o usurio; e) capacidade de memorizao: ser fcil de lembrar como se usa.

5

De acordo com Preece et al. (2005), importante que exista um equilbrio entre as metas de usabilidade e as decorrentes da experincia do usurio. Tullis et al. (2008) afirmam que a experincia do usurio faz referncia a todos aspectos da interao entre um determinado sujeito e um produto, uma aplicao ou sistema. Desse modo as mtricas de usabilidade podem revelar algo sobre a experincia do usurio: aspectos relacionados eficcia (ser capaz de completar uma tarefa), a eficincia (a quantidade de esforo necessrio para concluir a tarefa), ou satisfao (o grau em que o usurio estava feliz com a sua experincia ao executar a tarefa). Conforme Tullis et al. (2008) possvel medir a experincia do usurio por meio de mtricas de usabilidade, por exemplo, nmero de cliques, tempo de resposta, tempo de realizao de tarefas, quantidade de erros dos usurios ao tentar fazer login no sistema. No entanto, existe diferena entre os termos usabilidade e a experincia do usurio ou user experience (UX).

Usabilidade, conforme a ISO 9241-11, a extenso na qual um produto pode ser utilizado, por usurios especficos, para alcanar finalidades especficas com eficcia, eficincia e satisfao, em uma situao de uso especfico. Em contra partida, a UX a habilidade do usurio em usar o produto ou sistema para realizar a tarefa com sucesso; envolve a interao entre o sujeito e o objeto (produto ou sistema), o pensamento, os sentimentos e as percepes que resultam das interaes.

A questo da acessibilidade, como um critrio de avaliao da usabilidade, implica em possibilitar o acesso s pessoas com deficincia. Portanto, fazer um produto usvel para pessoas com deficincia quase sempre beneficia tambm as pessoas sem deficincia (RUBIN; CHISNELL, 2008).

A usabilidade, afirma Gonalves (2008), pode ser considerada e trabalhada tanto nos produtos tridimensionais, tais como embalagens, roupas, mveis, meios de transporte, como nos produtos bidimensionais como manuais e guias, bulas de remdios e sistemas computacionais, ou seja, a usabilidade pode ser trabalhada onde houver interface com o homem.

A Figura 1 demonstra a abrangncia da usabilidade e a interseco existente entre as reas de usabilidade de produto e Interao Humano-Computador que, por sua vez, abrange o projeto de Interfaces. FIGURA 1 Abrangncia da Usabilidade em EaD.

FONTE: Santos (2000).

6

A usabilidade de Software pela ISO/IEC FCD 9126-1 pode ser definida como a capacidade do software ser compreendido, aprendido, usado e apreciado pelo usurio, quando usado nas condies especificadas. Assim, percebe-se que a usabilidade de software deve ser desenvolvida como uma estratgia aplicada EaD, com o objetivo de envolver cada vez mais o aluno na educao virtual, futuro to presente nos dias atuais.

Roger (2003) destaca que a maioria das novas ideias difundida tem sido analisada baseada em inovaes de TICs. A inovao possui uma significativa contribuio para o crescimento organizacional (BARTEL; GARUD, 2009). Sendo percebida como parte de um processo inovador, pois oportuniza a transformao de uma ideia em prtica ou que um objeto percebido como algo novo (ROGERS, 2003).

4. O Processo de Aprendizagem do Aluno de IES atravs do uso da Ead e pela anlise do framework Kirkpatricks

Alves (2000, p. 65) afirma o que temos so modelos e a inteligncia ligada diretamente capacidade de criar e operar modelos. Podemos simular e corrigir situaes, sem que as mesmas aconteam, com o uso de modelos (ALVES 2000, p.174). Em estudos recentes, percebe-se uma tendncia do desenvolvimento de framework que possua abrangencia conceitual para resolver um determinado problema que contribua, por exemplo, com a qualidade da aprendizagem no ambiente organizacional.

O framework desenvolvido por Kirkpatrick (1998) foi um dos pioneiros na elaborao da avaliao de treinamento sendo amplamente utilizado em ambientes organizacionais. A verso inicial do framework Kirkpatrick foi lanada em 1959 com quatro nveis de avaliao. Posteriormente um quinto nvel proposto por Hamblin (1978) formou o conjunto para anlise: de reaes, de aprendizado, de comportamento, de instituio/organizao e de valor.

Em sntese, o framework incli: O nvel 1, relativo ao nvel de satisfao dos envolvidos; o nvel 2, buscando saber se houve aprendizado melhoria de comportamento, habilidade, significncia; o nvel 3, com o objetivo de conhecer o comportamento do formando em sua prtica; o nvel 4, est relacionado aos ganhos no trabalho; e nvel 5, relativo aos retornos dos investimentos na adoo da prtica (KIRKPATRICK,1998).

Os nveis destacados no framework Kirkpatrick para avaliar a efetividade dos programas de EaD no necessariamente se encadeiam no quesito sucesso, ou seja, o sucesso de uma etapa do framework no aponta para o sucesso da etapa subsequente (KIRKPATRICK,1998). Vinculada a essa observao argumentao de que o todo efetivamente uma macrounidade, mas as partes no esto fundidas ou confundidas nele (MORIN, 1990. p.215).

O framework Kirkpatrick foi adequado para a EaD, conforme relata Kirkpatrick (1998) no International Conference & Exposition of American Society for Training and Development 2005. (Conferncia e Exposio Internacional da Sociedade Americana para Treinamento e Desenvolvimento - ASTD 2005).

Organizaes internacionais e nacionais como McDonalds, Disney e Petrobras usam o framework Kirkpatrick para avaliar a efetividade de suas aes de Educao Corporativa atravs do uso do EaD (KIRKPATRICK, 1998). Observa-se que ao incentivar o aperfeioamento e promover as competncias, as organizaes induzem seus colaboradores a desempenhar suas aes de forma superior (KROGH et. al 2000; EBOLI, 2004; FLEURY,FLEURY, 1995, 2003, 2004), ou seja, h uma promoo da capacidade de aprender solues novas para problemas novos (ALVES, 2000, p. 21).

Importante se faz o entendimento de que a competncia no se reduz ao saber, nem tampouco ao saber-fazer, mas sim sua capacidade de mobilizar e aplicar esses

7

conhecimentos e capacidades numa condio particular, onde se colocam recursos e restries prprias situao especfica (RUAS et. al., 2005).

Assim, de qualquer forma, a complexidade surge como dificuldade, como incerteza e no como clareza e como resposta (MORIN, 1990, p.138). Mesmo um sistema novo de conhecimento e aprendizagem, carece de ser entendido em nvel paradigmtico com suas causalidades e recprocas. O todo resultante da formao atravs da EaD possue partes que no so fundidas nele mas, o complementa em essncia (MORIN, 1990) 5. Metodologia

A pesquisa empregou o mtodo quantitativo que frequentemente aplicado a estudos

descritivos com a finalidade de descobrir e classificar as relaes entre as variveis ou averiguar a relao de casualidade entre os fenmenos. Sendo assim, este mtodo se caracteriza pela utilizao de tcnicas estatsticas com a finalidade de tambm prover um tratamento emprico, procurando garantir a exatido dos resultados, evitar distores de anlise e interpretao e utilizando uma margem de segurana para as inferncias (RICHARDSON, 1999). Assim, buscou-se para esse estudo uma perspectiva descritiva do tipo levantamento ou survey, por meio de dados coletados de parte da populao da IES, objetivando uma avaliao da distribuio e inter-relaes dos fenmenos que ocorrem naturalmente no ambiente pesquisado.

As variveis da pesquisa, identificadas por meio da literatura sobre satisfao mediante a usabilidade das ferramentas de EaD dos discentes pesquisados foram: Usabilidade, Satisfao dos Discentes, Ferramentas de Aprendizagem, Quantidade de Disciplinas Cursadas, Dispositivos Utilizados, Local de Acesso, Mdia de Horas Utilizadas e, Melhoramento do AVA.

A amostra foi no probabilstica, em que os entrevistados foram escolhidos por estarem no lugar certo, no momento certo (MALHOTRA, 2012), considerando o nmero de variveis da pesquisa e os critrios para a utilizao das tcnicas multivariadas de anlise de dados. Nesse contexto, o tratamento de dados com base na tcnica da anlise fatorial, observou o parmetro de no mnimo 10 observaes para cada varivel (HAIR, et al., 2009).

Os dados primrios foram gerados a partir da aplicao de um questionrio estruturado, com perguntas fechadas para todos os respondentes, notadamente confeccionados para esse estudo. Os questionrios foram preenchidos por meio de ambiente virtual (internet). Assim, a tarefa do pesquisador foi a de contatar os entrevistados, postar o questionrio no site da universidade pesquisada e solucionar possveis dvidas sobre as respostas (AAKER et al., 2001).

A confiabilidade das escalas de medidas se deu a partir do clculo do Alpha de Cronbach, por meio de testes de consistncia interna que representam uma medida de intercorrelao existente em um conjunto de itens (HAIR et al., 2009).

O pr-teste foi realizado na cidade de Fortaleza, numa amostra de 50 respondentes usurios de EaD, com o objetivo de verificar a clareza textual do questionrio e o tempo mdio de resposta, obtendo-se um tempo mdio de 10 minutos. Em outra etapa, realizou-se um pr-teste em que foram preenchidos 30 questionrios com a finalidade de confirmar a eficcia do instrumento de coleta de dados em situaes reais de coleta, conforme recomenda Hair et al ( 2009).

A pesquisa de campo teve inicio dia 08.11.2013 e finalizou em 20.11.2013, por meio de questionrios postados no site da instituio pesquisada. Foram entrevistadas 116 pessoas nas idades entre 18 e 45 anos, que efetivamente utilizaram o sistema de EaD da instituio. Nesse sentido, procurou-se conhecer as variveis: sexo, idade, renda, escolaridade e diferentes profisses. A estrutura do instrumento de coleta de dados seguiu a estrutura do modelo terico

8

a ser testado pelo estudo, no que se refere relao entre usabilidade em EaD e satisfao do discente.

O tratamento dos dados, inicialmente, se deu no sentido de identificar e analisar missing values (valores perdidos), com a finalidade de identificar algum padro existente nos dados perdidos que caracterize esse processo. Nessa etapa o pesquisador deve tomar a deciso de ignorar ou no os dados que acontecem aleatoriamente nas variveis (HAIR, et al., 2009). Nesse sentido, optou-se por desconsiderar os missing values por serem de natureza completamente aleatria. No que se refere aos outliers, no houve necessidade de tratamento e correo, visto que os mesmos no interferiram no padro dos dados a serem analisados (CORRAR, et al., 2009). Foram coletados 116 questionrios com respostas vlidas. Os respondentes tiveram acesso ao instrumento de coleta de dados via internet. Na anlise de outliers, utilizou-se o boxplot para identificar possveis erros de digitao dos dados.

Outro procedimento de pr-tratamento utilizado nesse estudo foi a verificao da normalidade das variveis como requisito para os testes estatsticos univariados e multivariados do estudo (HAIR, et al., 2009). Inicialmente, verificou-se a normalidade de cada varivel isoladamente e depois a normalidade multivariada demonstrando que as combinaes das variveis univariadas tambm so normais. Foram utilizados os testes Shapiro-Wilks e Kolmogorov-Smirnov para a determinao do nvel de significncia para as diferenas em relao distribuio normal.

Para identificar o formato das distribuies e os padres de respostas, realizaram-se anlises descritivas de mdia, desvio-padro, coeficiente de variao, ndices de assimetria e curtose dos indicadores propostos para os construtos do estudo. Buscou-se, por meio da anlise da matriz de correlao dos indicadores de cada construto, conhecer a colinearidade entre os indicadores. Primeiramente, foi utilizada a Anlise Fatorial Exploratria (AFE), como forma de avaliao inicial de medida dos construtos e como forma de explicar as variveis pelas cargas fatoriais para cada fator, j que o pesquisador no conhecia relaes de dependncia entre as variveis do estudo. A anlise foi feita com o auxlio do Software SPSS 19.0 (Statistical Package for Social Sciences) para anlises das tcnicas multivariadas. O mtodo utilizado foi o dos Componentes Principais (CP), objetivando a identificao de uma combinao linear entre as variveis, de forma que o mximo da varincia fosse explicado por essa combinao.

Com o objetivo de identificar as relaes entre os construtos e a satisfao de uso de EaD pelos discentes pesquisados, utilizou-se anlise de regresso. Essa tcnica possibilita prever o poder de variveis dependentes (varivel prevista ou explicada), em funo das variveis independentes (variveis explanatrias ou preditoras) possibilitando, tambm, um poder analtico nas relaes entre as variveis (HAIR et al., 2009). Buscou-se por meio da anlise de regresso o estabelecimento de uma relao funcional entre as variveis do estudo para a descrio do fenmeno satisfao dos discentes em relao EaD.

Com a finalidade de avaliar o modelo terico, foi utilizada a modelagem de equaes estruturais com o uso da tcnica PLS Partial Least Square por meio do software Smartpls 2.0. Os critrios da anlise foram: os coeficientes de cada path, o Alpha de Cronbach, validade convergente e Varincia Extrada (AVE). Alguns dos parmetros aceitos na literatura so que as cargas fatoriais e a confiabilidade devem apresentar nveis acima de 0,7 e a varincia explicada deve apresentar nveis acima de 0,5 (CHIN, 2000).

6. Anlise dos Resultados

Inicia-se esse tpico com a apresentao das caractersticas sciodemogrficas dos

entrevistados que compuseram a amostra , com 116 casos vlidos. O perfil dos respondentes do estudo foi traado a partir das respostas s questes 1,2,3,4, e, pela definio do gnero dos

9

entrevistados (masculino ou feminino). A tabela 1 demonstra o gnero dos respondentes do estudo.

Tabela 1 Gnero dos respondentes

Gnero Frequncia % Masculino 67 57,8 Feminino 49 42,2 Total 116 100

Fonte: Elaborada pelos autores (2013).

Observou-se uma maior predominncia dos entrevistados do gnero masculino, representando 57,8% da amostra. No que diz respeito faixa etria dos respondentes, houve uma maior predominncia de indivduos com idade entre os 20 a 25 anos, representando 56% dos pesquisados, conforme a tabela 2.

Tabela 2 Idade dos respondentes Idade fi fr% Menos de 20 22 19,0 20 - 25 65 56,0 26 - 30 14 12,1 31 - 35 8 6,9 Acima de 35 7 6,0 Total 116 100

Fonte: Elaborada pelos autores (2013). 6.1 Anlise dos construtos

Apresentam-se nessa etapa do estudo os resultados dos indicadores obtidos na anlise

dos construtos integrantes do modelo a ser testado na pesquisa, da seguinte forma: apresentar-se- cada indicador medido no construto, seguido pelo nmero de respostas para cada item. Alm disso, apresenta-se o resultado das estatsticas descritivas, em que so demonstrados: mdia, desvio-padro, coeficiente de variao, ndices de assimetria e de curtose. Tem-se que os ndices de assimetria e de curtose buscaram conhecer a priori as indicaes de normalidade das distribuies.

A avaliao dos indicadores dos construtos iniciou-se por meio de uma AFE, utilizando o mtodo de anlise de componentes principais, com o objetivo de obter fatores que contivessem o maior grau de explicao da varincia possvel. Nesse sentido, utilizou-se o critrio de autovalores (Eingenvalues). Os fatores identificados obtiveram autovalores superiores a 1,000, com a proposio de dois fatores que apresentam juntos uma varincia explicada de 64,06 %.

Tabela 3 Varincia total explicada do constructos do estudo

Component Initial Eigenvalues Extraction Sums of Squared Loadings

Rotation Sums of Squared Loadings

Total % of Variance

Cumula-tive %

Total % of Variance

Cumula-tive %

Total % of Variance

Cumula-tive %

1 7,226 55,585 55,585 7,226 55,585 55,585 7,223 55,560 55,560

2 1,102 8,476 64,062 1,102 8,476 64,062 1,105 8,502 64,062

3 ,975 7,497 71,559

4 ,871 6,703 78,262

5 ,734 5,646 83,908

10

6 ,521 4,010 87,917

7 ,470 3,613 91,530

8 ,365 2,808 94,338

9 ,265 2,042 96,379

10 ,229 1,759 98,138

11 ,115 ,883 99,022

12 ,077 ,589 99,611

13 0,51 ,389 100,00 Extraction Method: Principal Component Analysis.

Fonte: Elaborada pelos autores (2011). O primeiro fator identificado foi responsvel pela explicao de 55,585% da varincia,

o segundo foi responsvel por 8,476%. Outro teste realizado foi o clculo do Alpha de Cronbach, com a finalidade de verificar a consistncia das escalas. Os construtos obtiveram 0,877 para os treze itens da escala. Tomando-se por base que uma boa consistncia se d a partir de 0,70, conforme Hair et al. (2009), considera-se que os itens da escala do construto Usabilidade, para esse estudo, apresentaram uma consistncia satisfatria. Diante disso, a partir das cargas fatoriais, tem-se que o fator 1 agrega os aspectos voltados para a utilizao do ensino distncia (Satisfao Ava, Acesso, Horas de Utilizao, Usabilidade, Dispositivos, Melhoramento do AVA, Curso, Disciplinas) e o fator 2 est voltado para caractersticas pessoais do usurio de EaD (Idade) conforme a matriz de cargas fatoriais apresentada na tabela 4. Tabela 4 Anlise fatorial exploratria dos construtos da pesquisa

Componentes Comunalidades Md. d.p C.V Assim Curt. 1 2

V1 Satisfao Ava ,949 ,901 2,15 1,918 3,657 1,397 ,199 V2 Acesso ,944 ,892 2,18 1,909 3,645 1,338 ,104 V3 Horas/Utilizao ,934 ,875 1,82 1,858 3,454 1,841 1,413 V4 Usabilidade ,932 ,869 2,24 1,921 3,680 1,258 -,104 V5 Dispositivo ,861 ,742 2,29 1,439 2,070 1,075 -,282 V6 Melhoramento

Ava ,778 ,607 2,76 1,981 3,924 ,622 -1,295

V7 Curso ,775 -,119 ,615 3,92 4,378 19,168 1,088 -,631 V8 Disciplinas ,724 ,179 ,556

2,50 1,524 2,322 ,593 -1,200

V9 Ead -,694 -,149 ,504 1,78 ,419 ,175 -1,340 -,207 V10 Profisso ,602 ,279 ,440 2,47 1,168 1,365 -,003 -1,473 V11 Ferramentas de

Aprendizagem ,580 - ,337 3,85 2,555 6,526 -,044 -1,855

V12 Idade -,156 ,794 ,655 2,25 1,037 1,076 1,192 1,143

V13 Sexo -,115 -,568 ,335

1,42 ,496 ,246 ,318 -1,932

Fonte: Elaborada pelos autores (2013).

6.2 Anlise da satisfao do usurio de EaD Nessa etapa do estudo, sero apresentadas as anlises realizadas, com o objetivo de

demonstrar a relao das variveis coma satisfao dos discentes pesquisados em relao usabilidade em EaD. Realizaram-se anlises de correlao bivariada para identificar a

11

existncia de relaes entre os antecedentes e satisfao dos discentes pesquisados em relao usabilidade em EaD. A direo da relao (positiva ou negativa) e a fora da relao entre as variveis foram consideradas, por meio do coeficiente de correlao de Pearson, com o respectivo teste de significncia.

Assim, buscou-se determinar a funo matemtica que estima o comportamento de determinada varivel, tendo por base os valores de outras variveis (HAIR et al., 2009). Utilizou-se o mtodo Stepwise para analisar a contribuio de cada varivel ao modelo, iniciando pela varivel independente com o maior coeficiente de correlao com a varivel dependente. O mtodo utiliza o teste F, para determinar se a varivel ser mantida ou retirada do modelo (HAIR et al., 2009).

O objetivo da anlise de regresso mltipla, para esse estudo, se faz necessrio a partir do momento em que se buscou o entendimento sobre as relaes da varivel dependente (satisfao AVA) com as demais variveis da pesquisa.

O mtodo Stepwise selecionou como estatisticamente significativas as variveis: Usabilidade, Horas de utilizao, Acesso e Ferramentas de aprendizagem. O modelo que melhor explica a satisfao dos discentes em relao utilizao do EaD apresentou um R2 de 0,921, demonstrando uma explicao de 92,1 %, conforme a conforme a tabela 5.

Tabela 5 Coeficientes do modelo Satisfao em EaD

Modelo Coeficientes padronizados Beta t Sig.

Zscore: Usabilidade ,573 8,887 ,000

Zscore: Horas de Utilizao ,219 3,464 ,001

Zscore: Acesso ,162 2,346 ,021

Zscore: Ferramenta de Aprendizagem

,070 2,236 ,027 0,921

Fonte: Elaborada pelos autores (2013). Nota: a. Dependent variable (Satisfao AVA).

6.3 Avaliao do Modelo Estrutural

Com a finalidade de avaliar o modelo terico a ser testado, foi utilizada a modelagem de equaes estruturais com o uso da tcnica PLS Partial Least Square por meio do software Smartpls 2.0. Para cada construto, considerou-se a anlise fatorial exploratria realizada, mediante o agrupamento dos indicadores em cada fator, em funo das significncias das cargas fatoriais, da comunalidade explicada e dos procedimentos relativos ao uso estatstico do Alpha de Cronbach.

Uma anlise fatorial confirmatria foi realizada com a finalidade de analisar cada constructo separadamente. Os critrios da anlise foram baseados em: coeficientes de cada path, Alpha de Cronbach, validade convergente e Varincia Extrada (AVE). Os parmetros aceitos na literatura so que as cargas fatoriais e a confiabilidade devem apresentar nveis acima de 0,7 e a varincia explicada deve apresentar nveis acima de 0,5 (CHIN, 2000), conforme a tabela 6. Tabela 6 ndices de desempenho dos constructos analisados

AVE Composite Reliability

R Square Cronbachs Alpha

Communality Redundancy

Satisfao AVA

0,6297 0,7728 0,4855 0,4121 0,6297 0,3057

12

Usabilidade 0,7590 0,9615

0,0000 0,9529 0,7590 0,0000

Fonte: Elaborada pelos autores (2013). A anlise do modelo definitivo da pesquisa demonstrou que a usabilidade em EaD est

diretamente relacionada satisfao do discente em relao utilizao das ferramentas de ensino distncia. Notou-se, ento, que a usabilidade influencia a satisfao do discente em 69,7%, conforme o resultado apresentado de 0,697. Na figura 1, apresenta-se o modelo confirmatrio definitivo do estudo. Figura1: Modelo confirmatrio da pesquisa

Fonte: Dados da pesquisa (2013) 7. Consideraes Finais

No momento atual, crescente o investimento por parte de muitas Instituio Particular de Ensino Superior com relao a implantao de programas de EaD, com objetivo de promover o ensino na esfera de atuao mas atravs da modalidade no presencial e assim reduzindo custos, propondo uma melhor dinamizao e buscando se alinhar com o mercado e as possibilidade oferecidas pelo MEC.

Ao analisar os resultados obtidos com o modelo estatstico sob o framework desenvolvido por Kirkpatrick (1998) considerando nesse conjunto aspectos como: reaes, de aprendizado, de comportamento, de instituio/organizao e de valor; evidencia-se e confirma-se que a usabilidade em EaD relacionado satisfao do discente em relao utilizao das ferramentas de ensino distncia merece uma ateno redobra por parte da instituio de ensino estudada.

Recomenda-se que a instituio aperfeioe seu sistema de avaliao com objetivo de estabelecer medidas fidedignas e sistematizadas dos projetos de EaD em uso, utilizando-se de indicadores que traduzam os rumos dos programas de aprendizagem contnua. Tomando como direcionador o framework desenvolvido por Kirkpatrick (1998) critrios como:

13

avaliao da reao dos participantes ao sistema (questionrios online, fruns etc) e avaliao dos conhecimentos dos participantes (testes, ensaios individuais, ps-testes etc, considerando o fator usabilidade como determinante e alinhados ao nvel 1 do framework devem ser melhor trabalhado; pelo nvel 3 e 4resta destacar que a instituio desenvolva melhor os instrumentos atuais de avaliao do comportamento dos participantes (observaes , possibilidades de transferncia, registros de desempenho etc.), e avaliao dos resultados da formao e respectivo impacto antes e depois dos ajustes de usabilidade que venha a implementar no nvel 5 relacionado ao retorno dos investimentos na adoo da prtica.

Conclui-se propondo uma ampliao e comparao do estudo para e entre outras instituies de ensino do estado, regio e demais regies aprofundando a temtica proposta a ponto de um ajuste no framework desenvolvido por Kirkpatrick (1998) para o mesmo tratar a questo da usabilidade de ferramentas e metodologias como mais um nvel ou dilu-lo entre os j existentes.

Referncias AAKER, D. ; JOACHIMSTHALER, E. Como construir marcas lderes. So Paulo: Futura, 2001. ALVES, Rubens. Filosofia da Cincia - Introduo ao jogo e sua regras. Ed. Loyola, 2000. ALMEIDA, M.E.B.O educador no ambiente virtual: concepes, prticas e desafios. Frum de Educadores. So Paulo: SENAC, 2004. ASTD. (2009). The value of evaluation: Making training evaluations more effective, American Society of Training and Development Report Executive Summary. Disponvel em < http://www.astd.org/NR/rdonlyres/C42C06B4-089C-42E3-88CB-941399FD887B/0/ValueofEvaluationExecutiveSummary.pdf> . ABNT - Associao Brasileira de Normas Tcnicas. NBR 10719 - Apresentao de Relatrios Tcnico-Cientficos: procedimento. ISO 14002, Agosto, 1989. ABNT - Associao Brasileira de Normas Tcnicas. NBR 6023 Referncias Bibliogrficas: procedimento. Agosto, 2000. ABNT - Associao Brasileira de Normas Tcnicas. NBR 6034 - Preparao de ndice de Publicaes: procedimento. ISO 14001, Agosto, 1989. ALMEIDA, M. (2004). Tecnologia e educao distncia: abordagens e contribuies dos ambientes digitais e interativos de aprendizagem. Disponvel em: . Acesso em: 03.nov.2013. BARTEL, C.; GARUD, R. The role of narratives in sustaining organizational innovation. Organization Science, v. 20, n. 1, p. 107-117, 2009. BASTOS, N. M. Introduo metodologia do trabalho acadmico. Fortaleza, Nacional, 2008. BOHADANA, E.; VALLE, L. O quem da educao a distncia. Revista Brasileira de Educao, v.14, n. 42, p. 551-564, 2009. CHIN, Wynne. Partial Least Squares for IS Researchers: An Overview and Presentation of Recent Advances Using the PLS Approach. ICIS 2000 Proceedings, 2000. CORRAR, J.; PAULO, E.; DIAS FILHO, J. (Coords.). Anlise multivariada: para os cursos de administrao, cincias contbeis e economia/ FIPECAPI Fundao Instituto de Pesquisas Contbeis, Atuarias e Financeiras. 1. ed. So Paulo: Atlas, 2009. CUKUSIC, M.; ALFIREVIC, N.; GRANIC, A.; GA-RACA, Z. e-Learning process management and the e-learning performance: Results of a European empirical study. Computers & Education, v.55, n.2, p. 554-565, 2011.

14

DIAS, C. Usabilidade na Web: criando portais mais acessveis. 2 Ed. Rio de Janeiro: Altabooks. , 2007. 296 p, .2007. EBOLI, Marisa, Educao Corporativa no Brasil Mitos e Verdades. Editora Gente, 3 ed., 2004. ENGLISH, R; DUNCAN-HOWELL, J. (2008). Facebook goes to college: Using social networking tools to support students undertaking teaching practicum. Journal of Online Learning and Teaching, 4(4), 596-601. Disponvel em: . Acesso em: 17 de maro de 2014. Educao a Distncia: o estado da arte. So Paulo: Pearson Education do Brasil, 2009. FLEURY, M.T.L. & FLEURY, Afonso C. C. Formao de competncias em redes internacionais: o caso da indstria de telecomunicaes. Administrao em Dilogo, So Paulo, n 5, pp. 33-41, 2003. __________. Aprendizagem e inovao organizacional. So Paulo: Atlas, 1995. __________.. Estratgias Empresariais e Formao de Competncias. 3 ed. Editora Atlas, 2004. GABRIEL, M. Educ@ar: a (r)evoluo digital na educao. 1 Ed. So Paulo: Saraiva, 2013. GONALVES, M. Usabilidade de Software: recomendaes bsicas para verificao do nvel de conhecimento dos alunos dos cursos de Design Grfico e Sistemas de Informao da UNESP/BAURU. 2008. 238f. Dissertao (Mestrado) Universidade Estadual Paulista. Faculdade de Arquitetura, Artes e Comunicao, Bauru, 2008. GRANIC, Andrina; CUKUSIC, Maja. Usability Testing and Expert Inspections Complemented by Educational Evaluation: A Case Study of an e-Learning Platform. Educational Technology & Society, 14 (2), p. 107-123, 2011. HAIR, J. et al. Anlise Multivariada de Dados. Traduo Adonai Schlup Sant nna e Alselmo Chaves Neto. 6. ed. Porto Alegre: Bookman, 2009. ISO 9241 Parte 11. Requisitos Ergonmicos para Trabalhos de Escritrioscom Computador. Parte 11: Orientaes sobre Usabilidade, 1998. ISO/IEC 9126. Software product evaluation: Quality characteristics and guidelines for their use. 1991. KIRKPATRICK, Denise; MCLAUGHLAN, Robert G. Evaluating Pollutsim: Computer Supported Roleplay-Simulation. Academic Exchange Winter, 2001. KIRKPATRICK, D. L. Evaluating training programs. 2. ed. So Francisco: Berrett-Koehler Publishers, Inc., 1998._________. Transformando Conhecimento em Comportamento in American Society for Training and Development ASTD 2005. Disponvel em . Acesso < 15 de junho de 2013>. KROGH, Von, G.; ICHIJO, K.; NONAKA, I. Enabling Knowledge Creation: How to unlock the mystery of tacit knowledge and release the power of innovation. New York: Oxford Universtity Press, 2000. MALHOTRA, N. Pesquisa de Marketing. 3. ed. Porto Alegre: Bookman, 2012. MARCONI, M.; LAKATOS, E. Metodologia do Trabalho Cientfico: procedimentos bsicos, pesquisa bibliogrfica, projeto e relatrio, publicaes e trabalhos cientficos. 6 Ed. So Paulo, Atlas, 2006. MCLOUGHLIN, Catherine; LEE, Mark J. W. The Three Ps of Pedagogy for the Networked Society: Personalization, Participation, and Productivity. International Journal of Teaching and Learning in Higher Education. vol 20, n 1, 2008, 10-27. MORIN, Edgard. Cincia com conscincia. Lisboa: Europa/Amrica, 1990. MUGNOL, M. A Educao a Distncia no Brasil: conceitos e fundamentos. Revista Dilogo Educacional, v.9, n. 27, p. 335-349, 2009.

15

NASCIMENTO. L.F. et al. Presencial ou a Distncia: a modalidade de ensino influencia na aprendizagem? Revista Administrao: Ensino e Pesquisa - RAEP. Rio de Janeiro, v.14, n. 2, p. 311-341, Abr.Mai.Jun., 2013. PREECE, Jennifer; ROGERS, Yvonne; SHARP, Helen. Design de interao: alm da interao homem-computador. Porto Alegre: Bookman, 2005. RICHARDSON, R. Pesquisa social: mtodos e tcnicas. 3. ed. So Paulo, Atlas, 1999. ROGERS, E. Diffusion of innovations. New York: Free Press, 2003. ROMERO, T. Educao sem distncia: as tecnologias interativas na reduo de distncias em ensino e aprendizagem. So Paulo: Senac, 2010. RUAS, ROBERTO, ANTONELLO, Claudia S.,BOFF, Luiz Henrique. Os novos horizontes da gesto: aprendizagem organizacional e competncias. Porto Alegre: Bookman, 2005. RUBIN, Jeffrey; CHISNELL, Dana. Handbook of usability: how to plan, design, and conduct effective tests. 2ed. Indianapolis: Wiley Publishing, 2008. SANCHEZ, F. (Coord.). Anurio Brasileiro Estatstico de Educao Aberta e a Distncia (AbraEAD). 4. ed. So Paulo: Instituto Monitor, 2008. SANCHEZ, F. As estatsticas da EAD no Brasil. In: LITTO, F. M. & FORMIGA, M. (org.) Educao distncia: o estado da arte. So Paulo: Pearson Education do Brasil, 2009. SANTOS, R. L. G. dos. Ergonomizao da interao homem-computador abordagem heurstica para avaliao da usabilidade de interfaces. Rio de Janeiro, RJ. Originalmente apresentada como dissertao de mestrado, Pontifcia Universidade Catlica do Rio de Janeiro, 2000. 347p. SHARMA, Kunal. Financial implications of implementing an e-learning project. Journal of European Industrial Training. Vol. 35 No. 7, pp. 658-686, 2011. TULLIS, Thomas, ALBERT, William. Measuring the user experience: collecting, analyzing and presenting usability. USA: Morgan Kaufmann, 2008. WONG, David H. Reflections on student-university interactions for next generation learning. Asia Pacific Journal of Marketing and Logistics. Vol. 24 No. 2, pp. 328-342, 2012. YANG, J. Knowledge integration and innovation: securing new product advantage in high technology industry. Journal of High Technology Management. Vol 16, p.121135, 2005.

/ColorImageDict > /JPEG2000ColorACSImageDict > /JPEG2000ColorImageDict > /AntiAliasGrayImages false /CropGrayImages true /GrayImageMinResolution 300 /GrayImageMinResolutionPolicy /OK /DownsampleGrayImages true /GrayImageDownsampleType /Bicubic /GrayImageResolution 300 /GrayImageDepth -1 /GrayImageMinDownsampleDepth 2 /GrayImageDownsampleThreshold 1.50000 /EncodeGrayImages true /GrayImageFilter /DCTEncode /AutoFilterGrayImages true /GrayImageAutoFilterStrategy /JPEG /GrayACSImageDict > /GrayImageDict > /JPEG2000GrayACSImageDict > /JPEG2000GrayImageDict > /AntiAliasMonoImages false /CropMonoImages true /MonoImageMinResolution 1200 /MonoImageMinResolutionPolicy /OK /DownsampleMonoImages true /MonoImageDownsampleType /Bicubic /MonoImageResolution 1200 /MonoImageDepth -1 /MonoImageDownsampleThreshold 1.50000 /EncodeMonoImages true /MonoImageFilter /CCITTFaxEncode /MonoImageDict > /AllowPSXObjects false /CheckCompliance [ /None ] /PDFX1aCheck false /PDFX3Check false /PDFXCompliantPDFOnly false /PDFXNoTrimBoxError true /PDFXTrimBoxToMediaBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXSetBleedBoxToMediaBox true /PDFXBleedBoxToTrimBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXOutputIntentProfile () /PDFXOutputConditionIdentifier () /PDFXOutputCondition () /PDFXRegistryName () /PDFXTrapped /False

/CreateJDFFile false /Description > /Namespace [ (Adobe) (Common) (1.0) ] /OtherNamespaces [ > /FormElements false /GenerateStructure false /IncludeBookmarks false /IncludeHyperlinks false /IncludeInteractive false /IncludeLayers false /IncludeProfiles false /MultimediaHandling /UseObjectSettings /Namespace [ (Adobe) (CreativeSuite) (2.0) ] /PDFXOutputIntentProfileSelector /DocumentCMYK /PreserveEditing true /UntaggedCMYKHandling /LeaveUntagged /UntaggedRGBHandling /UseDocumentProfile /UseDocumentBleed false >> ]>> setdistillerparams> setpagedevice