Blended Learning e outras cousas de e-learning na FEP

Soares C.

FEP, Universidade do Porto, Porto, Portugal

Identificação da unidade curricular

Nome: Sistemas de Informação para a Gestão do Mestrado em Economia e Administração de Empresas (MEAE) Faculdade: Faculdade de Economia do Porto Ano/Semestre: 2º/1º e 3º/2º Plataforma: moodle Nº de Estudantes: 19

1. Contextualização

1.1. Descrição da unidade curricular

Este trabalho descreve uma experiência de blended learning no âmbito da disciplina de Sistemas de Informação (SIG) para a Gestão do Mestrado em Economia e Administração de Empresas (MEAE) da Faculdade de Economia do Porto. Este é um curso de mestrado muito recente, que teve a primeira edição precisamente no ano lectivo de 2009/10, ao qual esta análise diz respeito.

A natureza deste curso e, em particular, da audiência para a qual é dirigido, colocou desafios interessantes na preparação da disciplina. Essa natureza é descrita na apresentação do curso [10]:

“O Mestrado em Economia e Administração de Empresas visa proporcionar conhecimentos e competências gerais em Economia e em Administração de Empresas e competências específicas nas áreas funcionais da Gestão, de índole predominantemente aplicada mas sólida. O mestrado dirige-se a profissionais de nível superior que já exercem ou pretendem exercer funções de direcção ou supervisão em empresas ou serviços públicos e necessitam de adquirir qualificação e competências aprofundadas. O mestrado pode também interessar a jovens licenciados em Economia e Gestão para valorização curricular, desenvolvimento pessoal e aprendizagem mais avançada e de índole profissionalizante em interacção com colegas detentores de experiência profissional.” 1

Em primeiro lugar, os conteúdos da disciplina devem ser devidamente fundamentados mas apresentados num contexto aplicado. Numa disciplina de SIG é difícil de atingir esse objectivo tendo em conta a natureza diversificada dos saberes envolvidos (hardware, software, comunicações, etc.), em particular quando o docente tem um perfil essencialmente académico, como é o caso.

Para além disso, a disciplina tem um número de horas reduzido: 3h/semanais durante meio semestre, isto é, 7 semanas. Tendo em conta o elevado número de assuntos abrangidos pela área de Sistemas de Informação para a Gestão, torna-se impossível incluir actividades em computador durante a aula. Assim, tornou-se necessário organizá-la como uma disciplina teórica.

Outra característica importante é a diversidade de contextos profissionais dos estudantes bem como da sua formação de base. A maioria dos estudantes da edição 2009/10 trabalhava ao mesmo tempo que frequentava o curso, em áreas muito diferentes (saúde, distribuição, telecomunicações, etc.) e tinham licenciaturas tanto em áreas das Ciências Sociais como das Ciências e da Engenharia. Esta diversidade, que continuou a verificar-se na edição deste ano, torna ainda mais difícil o estabelecimento de um compromisso adequado entre conceitos fundamentais e exemplos práticos a apresentar. Convém sublinhar que um número significativo de estudantes tinham conhecimentos rudimentares de informática e de sistemas de informação, apesar de trabalharem com eles diariamente.

1 Partes evidenciadas a negrito pelo autor.

As limitações impostas pela actividade profissional da maioria dos estudantes deve também ser tida em conta na preparação da disciplina. Ao chegarem às aulas pelas 18:30, depois de um dia de trabalho, é natural que a disponibilidade mental e até física dos alunos esteja reduzida. Com alguma frequência há alunos a chegarem tarde às aulas ou mesmo a faltarem por razões profissionais. Adicionalmente, em muitos casos, a disponibilidade de tempo fora das aulas também é reduzida, o que limita as actividades extra que são capazes de realizar. No caso de SIG, estas questões foram amplificadas pelo facto de as aulas da disciplina serem à 6a-feira. Por outro lado, é importante realçar o elevado interesse e empenho que se observa, em geral, neste tipo de estudantes.

1.2. Objectivos da unidade curricular

Os objectivos da disciplina foram estabelecidos com base no contexto descrito anteriormente. O objectivo imediato é sensibilizar os estudantes para as potencialidades e dificuldades associadas à utilização e implementação dos SI na gestão das organizações, e também para o seu impacto nas carreiras profissionais de hoje.

Numa perspectiva mais geral, o objectivo desta disciplina é criar gestores (num sentido lato, que inclui os administradores mas também os directores de departamentos como Marketing, RH e outros) com uma mentalidade moderna em relação aos sistemas de informação: não são um mal com que se tem que viver mas antes, são um instrumento de melhoria de processos e de inovação nas organizações.

1.3. Plano de estudos e descrição dos módulos colocados on-line

Conforme explicado antes, tanto o âmbito do curso como a audiência e o número de horas disponíveis determinaram a quantidade e profundidade de conteúdos a abordar na disciplina. Os conteúdos foram organizados nos seguintes sete módulos, correspondendo cada um a uma aula:

• Introdução aos sistemas de informação • Infra-estrutura de sistemas de informação • Aplicações e sistemas chave • Sistemas de apoio à decisão e business intelligence • Questões em SIG: segurança e responsabilidade social • Comércio electrónico • Desenvolvimento de sistemas de informação.

Para abordar estes temas com sucesso para uma audiência como a deste curso, focámos na introdução dos

conceitos fundamentais e nas tendências actuais da área. Em relação aos conceitos fundamentais, procurámos centrarmo-nos na perspectiva do utilizador final do SIG. De notar que essa perspectiva não ignora o papel importante que os utilizadores finais têm hoje em dia no desenvolvimento de SIG.

Em relação às tendências, a preocupação essencial não foi a identificação daquelas que são mais recentes ou as que se prevê poderem acontecer. Procurámos criar nos estudantes uma consciência de que é uma área em inovação constante e que, muitas vezes, essa inovação têm um impacto na gestão das organizações em pouco tempo.

Resumindo, pode dizer-se que a disciplina planeada, sendo sobre tecnologia, não é uma disciplina técnica. Os conteúdos que permitem cumprir este plano de estudos são variados. Em primeiro lugar, é preciso um livro

que apresente e organize os conceitos fundamentais de forma adequada. Foi seleccionado o livro de Laudon & Laudon [8] como bibliografia principal e outro, um pouco menos actualizado mas com uma discussão sobre o desenvolvimento de SIG mais adequada para a disciplina, de O’Brien & Marakas [13]. No entanto, dadas, por um lado, a natureza essencialmente académica dos livros, apesar dos muitos casos apresentados, e, por outro, a velocidade a que se dão os desenvolvimentos na área de SIG, é necessário complementar estes livros com outro tipo de conteúdos (artigos, vídeos, seminários, etc.), que serão discutidos adiante (Secção 4).

A estratégia de utilização das ferramentas de e-learning por parte do docente desta disciplina tendo sido a de transformá-la em “centro de operações” da disciplina. Serve não só de repositório de conteúdos mas também de ferramenta de avaliação e comunicação entre docente e estudantes. No caso desta disciplina, em particular, essa estratégia torna-se ainda mais importante, tendo em conta, como dito acima que a actividade profissional dos estudantes faça com que por vezes tenham que chegar tarde ou faltar às aulas.

1.4. Estratégias de ensino adoptadas antes de disponibilizar componente on-line

O docente desta disciplina utiliza as tecnologias de e-learning desde há vários anos, em particular através das ferramentas Moodle [10] e WebCT [18]. A utilização de tecnologias de e-Learning na FEP e, em particular, pelo docente em questão, evoluiu naturalmente. Começou pela criação de páginas Web simples, contendo informação sobre as disciplinas, materiais e ligações para recursos externos relevantes. A utilização de sistemas de e-learning permitiu a utilização para outros fins, como a comunicação com os alunos, a entrega de trabalhos práticos e também a realização de auto-avaliação e de avaliação.

1.5. Dados estatísticos de anos anteriores relativos à unidade curricular

Dado que é a primeira edição da disciplina, não existem dados estatísticos de anos anteriores.

2. Motivação

2.1 Motivação para disponibilizar componente on-line

O plano de estudos apresentado anteriormente foi definido tendo em conta os desafios levantados pelo contexto em que a disciplina se enquadra. Ainda assim, o plano de estudos não é suficiente, por si só, para resolver todas as questões levantadas e atingir os objectivos da disciplina. Em particular, no que diz respeito aos objectivos:

1. Promover a reflexão dos estudantes relativamente aos temas da disciplina durante o período em que

ela decorre e 2. Ancorar os conceitos discutidos em aplicações reais,

eles são particularmente complicados num contexto em que os estudantes podem chegar às aulas cansados, atrasados ou podem mesmo faltar, por motivos profissionais.

Por outro lado, o objectivo desta disciplina é transmitir aos estudantes a visão de que as tecnologias de informação (TI) e os sistemas de informação são um instrumento de melhoria de processos e de inovação das organizações. Portanto, nada mais adequado neste contexto do que aplicar a visão defendida pela disciplina para a resolução dos desafios que se lhe colocam.

De acordo com essa visão, as TI fazem parte de um conjunto de ferramentas que podem ser usadas por optimizar os processos da organização, em que optimizar não significa apenas melhorar esses processos, eventualmente tornando-os mais eficazes e baratos. Significa repensar os processos das organizações à luz das TI e tentar descobrir a forma como podem ser alterados de forma a atingir os objectivos da organização. De acordo com um artigo que é distribuído aos alunos [7]:

“It’s not about IT automating the business anymore. It’s about innovating it, improving it.”

No caso presente, trata-se então de utilizar as ferramentas de e-learning e não só, para resolver satisfatoriamente os desafios que se colocam à disciplina, permitindo assim atingir os seus objectivos. Esta postura de inovação baseada em TI no ensino e aprendizagem é conhecida por blended learning:

“Blended learning is a coherent design approach that openly assesses and integrates the strengths of face-to-face and online learning to address worthwhile educational goals.”2

Ou seja, em vez de utilizar as ferramentas de e-learning apenas como suporte (repositório de conteúdos, avaliação, etc.) a uma disciplina que mantém, no essencial, igual a uma disciplina sem vertente online, trata-se de repensar o seu funcionamento com base nas possibilidades das ferramentas disponíveis.

Outro motivo para investir na utilização das ferramentas de e-learning é a experiência do docente com a sua utilização noutras disciplinas. Em particular, é relevante uma outra disciplina de Sistemas de Informação para a Gestão dada no âmbito da licenciatura em Gestão. Embora, a matéria que é abordada na disciplina de mestrado faça também parte da disciplina da licenciatura, a audiência é muito diferente, colocando desafios também

2 Embora a atitude de inovação baseada em TI tenha sido adoptada desde o início pelo docente (e até noutras disciplinas

anteriores), a relação com o conceito de blended learning só foi identificada mais tarde.

diferentes. A plataforma de e-learning é também central no funcionamento da disciplina de licenciatura. Para além de partilharem alguns dos materiais, pretende-se na disciplina de mestrado aproveitar e aprofundar a experiência de avaliação com base na ferramenta de e-learning desenvolvida no âmbito da disciplina de licenciatura.

2.2. Expectativas iniciais

Inicialmente esperava-se que a ferramenta de e-learning facilitasse os seguintes processos:

• Planear o funcionamento da disciplina de acordo com a visão que a própria disciplina pretende transmitir aos alunos: promover uma utilização inovadora das tecnologias de informação e dos sistemas de informação para melhorar os processos, neste caso, de ensino e aprendizagem. Isto é, a criação de um ambiente de blended learning.

• Adaptar o funcionamento da disciplina ao seu contexto (por ex., promover a discussão dos conceitos no âmbito de aplicações) e também ao de cada estudante (por ex., fomentar a reflexão sobre o tema de uma aula mesmo quando falta).

• Transformar o papel do docente, que muito mais do que o de ensinar, se pretende que seja o de organizador, promotor, guia da aprendizagem dos estudantes.

• Melhorar a eficácia de utilização por parte do docente da ferramenta de e-learning. No âmbito de outras disciplinas, como SIG na licenciatura em Gestão, essa utilização ainda implica um esforço maior do que seria de esperar, em particular no que diz respeito à avaliação.

3. Objectivo

3.1. Identificação dos objectivos

Os objectivos decorrem do contexto e dos objectivos da disciplina:

1. Implementar uma verdadeira estratégia de blended learning. Ou seja, de acordo com a definição dada acima, planear a cadeira de forma a combinar ensino presencial e online de forma a aproveitar da melhor forma os benefícios de cada um, num contexto em que a maioria dos estudantes estão limitados pela sua actividade profissional.

2. Cumprir com os objectivos do curso, que pretende promover o cruzamento de conhecimentos fundamentais com experiência prática. No caso desta disciplina, isto implica trazer para a disciplina conhecimento externo, relacionado com as aplicação de SIG.

3. Cumprir com os objectivos da disciplina, que pretende promover uma atitude mais positiva e inovadora dos estudantes relativamente ao papel das TI e dos SIG nas organizações.

4. Promover uma atitude de aprendizagem contínua. Em particular, neste caso, pretende-se que os estudantes reflictam sobre os temas abordados na disciplina.

5. Manter o esforço com as “cousas” do e-learning em níveis razoáveis. A experiência do docente com a gestão de conteúdos e, em particular, da avaliação mostrou não só que, a nível pessoal, é necessário utilizar a ferramenta de uma forma mais eficaz, mas também que a própria ferramenta tem alguns problemas.

De notar que este projecto e os seus objectivos se enquadram perfeitamente nos objectivos do projecto de e-

Learning da U.Porto [1].

3.2. Monitorização dos objectivos

A natureza dos objectivos estabelecidos não facilita a sua monitorização. Assim, foram usados mecanismos indirectos ou informais, como:

• Número de estudantes em regime de avaliação distribuída. Este número representa indirectamente a o sucesso da estratégia seguida, já que a avaliação distribuída é opcional e os estudantes podem fazer a disciplina por exame.

• Estatísticas de acesso aos materiais disponibilizados, em particular no que diz respeito aos materiais adicionais que são disponibilizados para exploração pelos estudantes.

• Recolha de informação junto dos estudantes: a. aproveitando as oportunidades em que se estabelece um diálogo informal, seja durante as aulas

ou fora delas. b. através dos mecanismos de comunicação disponibilizados pela ferramenta de e-learning.

• Análise dos resultados da avaliação e dos inquéritos.

3.3. Alterações aos objectivos iniciais

Não foi possível ter os vídeos dos seminários disponíveis em tempo útil, por isso não foi possível fazer avaliação com base nos seminários.

4. Modelo/Estratégia

4.1. Descrição do modelo/estratégia utilizado

Tendo em conta o contexto e os objectivos da disciplina de SIG do MEAE, de acordo com o que foi discutido anteriormente, o modelo utilizado foi o seguinte. Cada aula é dividida em três partes: exposição da matéria com discussão de casos, avaliação e seminário de convidado externo. Este modelo permite atingir os objectivos propostos:

Figura 1. Exemplos de diapositivos. Descrição de uma rede de computadores simples (esq.) e um caso

de estudo, incluindo um vídeo (dir.)

4.1.1 Exposição de matéria

Na parte de exposição da matéria, são apresentados os conceitos fundamentais (Figura 1 (esq.)) e são discutidos casos de estudo (Figura 1 (dir.)). De notar que ambos os livros da bibliografia disponibilizam materiais, incluindo diapositivos, que foram aproveitados para a disciplina, com as adaptações consideradas adequadas pelo docente. Alguns casos estão inseridos na ordem dos diapositivos (Figura 1 (dir.)), enquanto outros são introduzidos pelo docente em momentos propícios. Os casos discutidos são do domínio público ou então aplicações de desenvolvimento de SIG e de sistemas de apoio à decisão em que o docente participou ou de que tem conhecimento.

Para além dos diapositivos, a exposição da matéria apoia-se em noutros tipos de materiais:

• Vídeos (Figura 1 (dir.), no fundo do diapositivo), que foram usados também para apresentar conceitos (Figura 2 (topo esq.) [14]), produtos/serviços (Figura 2 (topo dir.) [6]), discutir questões (Figura 2 (fundo esq.) [16]) e novas tendências em TI (Figura 2 (fundo dir.) [11]).

• Artigos (por ex., [2]). • Demonstrações (por ex., Google docs (Figura 3) [5] ou ilustração do conceito de protocolo de rede

através do envio de um email usando o programa telnet [17]). Para além do conteúdo, a utilização de materiais de tipo diversificado permite descansar os estudantes da

exposição oral e promovem a sua participação. Tendo em conta que um dos objectivos da disciplina é levar os estudantes a reflectirem sobre o papel dos SIG

nas organizações, e a discussão é uma forma eficaz de o fazer, há mais preocupação em promover essa discussão do que em dar toda a matéria. Isso implica que há aulas em que não é possível dar a matéria toda. No entanto, essa é uma escolha consciente, de acordo com os objectivos da disciplina.

Figura 2. Exemplos de vídeos. Descrição do conceito de packet switching (topo esq.). O aspirador

iRobot, um produto inovador (topo dir.). Vídeo do youtube mostrando como se pode obter passwords do MSN, usado para discutir questões de segurança (fundo esq.). Exemplo de dashboard, uma das tendências em sistemas de apoio à decisão, da Microstrategy (fundo dir.)

4.1.2 Avaliação

A avaliação distribuída é realizada em seis momentos, da 2ª à última aula. Pouco tempo após cada aula3, é

distribuído um conteúdo (um artigo ou um vídeo) para os estudantes analisarem. Os conteúdos dizem respeito ao tema discutido na aula que antecede a sua distribuição. Assim, o conteúdo a servir para o primeiro momento de avaliação, que teve lugar na 2ª aula, foi disponibilizado aos alunos logo a seguir à 1ª aula e dizia respeito ao tema discutido nessa aula. Cada momento consiste num mini-teste com três perguntas:

1. Uma pergunta sobre a matéria da aula anterior. Note-se que a pergunta pode incidir sobre aspectos

abordados nos materiais que não foram discutidos na aula por falta de tempo. Esta pergunta tem por objectivo avaliar os conhecimentos adquiridos pelo estudante na discussão realizada na aula.

3 Exceptuando a última.

2. Uma pergunta sobre o conteúdo distribuído. Esta pergunta tem por objectivo determinar se o estudante analisou o conteúdo com atenção.

3. Uma pergunta para relacionar o tema abordado no conteúdo distribuído com uma aplicação. O objectivo desta pergunta é aferir se o estudante reflectiu sobre o tema proposto no âmbito da sua actividade profissional (por ex. ver Figura 4). No caso de não estar empregado, é sugerido ao estudante estabelecer a relação com a realidade da FEP/U.Porto ou outra realidade com que estivessem familiarizados, inclusivamente até como clientes.

Em vez de propor um conteúdo para os estudantes analisarem, outra possibilidade é propor um tema para

pesquisarem. Um exemplo é o 6º mini-teste, em que foi proposto aos alunos reflectir sobre o papel do micro-blogging (por ex., twitter [19]) em marketing (Figura 5). A escolha dos conteúdos/temas é feita cuidadosamente para promover a reflexão tanto do ponto de vista conceptual como do ponto de vista aplicado. Por exemplo, o primeiro teste diz respeito à aula de introdução, em que é defendida a importância das TI e dos SIG para o funcionamento das organizações e, particularmente, na inovação dos seus processos. Para o mini-teste respectivo, foi proposto um artigo com título “IT doesn’t matter” de Nicholas Carr, em que se argumenta que as TI não permitem obter vantagens competitivas sustentáveis [3]. Um exemplo de um artigo que tem um cariz mais aplicado, é o vídeo usado no 3º mini-teste, em que é descrita uma solução de Supply Chain Management (SCM) da Manugistics [9]. Mas o aspecto que mais potencia a abordagem de blended learning, é que a escolha dos conteúdos/temas para os mini-testes tem também em conta o que foi discutido na aula respectiva. Ou seja, o docente identifica temas que possam ser interessantes para estudantes com base na discussão ocorrida durante a aula; depois procura conteúdos adequados essencialmente através de pesquisas na web; disponibiliza esses conteúdos na ferramenta de e-learning, que é usada também para notificar os alunos da disponibilidade do conteúdo para o mini-teste seguinte. Um exemplo disso mesmo é o tema escolhido para o 6º mini-teste, já referido acima. Durante a aula, o docente apercebeu-se de que muitos dos estudantes desconheciam ainda o fenómeno do twitter. Daí surgiu a ideia de lhes propor pesquisarem sobre a utilização de micro-blogging em marketing.

Figura 3. Demonstração do Google docs, um sistema de Software as a Service (SaaS)

Figura 4. Exemplo de uma pergunta onde é pedido ao estudante para relacionar a matéria com a sua

actividade profissional

Das seis notas possíveis, a nota final é dada pela média das quatro melhores. Dada a natureza inovadora do esquema de avaliação, foi dada aos alunos a possibilidade de fazerem a avaliação distribuída e também um exame. No caso de realizarem os dois tipos de avaliação, a nota seria a mais elevada das duas. Mais informação sobre as regras de avaliação pode ser encontrada na página da disciplina no sigarra [18].

Figura 5. Tema proposto para o 6º mini-teste, na sequência da observação, durante a aula, de que a

maioria dos alunos desconhecia o fenómeno do micro-blogging.

4.1.3 Seminários de convidados externos Os seminários de convidados externos são motivados pelo objectivo do curso, de contextualizar os conteúdos

em aplicações reais. Como dito acima, não só a natureza diversificada dos saberes envolvidos em SIG como o perfil essencialmente académico do docente, tornam difícil atingir esse objectivo em todos os temas abordados. A solução para abordar esse desafio foi a organização de um mini-ciclo de seminários com convidados externos, cuja actividade profissional se relacione com o tema da aula respectiva.

Dada a impossibilidade pontual de alguns estudantes assistirem aos seminários, eles foram gravados para posterior disponibilização na ferramenta de e-learning4 (Figura 6). Este ciclo de seminários ilustra mais uma vez a exploração dos pontos fortes do ensino presencial com as TI, ou seja, de uma abordagem de blended learning. O seminário in vivo tem vantagens relativamente ao vídeo, em particular pela possibilidade de interacção entre o orador e a audiência. Por outro lado, a disponibilização dos vídeos respectivos permite não só responder a uma limitação do contexto (isto é, impossibilidade de assistir ao seminário) como também de disponibilizar aos estudantes de edições futuras da disciplina o conhecimento partilhado pelos peritos convidados. Aliás, deve-se

4 Após validação pelo orador.

sublinhar que, com o mesmo objectivo de maximizar o retorno obtido desses seminários, eles são abertos e divulgados usando os mecanismos institucionais existentes para o efeito. Em consequência desse esforço, a audiência incluía frequentemente outros estudantes, docentes ou mesmo pessoas externas à U.Porto, para além dos estudantes da disciplina.

Um dos seminários tem um papel especial na disciplina. Esse seminário foi dado pelo responsável pelo Serviço de Informática. O objectivo é apresentar aos estudantes o SI da FEP, incluindo para além de uma exposição oral, uma visita guiada ao data center da FEP. O objectivo deste seminário é convencer os alunos da importância de conhecerem o SI da organização em que se inserem e de o fazerem tão cedo quanto possível. Uma das perguntas que é colocada aos alunos é “quais os departamentos da organização que visitaram no primeiro dia de trabalho, para além daquele onde trabalham?”, seguida de um debate sobre as razões porque quase nenhum deles visitou o departamento de SI.

Figura 6. Vídeo de um seminário disponibilizado no moodle.

4.2. Apresentar a estratégia de integração da componente on-line com a componente presencial

Como explicado antes, toda a disciplina foi pensada para tirar o melhor partido de ambas as componentes, de ensino/aprendizagem on-line e presencial, ou seja, foi usada uma abordagem de blended learning. Por isso, o essencial da estratégia de integração já foi apresentado na secção anterior. Resumindo, os aspectos mais importantes são:

• Disponibilização com antecedência dos conteúdos a abordar na aula, como diapositivos, vídeos, etc.

(Figura 7). Desta forma, os estudantes, caso tenham oportunidade, podem preparar-se para a aula com antecedência, e também leva-los para a aula.

• Combinação durante a aula de exposição oral com vídeos (por ex. Figura 2 (topo esq.) [14]) e demos (Figura 3).

• Disponibilização de conteúdos para exploração fora da aula (Figura 7). Os estudantes têm assim oportunidade de aprofundar fora da aula os seus conhecimentos sobre os assuntos que mais lhes interessam.

• Reestruturação da forma como a avaliação é feita: a. Após a aula, e tendo em conta os aspectos debatidos, é seleccionado um conteúdo ou tema para

servir de base ao mini-teste da semana seguinte. O conteúdo/tema é disponibilizado na ferramenta de e-learning, e os estudantes são notificados através da mesma ferramenta.

b. É criada uma base de dados com as perguntas no moodle, com o objectivo de ser facilmente reutilizada em edições posteriores.

c. O mini-teste é realizado directamente no moodle. Dado o elevado número de provas, a sua realização através de uma ferramenta de e-learning facilita a gestão da correcção, deixando de ser necessário armazenar pilhas de folhas de testes.

d. A correcção dos mini-testes directamente no moodle não só é mais fácil de gerir (sem a manipulação mais complexa de folhas de exame) como também promove algumas boas práticas, como a correcção seguida de todas as respostas a cada uma das questões e inclusão de comentários para os estudantes. Adicionalmente, facilita e a verificação das provas pelos alunos, dado não ser necessário deslocar-se à FEP num determinado horário.

e. Após a correcção, os resultados são afixados directamente no moodle. É, inclusivamente, possível, passar as notas finais directamente do moodle para o sigarra. Evita-se assim a gestão das pautas através de folhas de cálculo ou outros meios que dão mais trabalho sem acrescentarem valor.

• Complementar a exposição de matéria pelo docente com seminários dados por peritos externos. A gravação desses seminários e posterior disponibilização na ferramenta de e-learning permite combinar as vantagens de um seminário presencial, em particular no que diz respeito à interacção do orador com o público, com a persistência no tempo de um vídeo. A disponibilização do vídeo permite não que os estudantes faltaram ao seminário tenham acesso ao seu conteúdo, mas também que esse conteúdo fique também disponível para os estudantes de edições posteriores.

• Centralização da comunicação com os alunos. Todas as informações relevantes para o disciplina foram sempre disponibilizadas através dos fóruns do moodle. Para além disso, os alunos foram encorajados a utilizar o mesmo mecanismo para comunicarem com o docente.

Figura 7. Exemplo de materiais para uma aula disponibilizados na ferramenta de e-learning

4.3. Pontos fortes e pontos fracos do modelo escolhido

O aspecto positivo mais relevante é que o modelo usado tem potencial para facilitar que os objectivos

propostos sejam atingidos.

1. Implementar uma verdadeira estratégia de blended learning. O modelo combina nalguns casos as vantagens do ensino presencial e online da melhor forma, não deixando de ter em conta o contexto específico da disciplina. Nalguns casos, essa combinação é promovida mas noutros é forçada pela forma pelo próprio modelo. Alguns exemplos:

• Na aula, é combinada a exposição oral como outros meios (vídeos e demonstrações) e promove-se

a discussão. Os meios usados são diversos, incluindo ferramentas tão comuns como o youtube. • As aulas são complementadas com materiais disponibilizados na ferramenta de e-learning, para

permitirem aos estudantes explorar os temas que mais lhes interessem. • A avaliação implica a co-existência dos dois tipos de ensino/aprendizagem porque os temas são

discutidos na aula mas o estudante tem que reflectir sobre temas propostos na ferramenta de e-learning e, eventualmente, fazer ele próprio alguma pesquisa. Adicionalmente, os estudantes são responsáveis por estudar a matéria que não seja possível dar durante a aula.

• Os seminários são dados presencialmente mas gravação para disponibilização no moodle, seja por estudantes que não puderam assistir, seja para edições futuras da disciplina.

2. Cumprir com os objectivos do curso. Os conceitos fundamentais de SIG são introduzidas, bem como algumas das tendências mais importantes de desenvolvimento. Essa vertente mais teórica é complementada por uma forte vertente prática, com conhecimento vindo do exterior:

• Durante a aula, a exposição da matéria é complementada com a discussão de casos de estudo, seja com base em vídeos e outros materiais, seja com base na descrição feita pelo docente ou pelos estudantes. Numerosos outros materiais que podem ser explorados pelos alunos de forma autónoma são disponibilizados no moodle.

• Na avaliação, fazer perguntas para os estudantes relacionarem os temas dados com o seu contexto profissional (ou outro contexto aplicado).

• Os peritos externos que dão os seminários complementam os conceitos fundamentais dados na primeira parte da aula com exemplos práticos retirados da sua experiência profissional. Tipicamente os seminários aprofundam apenas alguns dos temas discutidos na exposição feita pelo docente.

3. Cumprir com os objectivos da disciplina. É difícil medir a mudança de atitude dos estudantes

relativamente aos sistemas de informação. No entanto, pode dizer-se que o modelo usado a promove, como se discute em seguida:

• Em primeiro lugar, porque o funcionamento da disciplina reflecte essa postura inovador e o

exemplo é frequentemente a forma mais eficaz de ensinar. • Discussão durante as aulas, mesmo que implique não dar a matéria toda, • Avaliação semanal com base em conteúdo proposto antecipadamente, obrigando os alunos a

debruçarem-se sobre os temas logo a seguir a serem apresentados em aula. • Avaliação com perguntas que obrigam os estudantes a relacionar os temas da disciplina com a sua

actividade profissional (ou contextos práticos com os quais estejam familiarizados) (Figura 4). • Inclusão de comentários nas correcções, que permitam aos alunos perceber os aspectos que

deveriam melhorar. • Seminários que permitem contrastar os conceitos discutidos na aula com a sua aplicação na

realidade.

4. Promover uma atitude de aprendizagem contínua. Alguns dos aspectos do funcionamento da disciplina contribuem para este objectivo:

• Disponibilizar no moodle os conteúdos antes das aulas respectivas para análise pelos estudantes

(Figura 7). • Explicitar aos estudantes que não é essencial discutir toda a matéria na aula, ficando eles obrigados

a estudar o que não for dado para o mini-teste. Esta atitude reforça a ideia de que a disciplina assume que aula não é o único local de aquisição de conhecimento.

• Disponibilizar no moodle materiais que complementam as matérias discutidas nas aulas, para exploração pelos alunos (Figura 7).

• Avaliação baseada na exploração de temas por parte dos alunos. Por exemplo, no 6º mini-teste foi pedido aos alunos para pesquisarem infomação sobre a utilização do twitter em marketing (Figura 5).

• Disponibilizar gravações dos seminários da disciplina para edições futuras5. • Permitir que pessoas fora da U. Porto assistam aos seminários da disciplina. Mais uma vez, aqui o

procura-se ensinar através do exemplo, mesmo que seja de outras pessoas que não estejam relacionadas com a disciplina.

5. Manter esforço com as “cousas” do e-learning em níveis razoáveis. O docente tem feito ao longo

dos anos um investimento importante na utilização de ferramentas de e-learning. Desde 2007/08, começou a fazer toda a avaliação com recurso a estas ferramentas. É de esperar que possa beneficiar da experiência passada, em conjunto com o apoio do GATIUP, para melhorar a eficácia de utilização. Em particular, no que diz respeito à avaliação: • Explorar mecanismos que permitam aproveitar, quando possível, perguntas usadas em edições

anteriores da disciplina de SIG da licenciatura em Gestão. Por outro lado, pretende-se criar novas perguntas que possam ser utilizadas em edições futuras de ambas as disciplinas.

5 Dado que esta foi a primeira edição, não existiam gravações de seminários anteriores.

• Explorar mecanismos que permitam simplificar a gestão da base de dados das perguntas. A edição de perguntas através da web é bastante demorada.

• Aproveitar a realização dos mini-testes para facilitar a sua gestão, dado que não é preciso armazenar pilhas de folhas de testes.

• Aproveitar a correcção dos mini-testes directamente no moodle para agilizar o processo. • Aproveitar a pauta do moodle para gerir os resultados. Em primeiro lugar, a pauta do moodle serve

de pauta da disciplina6. Em segundo lugar, é utilizado o mecanismo de envio das notas finais directamente do moodle para o sigarra, evitando assim a gestão das pautas através de folhas de cálculo ou outros meios.

O modelo usado acarreta também alguns riscos, entre os quais se destacam:

• Participação selectiva dos alunos na disciplina, aproveitando a estrutura pré-definida de cada aula (exposição de matéria, exame e seminário). Em particular, é de esperar que os que tenham menos disponibilidade tenham tendência para deixar de comparecer à parte de exposição da matéria para se prepararem para o mini-teste que se lhe segue.

• Conflito entre os conceitos expostos pelo docente e o conteúdo do seminário. Embora seja de esperar que existam algumas inconsistências entre os dois, se o seu número for demasiado elevado, os estudantes vão ficar inseguros em relação ao conteúdo da disciplina, da sua avaliação e mesmo da sua utilidade.

• Desadequação entre a ferramenta de e-learning e modelo da disciplina. Dada a experiência anterior do docente com a ferramenta, não é de esperar que surjam questões que impeçam a implementação do modelo. No entanto, a mesma experiência diz que haverá certamente pequenos problema que dificultarão essa implementação.

5. Organização e Implementação

5.1. Como é que o projecto foi organizado?

A disciplina foi organizada de acordo com o modelo já apresentado. Aqui discutimos alguns detalhes. Cada aula de 3h foi dividida da seguinte forma: 1h15 para exposição da matéria e discussão de casos e vídeos;

25min mini-teste (15min para realizar a prova e o restante tempo para preparação); 1h para o seminário. Dado que não havia sala com cerca de 20 computadores disponível por 30min para os mini-testes, foi utilizada a sala de computadores dos alunos na FEP (no edifício das Pós-Graduações) para realizar as provas. Adicionalmente, foi necessário reservar o auditório para os seminários. Assim, para além da sala onde decorria a primeira parte da aula, foram reservadas mais duas salas.

Devido a alguma insatisfação com o livro usado na disciplina de SIG da licenciatura em Gestão [15], foi adaptado um novo livro [8]. Este livro disponibiliza vários materiais de apoio, incluindo diapositivos. Um subconjunto desses diapositivos foi seleccionado e adaptado tendo em conta os objectivos da disciplina.

Das três perguntas de cada mini-teste, duas são de escolha múltipla (sobre os materiais da aula anterior e sobre o conteúdo distribuído) e outra de desenvolvimento (relacionar o tema abordado no conteúdo distribuído com uma aplicação). Foram aproveitadas algumas questões da cadeira de licenciatura, permitindo logo assim reduzir um pouco o esforço dedicado à preparação da avaliação. As cotações foram atribuídas de forma a que as perguntas de escolha múltipla correspondessem a um esforço mínimo suficiente dos estudantes (25% a cada uma), servindo a pergunta de desenvolvimento para distinguir o seu desempenho.

No início do semestre foi preparado um mini-teste modelo para que os alunos se pudessem ambientar ao tipo de avaliação (Figura 1). Como dito anteriormente, os conteúdos para cada mini-teste só eram disponibilizados a seguir à aula que os antecedia. O exame final consistiu essencialmente numa concatenação dos seis mini-testes.

6 Embora seja necessário enviar para a secretaria uma cópia para afixação em lugar público, para cumprimento dos

regulamentos vigentes.

Figura 8. Mini-teste modelo

No início do semestre foi feita uma lista de convidados de acordo com o tema de cada uma das aulas. Dado

que todos os convidados aceitaram, o processo decorreu sem grandes dificuldades. A gravação dos seminários foi articulada com o GATIUP e divulgação foi feita pelo Gabinete de Marketing e Comunicação (GMC) da FEP (ver exemplo na Figura 9 (esq.)). Foi também definido um processo simples de organização dos dias de aulas, incluindo algumas instruções enviadas ao convidado no dia anterior ao seminário (Figura 9 (dir.)).

Figura 9. Anúncio de seminário (esq.). Mensagem com instruções enviados aos oradores (dir.)

5.2. Quem é que participou?

A equipa docente é constituída apenas pelo autor deste relatório. A utilização da ferramenta de e-learning moodle teve o apoio do GATIUP. No caso das provas de avaliação, foi necessário também o apoio do Serviço de Informática da FEP.

Naturalmente, os oradores que participaram nos seminários tiveram um papel essencial na implementação do modelo (Tabela 1).

Data Orador Empresa Título

25/Set José Mendonça FEP A arquitectura do Sistema de Informação da FEP

2/Out Emanuel Loureiro Lactogal O uso dos Sistemas de Informação na Gestão e visão consolidada do Negócio: o caso Lactogal

9/Out Carla Silva Grupo Salvador Caetano Contact Center Rigor - Grupo Salvador Caetano

16/Out Filipe Antunes IBM Continuidade e Resiliência nos Negócios e Tecnologias de Informação

23/Out Helena Leite Documento Crítico Cardmobili: nascido da Tecnologia, centrado nas Pessoas

30/Out Manuela Vaz Accenture O papel da consultoria no desenvolvimento de sistemas de informação

Tabela 1. Calendário dos seminários

5.3. Que recursos foram utilizados?

Foram usados os seguintes recursos:

• “Etiquetas” para organizar os conteúdos. • “Apontadores” para vários tipos de conteúdos (documentos, vídeos) internos e externos. • “Páginas de texto” e “Páginas web” para guardar conteúdos.

e as seguintes actividades:

• “Fóruns” para comunicação com os alunos. • “Testes” para avaliação.

Foi ainda usado o mecanismo de notas do moodle para gerir as pautas. Em combinação com o mecanismo das

notas, foi testado com sucesso um mecanismo desenvolvido na U.Porto para passar as notas para o sigarra. Desta forma deixa de ser necessário gerir as pautas com folhas de cálculo, o que torna o processo bem mais eficaz.

5.4. Descrição da utilização da plataforma

A disciplina foi inicializada no moodle com o conteúdo da edição do ano anterior da disciplina de SIG da licenciatura em Gestão, dadas as semelhanças entre os conteúdos de ambas. De qualquer forma, foram necessárias alterações de tal forma significativas que, no essencial, foi aproveitada a estrutura.

A página da disciplina foi organizada em tópicos. O primeiro é um tópico geral, incluindo o fórum, a apresentação da disciplina, um link para a página da disciplina no sigarra, etc. (Error! Reference source not found. (esq.)). Seguem-se tópicos para cada um dos temas abordados (por ex. Figura 7). Depois existe um tópico para a avaliação (Error! Reference source not found. (dir.)) e outro para os seminários (Figura 11 (esq.)).

Figura 10. Tópicos moodle para questões gerais (esq.) e avaliação (dir.)

A disciplina da licenciatura tem conteúdos que não são abordados nesta (ex. utilização avançada de

ferramentas do Office). No entanto, para poder continuar a aproveitar os desenvolvimentos de cada uma pela outra, os conteúdos não relevantes foram apenas escondidos e não eliminados (Figura 11 (dir.)).

Figura 11. Tópicos moodle para seminários (esq.) e não utilizados (dir.)

Um dos problemas com a utilização anterior do moodle para avaliação está relacionada com a ineficiência da

inserção de perguntas através da web. Foi tentada uma abordagem alternativa em que as perguntas eram editadas localmente (isto é no computador do docente) num formato que o moodle é capaz de processar. Depois de terminado, o ficheiro com as perguntas é carregado para o moodle. O formato escolhido foi um formato baseado em XML (Figura 12 (esq.)). As questões foram agrupadas em diferentes categorias, de forma a facilitar a sua gestão (nomeadamente para a escolha aleatória de perguntas) e também a sua reutilização (Figura 12 (dir.)). Entre as perguntas aproveitadas da disciplina de licenciatura e novas, foram utilizadas 115 perguntas.

Figura 12. Parte de uma pergunta de escolha múltipla no formato XML usado pelo moodle (esq.) e

categorias de perguntas (dir.)

Os mini-testes foram preparados usados os mecanismos disponíveis no moodle para evitar fraudes: • Existência de diversas alternativas para cada questão, escolhidas aleatoriamente para cada aluno no

momento em que começa a prova. • Estabelecimento de palavras-chave que eram divulgadas apenas no momento de iniciar a prova. • Limitação dos IP (endereços de rede dos computadores) com acesso às provas, o que mostrou ter um

efeito limitado neste contexto. • Limitação do período de tempo em que as provas estavam disponíveis. • Estabelecimento de regras relativamente às aplicações que podiam ser usadas durante a prova. • Monitorização da actividade dos alunos com base nas estatísticas disponibilizadas pelo moodle, realizada

após o fim da prova. Após a correcção dos mini-testes, as notas são divulgadas pela pauta do moodle (Figura 13). Como foram

realizadas 2 edições de alguns dos mini-testes, a pedido de alunos que não puderam comparecer ao mini-teste original por questões profissionais, foi necessário organizar as notas e usar as funções de agregação adequadas para que a nota final fosse bem calculada (Figura 14). É importante relembrar que a nota final é a média das quatro melhores notas. No fim, a nota final foi passada para o sigarra por importação directa.

Figura 13. Pauta do moodle

Figura 14. Gestão da pauta do moodle

6. Resultados

6.1. Resultados de utilização

Os resultados são francamente positivos. A plataforma moodle permitiu implementar o modelo desenvolvido sem grandes problemas.

Houve, no entanto, uma série de pequenos problemas como, aliás, era esperado tendo em conta a experiência passada do docente. Alguns desses problemas são:

• A página de disciplina do moodle não é ideal para disponibilizar e organizar materiais/recursos. Os

conteúdos são simplesmente enumerados. As únicas formas de estrutura os conteúdos são os tópicos, as etiquetas e a indentação dos conteúdos.

• A criação dos mini-testes não é tão simples quanto poderia (deveria!) ser. Alguns exemplos:

a. A gestão das perguntas através de ficheiros XML mostrou-se demasiado complexa e susceptível de erros.

b. Não é possível criar novos mini-testes copiando a partir de outros já existentes. • Em várias alturas o sistemas mostrou-se demasiado lento. Nalguns casos (por ex., na submissão dos mini-

testes), essa lentidão acabou por causar alguns problemas. Entretanto a velocidade de acesso foi substancialmente melhorada pelo GATIUP.

Em geral, os estudantes responderam bem à utilização da ferramenta e também, é importante sublinhar, aos

pequenos problemas que surgiram. Isto é particularmente notável tendo em conta as limitações de ordem profissional que muito deles tinham. Um dos aspectos que não teve adesão por parte dos estudantes foi a utilização dos mecanismos de comunicação do moodle.

6.3. Resultados dos inquéritos pedagógicos

Não tive acesso aos relatórios dos inquéritos pedagógicos.

6.4. Análise de resultados

Os resultados dos estudantes foram excelentes, com 100% de aprovação na avaliação distribuída. Houve também uma aluna que tentou subir nota no exame de recurso, mas sem sucesso.

A maioria dos objectivos estabelecidos são difíceis de aferir. No entanto, as opiniões recolhidas junto dos alunos bem como o facto de que todos fizeram a avaliação distribuída com sucesso, é um indicador positivo. A título de exemplo, uma das alunas enviou o seguinte email após terminada a disciplina:

“Desejo-lhe tudo de bom e obrigada pela simpatia e pela maneira como conduziu a disciplina: tornou-a interessante e obrigou-nos a estudo diário... ;)”

Os vários pequenos problemas que surgiram foram analisados em conjunto com o GATIUP. Alguns resultaram da actualização da versão do moodle, que introduziu algumas alterações inesperadas no seu funcionamento. Outros problemas devem-se à falta de conhecimento de utilização da plataforma mas existem ainda outros que são insuficiências da plataforma. Em particular, note-se que a falta de adesão dos estudantes aos mecanismos de comunicação do moodle é devida à sua complexidade. Habituados a comunicação fácil por e-mail, Messenger, SMS, etc., é difícil convencê-los a utilizar o mecanismo algo arcaico de envio de mensagens ou de fóruns do moodle.

Em relação às possibilidades de fraude, as análises realizadas não nos permitiram detectar qualquer tentativa. No entanto, é preciso ter consciência de que a não existência de uma sala devidamente preparada para avaliação em e-learning, dificulta o processo e aumenta os riscos de fraude.

7. Conclusão

7.1. Descrição dos produtos desenvolvidos durante o projecto

Os produtos desenvolvidos são: • Um modelo de blended learning que poderá ser usado no futuro, tanto nesta como noutras disciplinas. A

combinação de exposição de conceitos, avaliação e seminários de peritos externos poderá ser aplicada a muitas outras disciplinas.

• Uma estrutura de disciplina moodle que pode ser usada nas duas disciplinas de SIG (do mestrado e da licenciatura em Gestão).

• Colecção de conteúdos relevantes para essas disciplinas que servirão para promover a aprendizagem contínua em edições futuras.

• Colecção de seminários gravados que poderá dentro de alguns anos representar um repositório significativo de conhecimento sobre SIG, à disposição da comunidade U.Porto.

• Uma base de dados de perguntas que também será usada em edições futuras das duas disciplinas.

7.2. Conclusão

Este projecto mostram que já existem ferramentas que facilitam uma abordagem blended learning ao ensino/aprendizagem. No entanto, mostra também que essas ferramentas têm problemas que fazem com que ainda seja necessário passar demasiado tempo com “cousas” pouco interessantes mas essenciais para o bom funcionamento das disciplinas.

7.3. Análise crítica do projecto tendo em conta os objectivos e as expectativas

Em relação às expectativas criadas relativamente à ferramenta de e-learning que foram enumeradas anteriormente, podemos dizer que tudo correu conforme esperado.

Em relação aos objectivos estabelecidos, sendo difícil fazer uma avaliação objectiva, podemos dizer que existem boas indicações de que foram atingidos. A participação nas aulas era elevada, tanto em termos de assiduidade como de discussão dos temas abordados e mesmo com a introdução frequente de temas diferentes para discussão. Em relação aos riscos, acabou por se verificar que alguns alunos faltam à exposição da matéria para se prepararem o mini-teste, apesar de toda a mentalização feita em contrário.

O sucesso dos seminários, apesar de esperado, acabou por exceder as expectativas. Para além disso, acabam por contribuir também para uma estratégia de visibilidade e integração da FEP e da U.Porto na comunidade e, em particular, no tecido económico da Região Norte mas também nacional7.

7.4. Trabalho futuro

Embora possam ser feitos alguns ajustamentos pontuais, o sucesso obtido aconselha a que se mantenha o modelo por mais alguns anos para que se consolide.

Em relação à utilização da ferramenta alguns dos objectivos são8:

• Melhorar a organização dos conteúdos na disciplina, eventualmente recorrendo a wikis. • Melhorar a gestão da disciplina com recurso a wikis. Por exemplo, construir uma checklist para

verificar no início de cada edição ou na realização de cada prova. • Melhorar a gestão das perguntas e da avaliação, possivelmente com recurso à ferramenta Respondus.

Atrevo-me também a sugerir alguns objectivos para o GATIUP espalhar ainda mais o uso das plataformas de

e-learning. Parece-me que o modelo de “apoio ao utilizador” deve ser complementado por um modelo de consultadoria, em que o docente que queira utilizar as ferramentas de e-learning numa abordagem blended ao ensino/aprendizagem, é acompanhado de perto durante o planeamento dessa mudança de paradigma e também durante a sua execução.

8. Bibliografia

[1] Amaral, M., Moura, D., Soares, C., Godinho, A.: Development of resources for computer-based testing in campus-wide IT systems. In Muñoz, M., Jelínek, I., Ferreira, F.A.F., Proceedings of the Conference on Teaching and Learning (2008), Aveiro, Portugal

[2] Bacheldor, B.: Supply-Chain Economics. InformationWeek (2004) http://www.informationweek.com/news/software/enterpriseapps/showArticle.jhtml?articleID=22100192# [acedida em 29/11/10])

[3] Carr, N.: IT doesn’t matter. Harvard Business Review (2003) [4] Garrison, D.R., Vaughan, N.D.: Blended Learning in Higher Education: Framework, Principles and Guidelines (2008).

Wiley [5] Google Docs: http://docs.google.com/ [acedida em 29/11/10]) [6] iRobot: http://www.irobot.com/ [acedida em 29/11/10]) [7] King, J.: How IT Is Reinventing Itself as a Strategic Business Partner. Computerworld (2007)

(http://www.computerworld.com/s/article/280231/Reimagining_the_IT_Department?taxonomyId=073&intsrc=kc_li_story&taxonomyName= [acedida em 29/11/10])

[8] Laudon, K., Laudon, J.; Essentials of Management Information Systems, Pearson (2008). ISBN: 0136025838 (http://www.pearsonhighered.com/laudon/ [acedida em 29/11/10])

7 Na edição deste ano, um dos convidados veio expressamente de Lisboa para apresentar o seminário. 8 Entretanto alguns destes objectivos foram já realizados na edição deste ano.

[9] Manugistics: Enterprise Profit Optimization. http://media.pearsoncmg.com/ph/bp/bp_laudon_essbus_7/videos/ch08_manugistics_epo.swf [acedida em 29/11/10]

[10] Mestrado em Economia e Administração de Empresas – página web: http://www.fep.up.pt/cursos/mestrados/meae/ [11] Microstrategy: http://www.microstrategy.com/ [acedida em 29/11/10] [12] Moodle – A Free, Open Source Course Management System for Online Learning: http://moodle.org [acedida em 29/11/10] [13] Moodle da U.Porto: http://moodle.up.pt [acedida em 29/11/10] [14] Nerd’s glossary: packet swiching, http://www.pbs.org/opb/nerds2.0.1/geek_glossary/packet_switching_flash.html [acedida

em 29/11/10] [15] O'Brien, J., Marakas, G.; Management Information Systems (2008), McGraw-Hill. ISBN: 9780073376769

(http://www.mcgraw-hill.com.au/html/9780073376769.html [acedida em 29/11/10]) [16] ReactiveSoftware: How to find MSN password - Download MSN Password Finder.

http://www.youtube.com/watch?v=_XFizDfd9zI acedida em 29/11/10] [17] Rindsberg, S.: Send Email via Telnet http://www.rdpslides.com/webresources/FAQ00035.htm [acedida em 29/11/10]) [18] Sistemas de Informação para a Gestão – página do sigarra:

https://sigarra.up.pt/fep/disciplinas_GERAL.FormView?P_ANO_LECTIVO=2010/2011&P_CAD_CODIGO=2EAE115&P_PERIODO=1S [acedida em 29/11/10]

[19] Twitter: http://twitter.com/ [acedida em 29/11/10] [20] WebCT – Blackboard Inc: http://www.webct.com [acedida em 29/11/10]