DESENVOLVIMENTO DE VERSÕES EDUCATIVAS DO LIVRO INTERATIVO COM REALIDADE AUMENTADA

Cláudio Kirner, Nikson Leonard Ferraz Curso superior de Multimídia computacional-Universidade Metodista de Piracicaba.

CEP 38400-902, Piracicaba – SP – Brasil e-mail: ckirner@unimep.br, nlferraz@unimep.br

Resumo – O trabalho apresentado tem como objetivo elaborar novas versões do projeto LIRA – Livro Interativo com Realidade Aumentada direcionando para a ajuda na educação infantil, potencializando o livro comum com Realidade Aumentada para beneficiar usuários com deficiência. Palavras-Chave – Estudos Sociais, LIRA, Matemática. Abstract – This paper aims to implement new versions of the project LIRA – Interactive Book with Augmented Reality so that they can be used in the infantile education, making the common book more powerful with augmented reality to help disabilities people. 1 Keywords - LIRA, Social studies, Mathematic.

1. INTRODUÇÃO

A proposta inicial foi de desenvolver versões do Livro Interativo, LIRA [1], para auxiliar no ensino de diversas áreas, no desenvolvimento cognitivo de crianças e estimular o uso do livro para pessoas com deficiência visual ou auditiva, usando de seus recursos de Realidade Aumentada com a ferramenta ARToolKit [2].

Em um dos projetos anteriores, foi desenvolvido um livro que contava a história de Chapeuzinho Vermelho. Com apresentação de placas a uma webcam, era possível visualizar um personagem e ouvir uma narração sobre esse no contexto da historia.

Para cada placa uma cena da historia era representada na tela do computador. Esse tipo de3 controle faz com que os usuários infantis coloquem sempre a placa que represente seu capitulo de preferência e o veja quantas vezes quiserem sem precisar ter contato com o hardware. Dessa forma o padrão atua como interface simples para crianças.

O meio como as informações são organizadas e apresentadas, é possível usar desse meio para ajudar na difusão de informações para usuários que possuem deficiências auditivas e visuais. No caso de deficiência auditiva, o usuário consegue informações pelo meio tradicionais (visuais) que é o livro impresso e também com a apresentação de animações e interações com um ambiente virtual. Para deficiência visual, o livro virtual apresenta uma solução interessante que é a narração das informações contida nas páginas e de dados complementares. Em qualquer dos casos a interface é a manipulação do livro real, folheando suas páginas no campo de visão de uma webcam.

2. VERSÕES DO LIVRO

Como resultado do projeto, obteve-se livros educativos com um complemento da realidade aumentada. Ao expor o livro impresso a uma webcam com o software do livro virtual em funcionamento (ARToolkit modificado), informações extras serão dadas através de imagens, projeções tridimensionais e/ou narração. Para a execução do projeto, foram propostos três temas: Estudos Sociais, MATEMÁTICA e Literatura, dos quais foram finalizados dois. No tema Estudos Sociais, o assunto tratado foi às divisões de ambientes. O mundo real foi dividido em três partes, cidade, campo e zoológico para a representação no projeto. Embora o zoológico seja uma entidade do ambiente urbano, ele consegue demonstrar claramente um ponto da vida selvagem que seria em si o nosso terceiro ambiente a ser apresentado.

Fig. 1. Fazenda, cenário do Livro de Estudos Sociais Em cada página do livro de Estudos Sociais, existe um ambiente diferente e, para cada um deles, três objetos que se encaixam em seu contexto. Para a página, que representa o ambiente rural, foram dispostos três animais, vaca, porco, e galinha. O cenário da fazenda (Fig. 1) é formado de uma casa no fundo, além de cercas, porteiras, cochos, plantas rasteiras. Além dos objetos que compõem a fazenda, há um espaço no centro do recinto para que o usuário possa movimentar os objetos livremente da forma que desejar. Uma particularidade do cenário rural é que com uma placa pincel (controle), o usuário pode trocar a cor da casa. Quando o marcador controle é apresentado à cena, uma outra cena com características diferentes, como a cor, entra no lugar da anterior. Apesar de ser realizada a troca, isso acontece de forma que o usuário não perceba o que houve, dando a ilusão de que apenas pintou a casa da fazenda.

Fig. 2. Cidade, cenário do Livro de Estudos Sociais. No ambiente cidade (Fig. 2), encontra-se um cenário bem característico da urbanização. A cena é constituída de uma rua, onde em sua margem há construções civis como prédios e uma lanchonete. Na calçada da rua, encontra-se postes de luz. O espaço da rua foi deixado para que o usuário possa ali apresentar os objetos característicos e movimentá-los, realizando assim um ponto interessante que é a interação com os ambientes virtuais. Para o ambiente urbano, os objetos escolhidos foram os autômatos. Há disponibilidade para o usuário usar marcadores de um carro, um ônibus e um helicóptero. O ambiente do zoológico é cercado por uma grade que se inicia e termina na entrada do recinto. Trata-se de um cenário espaçoso e com poucos detalhes. Há no ambiente um lago e do lado inverso colinas. Para o zoológico (Fig. 3), os objetos virtuais escolhidos foram os leões, os elefantes e os jacarés. Todos os objetos, ao aparecerem na cena, emitem o seu som característico, além de uma breve narração sobre esses animais.

Fig. 3. Zoológico, cenário do Livro de Estudos Sociais. Apesar de cada cenário possuir três objetos característicos nada impede que estes mesmos objetos sejam usados nos outros cenários. O fato de poder misturar as mais diversas formas de objetos e de contextos diferentes pode garantir ao usuário infantil uma maior diversão e poder de criatividade.

Na versão de matemática do livro, em cada uma das páginas existe uma operação aritmética diferente, possuindo o livro as quatro operações básicas, adição, subtração, multiplicação e divisão. Para cada página, há um exemplo ilustrativo de como acontece a operação como a soma de estrelas. Os desenhos ilustrativos são acompanhados dos números que representam sua quantidade. Usando o livro virtual, há narração sobre a operação, que também é descrita no livro, e logo após apresentado um novo problema. Uma conta é mostrada e o livro pede a interação do usuário para que coloque a placa “igual” para ver o resultado daquela operação. O funcionamento do livro de matemática (Fig. 4) dá-se da mesma forma que a troca de cor da casa; ao apresentar o marcador “igual”, a cena é substituída pelo resultado da operação que foi mostrada e narrada na cena mostrada anteriormente. Todas as operações no livro já estão pré-estabelecidas e não se modificam com o uso.

1. Funcionamento do livro Para o total funcionamento do livro, é necessário ter um computador provido com recursos multimídia, como som e imagem, uma webcam , além do livro impresso. A versão em papel, além de trazer informações, funciona como um catálogo de objetos para o livro virtual. O livro impresso trabalha em conjunto com um computador, que fica responsável por potencializar o material impresso, através de narração e de cenas com objetos tridimensionais, visando facilitar o entendimento do usuário e tornar o uso do livro mais atraente e interessante. Todos os objetos das cenas tridimensionais foram modelados, usando a técnica de modelagem Low Poly, muito utilizada para modelos de jogos, que consiste em modelar um objeto com o menor número de polígonos possíveis, de forma a diminuir o processamento de informações realizado pelo computador. A redução faz com que haja um ganho no rendimento do software no quesito velocidade, garantindo o bom funcionamento.

2. SOFTWARES ULTILIZADOS

O desenho do livro impresso foi confeccionado no programa open source de desenhos vetoriais Inkscape [3]. O desenho vetorial garantiu ao livro ter um layout interessante e agradável de forma rápida.

“O Inkscape é um software livre para editoração eletrônica de imagens e documentos, irmão do sodipodi, tratando-se, portanto de um fork. Utiliza o método vetorial, ou seja, gera imagens a partir de coordenadas dos pontos, de forma transparente ao usuário. Imagens Vetoriais são mais leves e não perdem a qualidade ao ser redimensionado, em oposição aos desenhos bitmap”. [3]

Fig. 4. Página impressa do livro. A página trata da operação de adição contendo uma breve explicação seguida de um exemplo visual usando objetos e algarismos.

Para o acabamento das imagens, foi utilizado o programa

de tratamento de imagens GIMP. A modelagem dos objetos e cenários do livro virtual foi

realizada no software de modelagem e edição de mundos tridimensionais Blender [4].

“O Blender3D é um software de código aberto (opensource) e estará, portanto, sempre em evolução. Realmente pode ser comparados com softwares proprietários tais como 3dstudio, Rhinoceros3d e alias. Uma das vantagens do Blender3D é a sua capacidade de gerar NURBS. Portanto, são esperados melhoramentos contínuos em sua interface”. [4] Foi utilizada também uma versão modificada do software ARToolKit, feita na Universidade por outro aluno de Iniciação Científica (SANTIN, 2004). As duas principais modificações são a inclusão de faixas de áudio em adição aos objetos virtuais, e um marcador de controle. A versão original do software permite que seja atribuído apenas um objeto virtual a cada marcador. Já com o marcador de controle, é possível que vários objetos sejam atribuídos a uma única placa. Toda vez que o software reconhecer o marcador de controle, o objeto virtual é trocado.

1. DESENVOLVIMENTO

Terminada a modelagem de um objeto, realizada no software Blender, o modelo 3D foi convertido para VRML (Virtual Reality Modeling Language). pelo próprio software para que pudesse ser utilizado pelo ARToolkit Export, versão com o código alterado por Rafael Santin, que trabalha apenas com VRML e OPENGL.

A escolha pelo VRML foi feita por se tratar de uma linguagem de fácil manipulação. Além de poder ser implementada em simples editores de texto ainda permite que javascript seja incorporado a seu código o que futuramente poderia possibilitar uma maior interação do livro com o usuário.

No livro impresso, em cada uma de suas páginas encontram-se informações de assuntos diferenciados. O conteúdo descrito nas páginas é complementado com narração e cenários tridimensionais interativos, quando em conjunto com o livro virtual. Todas as páginas que possuírem informações complementares apresentam um padrão no canto superior esquerdo ou canto inferior esquerdo da página.

Os padrões utilizados nas páginas do livro tentam passar por seu desenho uma previa clara ao usuário infantil, em duas dimensões, do que será mostrado na tela do computador em três dimensões.

Fig. 5. Padrões usados para os objetos e cenários do livro. Da esquerda para direita tem-se o marcador do cenário zoológico, objeto helicóptero, cenário fazenda, marcador pincel, objeto vaca e objeto porco.

Para visualizar uma cena, basta apresentar a página do livro à webcam ligada ao computador com o software do livro em execução. O computador reconhece o padrão impresso na página (Fig. 5), por visão computacional, e projeta o mundo tridimensional sobre a página, aplicando assim a Realidade Aumentada.

As cores de cada cena e os padrões de cada marcador foram escolhidas baseadas em um estudo de interface realizado por Maylu Hafner, universitária de Psicologia e também integrada ao projeto mãe LIRA. O alicerce para a pesquisa da escolha das cores e texturas foi a organização dos objetos virtuais e sua criação, de forma que o usuário soubesse claramente o que viria a representar o objeto em questão.

É possível movimentar o cenário, manipulando a página do livro, deixando que o usuário escolha o ângulo de preferência para interagir com o ambiente tridimensional.

A interface torna-se bem característica ao usuário, utilizando cores distintas e vivas para cada componente da cena, que são compostos de formas geométricas simples como cubos, pirâmides entre outras formas básicas para que haja uma aproximação ao processo criativo.

1. FUTURAS IMPLEMENTAÇÕE

Uma das futuras implementações do livro de matemática consiste em criar marcadores, que representaram cada um dos algarismos, para que o usuário possa escolhê-los para realizar e obter o resultado de suas próprias expressões.

Pretende-se desenvolver ainda uma versão do livro direcionada para literatura. Nesse livro, o usuário terá um controle sobre a narração, como trocar para o próximo parágrafo ou repetir a narração. Ainda, junto ao material sonoro, uma descrição visual da narrativa deverá acontecer usando, por exemplo, realidade virtual para construção de cenários citados no texto.

REFERÊNCIAS BIBLIOGRÁFICAS

[1] AKAGUI, D.; KIRNER, C. - LIRA - Livro Interativo

com Realidade Aumentada. In: Proceedings of 7th Symposium on Virtual Reality - SVR'2004. São Paulo: Editora SENAC, 2004. v.1. p. 394 - 394.Industry Applications, vol. 26, no. 4, pp. 832-840, July/August 1990.

[2] ARTOOLKIT. Disponível em:

<http://www.hitl.washington.edu/research/shared_space/>. Acesso em: 10 jul. 2006.

[3] INKSCAPE. Disponível em: < http://pt.wikipedia.org/wiki/Inkscape>. Acesso em: 10 jul. 2006.

[4] BLENDER. Disponível em:<http://pt.wikipedia.org/wiki/Blender>. Acesso em: 10 jul. 2006.