Colaboração Móvel com Realidade Aumentada
description
Transcript of Colaboração Móvel com Realidade Aumentada
Thiago M. Witt - MAC5743 - 20041
Colaboração Móvel com Realidade Aumentada
Thiago M. Witt
Thiago M. Witt - MAC5743 - 20042
Agenda
Augmented Reality Aplicações Problemas Projetos
– OCAR (Outdoor Collaborative AR)– SignPost 2– MARS– ETALA – Human Pacman– Outros Projetos
Thiago M. Witt - MAC5743 - 20043
Augmented Reality
Enriquecimento da visão do mundo real percebida pelo usuário através da adição de elementos virtuais à imagem.
Estes elementos virtuais de alguma forma aumentam a cena real com informações adicionais
Exemplos famosos: Robocop, Top Gun
Thiago M. Witt - MAC5743 - 20044
Augmented Reality (cont)
Thiago M. Witt - MAC5743 - 20045
Augmented Reality (cont)
Equipamento geralmente consiste em um wearable computer com:– Capacete com display “see-through” (Head
mounted display, ou HMD), câmera de vídeo e sensores de movimento e direção.
– Mochila com central de processamento e renderização, sensores de posicionamento, interface wireless, baterias.
– Dispositivo para interação com o sistema– Também existem projetos de AR utilizando
apenas handhelds com câmera
Thiago M. Witt - MAC5743 - 20046
Augmented Reality (cont)
Thiago M. Witt - MAC5743 - 20047
Aplicações
Navegação em geral Visualização de informações sobre
elementos sendo observados (Ex: construções / exposições)
Colaboração entre unidade móvel com AR e unidade fixa (pesquisa de campo, campanhas militares)
Jogos e entretenimento
Thiago M. Witt - MAC5743 - 20048
Problemas
Sincronização espacial entre o mundo real e virtual
Rastreamento dos movimentos do usuário Processamento de imagem Alto custo do equipamento Nada bonito de se ver (nem confortável)
Thiago M. Witt - MAC5743 - 20049
OCAR (Outdoor Collaborative AR)
Interactive Media Systems Group,Vienna University of Technology, Austria
Sistema de navegação pela cidade de Vienna
Investiga como dois ou mais usuários podem interagir em tarefas como navegação e acesso a informações em ambientes outdoor com realidade aumentada.
Thiago M. Witt - MAC5743 - 200410
OCAR (Outdoor Collaborative AR)
Ajuda o pedestre a navegar pela cidade apresentando pontos de referência artificiais conduzindo-o ao destino desejado.
Thiago M. Witt - MAC5743 - 200411
OCAR (Outdoor Collaborative AR)
Algumas construções possuem informações associadas que podem ser acessadas a qualquer momento.
É possível criar anotações pessoais nas construções
Thiago M. Witt - MAC5743 - 200412
OCAR (Outdoor Collaborative AR)
Pesquisas para colaboração entre os usuários incluem:– Possibilidade de seguir outros usuários– Estabelecer e encontrar pontos de encontro– Uso de displays compartilhados para troca de
informações
Thiago M. Witt - MAC5743 - 200413
OCAR (Outdoor Collaborative AR)
Hardware usado– GPS Diferencial– Sensor de inércia– 2 sensores InterTrax2 para
monitorar a orientação do corpo e da cabeça
– Um pequeno painel preso ao pulso, para apresentação 2D
– Display “see-through”– Câmera VGA Firewire– Wireless LAN– Laptop Dell + placa 3D
Thiago M. Witt - MAC5743 - 200414
SignPost 2
Desenvolvido pela mesma equipe do OCAR Sistema de navegação In-Door Visa facilitar a navegação do usuário por um
prédio desconhecido Usuário informa a posição atual e o destino e
o sistema o guia pelos corredores
Thiago M. Witt - MAC5743 - 200415
SignPost 2
O sistema calcula o menor caminho entre a posição atual e o destino desejado e orienta o usuário usando setas e realce das portas a serem usadas.
Um modelo em miniatura do prédio mostrando a localização do usuário pode ser exibido para facilitar a navegação
Como neste caso não é possível confiar apenas em GPS para manter a posição do usuário atualizada, são utilizados símbolos especiais nas paredes em todo o prédio a cada 4 metros
Thiago M. Witt - MAC5743 - 200416
SignPost 2
As imagens capturadas pela câmera são processadas e os símbolos nas paredes são reconhecidos, possibilitando a identificação da posição atual do usuário no prédio.
– A localização de todos os símbolos naturalmente deve estar pré-cadastrada no sistema.
– Reaproveitamento de símbolos é feito de maneira semelhante ao reaproveitamento de canais de transmissão de rádio.
As mudanças bruscas de orientação do usuário são detectadas com o sensor de inércia
Thiago M. Witt - MAC5743 - 200417
SignPost 2
Thiago M. Witt - MAC5743 - 200418
SignPost 2
O sistema é composto por 4 sub-aplicações:– BAU (Building AUgmentation)
Rastreamento do usuário, geometria do prédio
– AUG (AUGmentation) Aumenta a cena real com o modelo virtual do prédio
– WIM (World In Miniature) Cria o modelo em miniatura do prédio com a posição
atual do usuário
– NAV (NAVigation) Responsável por gerar o percurso e orientar o usuário
com setas e indicações
Thiago M. Witt - MAC5743 - 200419
SignPost 2
BAU
Interação usando o PIP (personal interaction panel) Não detecta sozinho a posição inicial
Thiago M. Witt - MAC5743 - 200420
SignPost 2 - AUG
Thiago M. Witt - MAC5743 - 200421
SignPost 2 - WIM
Thiago M. Witt - MAC5743 - 200422
SignPost 2 - NAV
Thiago M. Witt - MAC5743 - 200423
SignPost 2
Problemas– Para um bom funcionamento, é necessário uma
alta densidade de marcadores nas paredes– O usuário tem que informar sua posição ao iniciar
o uso do sistema
Thiago M. Witt - MAC5743 - 200424
MARS
Mobile Augmented Reality Systems Columbia University Computer Graphics and
User Interfaces Lab Em desenvolvimento desde 1996
Thiago M. Witt - MAC5743 - 200425
MARS
Objetivos principais– Identificar tarefas genéricas que um usuário
móvel gostaria de executar usando um sistema sensível a contexto
– Desenvolver componentes de interface gráfica reutilizáveis para aplicações de realidade aumentada
– Combinar diferentes tecnologias de display como palmtops e óculos “see-through”
Thiago M. Witt - MAC5743 - 200426
MARS
Dividido em 4 sub-projetos– Touring Machine– Mobile Journalist's Workstation – UIs for Indoor/Outdoor Collaboration– The MARS Authoring Tool
Thiago M. Witt - MAC5743 - 200427
MARS
Touring Machine– Semelhante ao projeto OCAR– Guia usuário pelo campus da universidade– Permite associar conteúdo texto aos
monumentos e construções– Envia URLs para o browser do palmtop
Thiago M. Witt - MAC5743 - 200428
MARS
Touring Machine
Thiago M. Witt - MAC5743 - 200429
MARS
Mobile Journalist's Workstation– Estende o Touring Machine– Permite associar conteúdo multimídia às
construções como imagem, som e vídeo– Conteúdos de diferentes construções podem ser
linkados entre si– Conteúdos podem ser presos ao display ou fixos
no mundo
Thiago M. Witt - MAC5743 - 200430
MARS
Thiago M. Witt - MAC5743 - 200431
MARS
UIs for Indoor/Outdoor Collaboration– Permite que um usuário móvel seja monitorado
ou guiado por alguém remotamente– Usuário móvel pode relatar suas observações
para os usuários indoor– Todas as interfaces utilizam o mesmo repositório
compartilhado de informações sobre o campus
Thiago M. Witt - MAC5743 - 200432
MARS
Thiago M. Witt - MAC5743 - 200433
MARS
The MARS Authoring Tool
– Ferramenta de criação de conteúdo hypermedia para o ambiente MARS
– Desenvolvido usando Java3D– Permite a criação de uma narrativa envolvendo
múltiplas mídias e hyperlinks para narrativas de outros elementos do ambiente
Thiago M. Witt - MAC5743 - 200434
MARS
Thiago M. Witt - MAC5743 - 200435
MARS
Hardware usado– Laptop com aceleração 3D– GPS+GLONASS– See-through display– Sensor de orientação– WLAN (802.11a/b)– Handheld com um trackpad
no verso para manipulação do cursor
– Não utiliza câmera
Thiago M. Witt - MAC5743 - 200436
ETALA
Helsinki University of Technology, Finland Provê um meio de comunicação entre um
especialista e uma equipe de manutenção trabalhando num local remoto.
Unidade móvel no local de manutenção é controlada pelo especialista através do mouse, joystick ou sensor de orientação HMD (Head mounted display)
Thiago M. Witt - MAC5743 - 200437
ETALA
Features– Comunicação por voz com a equipe– Modelo virtual do sistema ou serviço a ser
reparado– Realidade aumentada do modelo virtual sobre o
sistema real, com informações sobre o modelo– Controle remoto da câmera no local de
manutenção– Visão estéreo do local remoto usando o HMD– Dispositivo apontador laser na unidade remota– Transferência de arquivos
Thiago M. Witt - MAC5743 - 200438
ETALA
Thiago M. Witt - MAC5743 - 200439
ETALA
Hardware – Unidade remota– Duas câmeras + laser
pointer– Suporte para movimento da
câmera– Laptop com WLAN
Hardware – Operadores remotos
– Computador preso ao cinto com mouse
– Um HMD com microfone e fones de ouvido
– Mini-câmera
Thiago M. Witt - MAC5743 - 200440
ETALA
Hardware – Especialista– Desktop com 2 placas 3D para visualização
estéreo– HMD com sensor de orientação (opcional)– Joystick (opcional)– Internet
Thiago M. Witt - MAC5743 - 200441
Human Pacman
Mixed Reality Lab, National University of Singapore
Financiado pelos militares Traz o famoso jogo dos anos 80 para as ruas
do campus Apenas um dos vários projetos envolvendo
realidade aumentada do grupo
Thiago M. Witt - MAC5743 - 200442
Human Pacman
Jogadores incorporam os “personagens” pacman e fantasma
O mapa das ruas do campus vira o mapa do jogo
Biscoitos virtuais aparecem nas ruas e são coletados ao se passar por eles
Power-ups são dispositivos reais que podem ser coletados ao segurá-los
Fantasmas pegam o pacman segurando seu ombro
Thiago M. Witt - MAC5743 - 200443
Human Pacman
Jogadores podem se comunicar Ajudantes usando desktops podem ter uma
visão geral do mapa e guiar os jogadores em tempo real
Thiago M. Witt - MAC5743 - 200444
Human Pacman
Thiago M. Witt - MAC5743 - 200445
Human Pacman
Thiago M. Witt - MAC5743 - 200446
Human Pacman
Thiago M. Witt - MAC5743 - 200447
Human Pacman
Thiago M. Witt - MAC5743 - 200448
Outros Projetos
Mixed Reality Lab– Magic Cubes– 3D Live– Touch-Space
ARQuake UNC Ultrasound Augmented Reality Research TransVision The Invisible Train
Thiago M. Witt - MAC5743 - 200449
ARQuake
Thiago M. Witt - MAC5743 - 200450
Magic Cubes
Thiago M. Witt - MAC5743 - 200451
Invisible Train
Thiago M. Witt - MAC5743 - 200452
Referências
Mixed Research Lab– http://mixedreality.nus.edu.sg/RESEARCH.HTM
Studierstube Augmented Reality Project– http://studierstube.org/research_master.php
MARS– http://www1.cs.columbia.edu/graphics/projects/mars/mars.html
ETALA– http://www.automation.hut.fi/etala/
ARQuake– http://wearables.unisa.edu.au/projects/ARQuake/www/index.html
Tinmith Project– http://www.tinmith.net/tinmith.htm