Laboratório de Sistemas Embarcados e Computação PervasivaCentro de Engenharia Elétrica e Informática

Universidade Federal de Campina Grande

MultiTouchMultiTouch

Introdução e desenvolvimentoIntrodução e desenvolvimento

AgendaAgenda

• O que é MultiTouch• Vídeo demonstrativo• Modelos de construção• Software• Funcionamento• Desenvolvimento• Trabalhos na área• Embedded MTLab

Como começou?Como começou?

Minority Report: 2002Jeff Han: 2006

O que é MultiTouch?O que é MultiTouch?

• Interação com programas através de:– Vários dedos;

O que é Multitouch?O que é Multitouch?

– Mãos;

O que é Multitouch?O que é Multitouch?

– Usuários simultâneos.

Vídeo demonstrativoVídeo demonstrativo

Mas... Como tudo isso é possivel?Mas... Como tudo isso é possivel?

• Imagem captada pela câmera;

• Aplicativo reconhece o toque;

• Transmissão de dados através de protocolo - TUIO

Modelos de construçãoModelos de construção

• Visão computacional• Princípios óticos• Modelos:

– Frustrated Total Internal Reflection (FTIR) – Diffused Illumination (DI) – Laser Light Plane (LLP)– Diffused Surface Illumination (DSI)

Modelos de construçãoModelos de construção

• Frustrated Total Internal Reflection (FTIR)– Luz infravermelha no interior do acrílico;– Reflexão e frustração da luz;– Captura por câmera infravermelha.

Modelos de construçãoModelos de construção

• Diffused Illumination (DI)– Difusor na superfície;– Geração de luz extra ou sombra:

• Luz extra: Luz infravermelha direcionada de baixo da superfície;

• Sombra: Luz direcionada de cima.

Luz externaLuz externa SombraSombra

Modelos de construçãoModelos de construção

• Laser Light Plane (LLP)– Laser na lateral da superfície;– Área plana de luz;– Captura de sombra pela câmera.

Modelos de construçãoModelos de construção

• Diffused Surface Illumination (DSI)– Acrílico especial: possui partículas que servem como

espelhos;– Mesma idéia do FTIR;– Resultado semelhando ao do DI;– Funciona sem iluminação externa.

SoftwareSoftware

• Tracker:– Tratamento de imagem;– Rastreio de toques;

• Opções restritas ao SO:– Windows: Touchlib;– Linux: Touche, BBTouch;– Cross-plataform: Reactvision, tBeta.

• 2008: tBeta – Nuigroup

• 2009: CCV – Nuigroup– Versão 1.2 da tBeta

Desenvolvimento MultiTouchDesenvolvimento MultiTouch

• Flash + ActionScript 3

• C++:– Não existe boa API que auxilie o desenvolvimento

• Python:– PyMt

• Como desenvolver sem um dispositivo:– Vídeos demos nos trackers;– Simulador Tuio: TUIOSimulator

Trabalhos na áreaTrabalhos na área

• Destaques: – Windows 7; – Windows Surface;– Apple iPhone

Embedded MTLabEmbedded MTLab

• http://code.google.com/p/mtlab/ • Testes e colaboração com PyMt• Pesquisa na área de gesture• Desenvolvimento de aplicativos• Ambiente Desktop• Addon para Qt• Contribuições na tBeta• Criação de MTKit

Dúvidas?Dúvidas?

Obrigado!Obrigado!

• Equipe MTLab:

– Alexsandro Santos <alexotan@gmail.com> – David Anderson <david.anderson.lino@gmail.com> – Thiago de Freitas <thiagodefreitas@gmail.com> – Filipe Cavalcante <filipe.programa.acao@gmail.com>– Lucas Medeiros <wormangel@gmail.com>– José Laerte Xavier <laertexavier@gmail.com>