Departamento de Artes Visuais Escola de Comunicações e Artes ... · Também se iniciou a...
Transcript of Departamento de Artes Visuais Escola de Comunicações e Artes ... · Também se iniciou a...
Departamento de Artes Visuais
Escola de Comunicações e Artes
Universidade de São Paulo
Relatório Final CNPQ PIBITI
- Realidades Mistas –
Da realidade virtual à realidade aumentada
Aluna: Tatiana Abitante (n 5902415)
Prof. Responsável: Silvia Laurentiz (docente CAP/ECA)
Etapas do projeto:
Distribuídas em oito meses, em quatro fases, período para as etapas que
serão desenvolvidas em 2010/2011.
Fase 01 – Fazer um levantamento da bibliografia já existente sobre o assunto;
Fase 02 – Reunir as pesquisas sobre realidades mistas (mixed reality) que estão sendo
realizadas por professores e alunos do Departamento de Artes Plásticas e outros
Departamentos e Unidades da USP.
Fase 03 – Compilar um conjunto significativo de documentos e um acervo relativo ao tema
principal e seus correlatos
Fase 04 – Dar início ao site do Grupo Pesquisa Realidades, vinculado a este projeto, como
forma de viabilizar o acesso à comunidade acadêmica e público interessado pela produção
deste projeto e as pesquisas deste grupo.
Cronograma da etapa inicial
2010/2011 1º mês
agosto
2º mês
setembro
3º mês
outubro
4º mês
novembro
5º mês
dezembro
6º mês
janeiro
7º mês
fevereiro
8º
mês
março
Fase 01
Fase 02
Fase 03
Fase 04
Etapa final
Os 3 meses seguintes do primeiro ano do projeto servirá para o desenvolvimento
experimental pelo grupo “Realidades” e que será acompanhado pela aluna bolsista.
O último mês será reservado para relatórios e análises finais do projeto, inclusive com
projeções futuras e desdobramentos.
Resumo das atvidades do relatório já apresentado
No segundo semestre de 2010 as atividades se iniciaram com a pesquisa e listagem de
grupos de pesquisa em realidades virtual, realidade aumentada e audiovisual utilizando a
plataforma Lattes. Foi realizado o “I Encontro de realidades Mistas: realidade aumentada,
games e outras imagens” com participação do Prof. Dr. Paulo Bernardino, da universidade
de Aveiro, Portugal, pela manhã e um encontro entre os grupos CAT –
ciência/ARTE/tecnologia do IA - Unesp, coordenado pelo Prof. Dr. Milton Sogabe; GIIP –
Grupo Internacional e Interinstitucional de Pesquisa em Convergências Arte, Ciência e
Tecnologia também do IA - Unesp, coordenado pela Profa. Dra. Rosangella Leote e Grupo
Realidades, coordenado pela Profa. Dra. Silvia Laurentiz, pela tarde. A palestra
“Experimentações em Instalações e Vídeos” do Prof. Dr. Paulo Bernardino foi gravada e
editada. Também se iniciou a realização do site com as informações do grupo, suas
pesquisas, produção textual e outras informações destinadas à interessados em ter mais
informações sobre o grupo. Foram realizadas discussões teóricas com base no texto “O
Retorno do Real” de Hal Foster. E ao fim do semestre foram discutidos os novos rumos do
grupo para 2011. Os participantes do grupo de pesquisa Realidades individualmente
expuseram suas expectativas de trabalho prático com o grupo na tentativa de encontrar um
ponto central no projeto e relataram suas experiências com softwares, para que esses
pudessem ser apresentados pelos mesmos com intuito de instrumentalizar os membros do
grupo.
Atividades realizadas a partir do primeiro semestre de 2011
Apresentação de softwares
Inicialmente o grupo se concentrou na definição do projeto prático. Iniciamos o processo
com cada participante compartilhando suas expectativas e desejos individuais de pesquisa.
Com isso foi feita a tentativa de convergência dos temas, já que estes eram amplos. Dentre
os temas expostos constavam: a relação do corpo com ambientes virtuais ou de realidade
aumentada, com vídeo ou som, realidade aumentada voltada para games e autonomia em
sistemas mecânicos. Dada a diversidade, chegamos a um mote de interesse comum do
grupo. O foco do estudo prático está na fronteira, que resolvemos chamar de permeável ou
líquida, que separa o autônomo do autômato, e como as mídias tecnológicas, digitais, ou
até mesmo analógicas funcionam nesse meio. A partir disso membros do grupo
apresentariam seus conhecimentos em softwares para instrumentalizar o grupo.
VPT – Video Projection Tool
Apresentado ao grupo por mim o VPT é um software gratuito que permite a projeção
mapeada em tempo real. Criado por HC Gilje, artista norueguês, o software funciona
deformando a projeção para que esta possa se adequar a telas de superfície diferenciada,
como prédios, instalações, etc. Permite a criação de camadas e máscaras que são usadas
também para a adequação aos ambientes projetivos além da deformação com 16 pontos do
vídeo. A atual versão do software permite o uso de imagens ao vivo e interação com
sensores por meio do arduíno ou rastreamento por câmera.
Isadora
Apresentado ao grupo por Maruzia Dultra. É um software desenvolvido pela empresa
troikatronix, que possui uma versão gratuita demonstrativa de teste. Desenvolvido
primeiramente para uma companhia de dança o programa lida principalmente com a
interação em tempo real de áudio e vídeo digitais. Funciona a partir de uma programação
por blocos, ou chamados patches, é uma linguagem de programacão data flow, que
funciona por meio da montagem gráfica da programação, assim podendo mostrar o fluxo de
dados, é considerada uma linguagem de programação baixa, pois se aproxima mais da
forma como os computadores organizam a informação do que da linguagem humana (como
as linguagens Phyton ou C, que utilizam sintaxe). A programação é feita conectando os
patches que funcionam como algoritmos ou partes de softwares em blocos.
EyesWeb
Apresentado ao grupo pela Profa. Dra. Silvia Laurentiz. É um sofware livre desenvolvido
pela InfoMus Lab, Fundado em 1984 pela DIST – Universidade de Genova, um grupo
formado por professores da área de linguagem eletrônica. O software funciona também pela
programação por blocos. Trabalha com a interpretação da linguagem corporal para
montagem de sistemas interativos, também podendo ser utilizado para apresentação de
vídeo e áudio em tempo real. A captação dos movimentos e gestos no programa de dá por
meio de câmera, a partir da imagem obtida desta o sistema analisa e cria uma biblioteca de
gestos a partir da silhueta (utilizando o contraste da imagem do vídeo), do uso do espaço,
de cores ou das linhas criadas a partir do movimento.
Gravação de entrevistas e edição dos vídeos
No dia 07 de Julho de 2011 Eu e meu colega Juvenal Lopes fomos até o Instituto de Artes
da UNESP entrevistar a Profa. Dra. Rosangella Leote e o Prof. Dr. Milton Sogabe. As
questões apresentadas individualmente a eles apresentavam teor teórico e prático,
Transitando entre que tipo de tecnologia eles utilizaram em suas carreiras como artistas e
pesquisadores, como lidavam com a questão da realidade aumentada, o que consideravam
como realidade, etc. E no dia 21 de Julho de 2011 realizamos via internet uma entrevista
com o Prof. Dr. Romero Tori, utilizando a mesma base de perguntas, tendo em vista sua
formação na área das ciências exatas.
Esses vídeo foram editados utilizando o software Adobe Premiere e serão postados na
internet.
Realização do site do grupo de pesquisa Realidades
Durante o período relativo ao segundo semestre o site do grupo de pesquisa recebeu um
novo layout, e o acréscimo de novas páginas. Por meio dele visa-se a comunicação dos
trabalhos realizados pelo grupo para a comunidade interessada. Nele encontram-se textos
produzidos pelos integrantes do grupo de pesquisa, as linhas de pesquisa e onde cada
integrante se encaixa, constarão os vídeos das entrevistas realizadas nesse período.
Algumas imagens do site abaixo.
Projeto Experimental do grupo de pesquisa Realidades
Durante o período corrido do primeiro semestre até o meados de Agosto de 2011 ocorreram
experimentações com o software demo Isadora e com o software livre EyesWeb. Devido a
uma interface mais amigável e presença no grupo de participante com maior conhecimento
sobre o determinado software, nos focamos no uso do Isadora.
Iniciamos as experimentações básicas seguindo modelo trazido pelo membro que
apresentou o software a nós.
A partir de uma idéia de uma membro do grupo começamos a experimentar as imagens
projetadas em negativo com sobreposição de camadas, como em janela, o que gerava uma
relação entre positivo e negativo, como o centro da tela estava com a imagem negativa, o
rosto de quem observasse a imagem ficaria em negativo assim criando um estranhamento.
Depois partimos para duas camadas projetadas na mesma tela em negativo, com um delay,
caso o observador permanecesse imóvel sua imagem desaparecia, caso se movesse a
imagem apareceria momentaneamente no “fantasma” gerado pelo delay, dando assim uma
impressão de imagem imaterial e efêmera, Já que a duração desta estava condicionada a
duração em frames do delay.
Por uma feliz coincidência notamos um dia pelo reflexo de um óculos que a imagem do
reflexo era positiva quando a tela de projeção estava somente com o negativo, a partir disso
fomos aprofundando a pesquisa nessa relação com a mídia óptica e a mídia digital.
Realizamos testes utilizando óculos escuros, óculos de grau, espelhos convexos e por fim
um espelho plano. Inicialmente realizamos os testes com um espelho plano de tamanho
médio, com ele realizamos os testes de luz e posicionamento dos aparatos, inicialmente
utilizando a tela do computador.
No dia 28 de Julho realizamos um teste no Instituto de Artes da UNESP, numa sala
destinada à aulas de dança que possui uma parede com espelho, para fazer o teste em
uma escala instalativa. No decorrer do teste descobrimos os melhores posicionamentos dos
aparatos: Fazer a projeção por trás da tela (back projection), para isso utilizamos um tecido
semi transparente, com a tela e o espelho paralelos (um de frente para o outro) com a
câmera acima da projeção, para que ficasse mais escondida. O resultado foi uma sequência
infinita de repetição das imagens, porém a cada nova reflexão/projeção as imagens
formavam a relação negativo positivo, esta onde o interator costuma buscar o positivo da
imagem que vai se perdendo ao longo da escala de redução desta que surge com este
“truque” óptico.
Exemplo dos primeiros testes utilizando Isadora
Exemplo dos testes realizados durante as reuniões do grupo de pesquisa utilizando
Isadora
Testes realizados no dia 28 de Julho nas instalações da UNESP
Considerações finais
As entrevistas serviram como ampliação dos conhecimentos já discutidos em grupo e
principalmente como ampliação do conhecimento dos termos utilizados o meio teórico,
artístico e científico da realidade aumentada e sobre a tecnologia. As diferenças de
definição e uso dos termos é importante para ter melhor relação com textos a serem lidos
quando produzidos por essas diferentes áreas do conhecimento. Também se nota que a
questão da realidade ou realidades ainda não se pode definir sem uma maior reflexão. Se
alguns autores afirmam que o aumento da realidade, ou sua virtualização está relacionado
fortemente ao uso da tecnologia, outros afirmam que a percepção é a única forma de
captura da realidade, e que essa é única.
Durante nossos experimentos com o software notamos que a relação com a imagem pode
ser mais ou menos real, ou mais ou menos indicial. O grau de reconhecimento da imagem
como real se liga a camadas de indicialidade de forma subjetiva. Quando nos colocamos a
frente do espelho o grau de indicialidade é maior e, portanto a imagem nos parece mais fiel
ao real, se nos colocamos em frente a uma projeção de nós mesmos tendemos a achar a
imagem menos real, pois o aparelho pelo qual ela passa reduz a sua indicialidade. Aqui
depare-se com uma contradição, pois em ambos casos a imagem é virtual. Assim como
essa relação se repete com o uso do negativo ou positivo da imagem, o negativo sempre
será “menos real” que o positivo, mesmo que esses dependam intrinsecamente um do
outro.
Em nosso experimento nos deparamos com essas questões, que já estavam parcialmente
apresentadas no texto lido no semestre anterior. O anteparo da imagem influencia
diretamente na interpretação desta como mais ou menos real, como maior ou menor índice
do observador. Ao colocarmos no mesmo anteparo ainda a relação positivo e negativo isso
se torna mais explícito.
Durante esse período de experimentações práticas nos demos conta das necessidades do
grupo, da diferença entre partir dos conhecimentos prévios dos participantes, em vez de um
projeto que poderia não ser realizado devido à falta de conhecimentos técnicos.
Referências bibliográficas
http://www.troikatronix.com/isadora.html
http://www.infomus.org/EywMain.html
http://hcgilje.wordpress.com/vpt/
http://gprealidades.wordpress.com/
http://www.concinnitas.uerj.br/resumos8/foster.pdf