Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM...
Transcript of Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM...
Um Sistema de Calibração de Câmera
Clarissa Codá dos Santos Cavalcanti Marques
Instituto Nacional de Matemática Pura e Aplicada
Sistemas Gráficos 3D
Rio de Janeiro, 05 de julho de 2007
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
impa
Introdução
Calibração de CâmeraIntroduçãoEtapas Envolvidas
Sistema de CalibraçãoEditCalib/ExecCalib
IntroduçãoCalibração de CâmeraSistema de Calibração
Resultados
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
ResultadosCorrespondênciaExecCalib
Conclusão
Referências
IntroduçãoCalibração de CâmeraSistema de Calibração
Resultados
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Introdução
Objetivo
Desenvolvimento de um sistema de calibração baseado em uma arquitetura geral para qualquer processo de calibração.
Possibilitar uma análise numérica dos métodos e permitir a comparação dos resultados de forma eficiente.
Motivação
Não existência de sistemas de calibração que possam se adaptar a qualquer método, afim de posteriormente comparar seus resultados.
Aplicações
Modelagem Geométrica: reconstrução 3D;Visão Computacional: reconhecimento de formas;Robótica.
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Introdução
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Introdução
SCC
SCM
f(Cx,Cy)
SCP
Parâmetros Extrínsecos: posição e orientação;
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Parâmetros Intrínsecos: distância focal, centro ótico,distorção radial,fatores de escala.
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Introdução
Transformação de corpo rígido:
SCC
SCM
Tzyx
Rzyx
w
w
w
+⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
De SCM para SCC
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Introdução
SCC
De SCC para SCI
Projeção Perspectiva:⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎣
⎡
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡≈
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
10100000000
1zyx
ff
YX
u
u
SCI
uPdP ( )4
22
1 rkrkPdPdPu ++=
Distorção das lentes
22dd YXr +=
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Introdução
SCI
De SCI para SCP
SCP
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡≈
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
11000
1u
u
yy
xx
f
f
YX
CsCs
YX τ
Matriz intrínseca
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Etapas Envolvidas
Aquisição de Dados Iniciais Calibração Otimização
Aquisição de Dados Iniciais – etapa a partir da qual o conjunto de dados de entrada para a calibração será especificado;
Calibração – etapa de calibração em si, ou seja, determinação dos parâmetros da câmera;
Otimização – etapa de refinamento dos parâmetros obtidos na calibração.
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Etapas Envolvidas
Aquisição de Dados Iniciais Calibração Otimização
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Etapas EnvolvidasAquisição de Dados Iniciais
Padrão: conjunto de pontos 3D
Imagens: conjunto de pontos 2D
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Etapas EnvolvidasAquisição de Dados IniciaisCorrespondência:
Determina a relação entre o conjunto de pares de pontos 2D e 3D;A especificação dos pontos pode ser: manual, automática ou semi-
automática.
EQUIPAMENTO
PADRÃO IMAGEM CORRESPONDÊNCIA
PfPw
AQUISIÇÃO DE DADOS
Elementos envolvidos para aquisição de dados:
Conclusão:
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Etapas Envolvidas
Aquisição de Dados Iniciais Calibração Otimização
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Etapas Envolvidas
Define o método pelo qual a calibração em si é calculada.
Calibração
MÉTODOS
TSAI, ZHANG, PONTOS CIRCULARES,DIRETO,...
CALIBRAÇÃO
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Etapas Envolvidas
Aquisição de Dados Iniciais Calibração Otimização
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Etapas EnvolvidasOtimização
Define o método que irá otimizar os resultados da calibração.
MÉTODOS
LEVENBERG-MARQUARDT, GLOPTIPOLY,...
OTIMIZAÇÃO
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Calibração de Câmera
IntroduçãoEtapas Envolvidas
Etapas Envolvidas
UsuárioAQUISIÇÃO DE DADOS
Equipamento, Padrão,Imagem, Correspondência
CALIBRAÇÃOMétodos de Calibração (Tsai,
Zhang, …)
OTIMIZAÇÃOMétodos de Otimização
(Levenberg-Marquardt, Gloptipoly, …)Dados da Câmera
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Sistema de Calibração
EditCalib/ ExecCalib
EditCalib - Responsável pela criação e edição de pipelines de calibração.
ExecCalib - Responsável pela execução de pipelines de calibração.
IntroduçãoCalibração de Câmera
Sistema de CalibraçãoResultadosConclusão
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Resultados
CorrespondênciaExecCalib
CorrespondênciaCorrespondência com câmera
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Resultados
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
CorrespondênciaExecCalib
ExecCalibCalibração de uma câmera
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Resultados
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
ExecCalibReprojeção do padrão com a câmera virtual calibrada
Exemplo 1.
CorrespondênciaExecCalib
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Resultados
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
CorrespondênciaExecCalib
ExecCalibCalibração de uma câmera
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Resultados
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
ExecCalibReprojeção do padrão com a câmera virtual calibrada
Exemplo 2.
CorrespondênciaExecCalib
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Resultados
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
CorrespondênciaExecCalib
ExecCalibCalibração de uma câmera
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Resultados
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
ExecCalibReprojeção do padrão com a câmera virtual calibrada
Exemplo 3.
CorrespondênciaExecCalib
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Conclusão
A adição de novos métodos de calibração, correspondência e otimização através de dll’s (Dynamically Linked Library) de suas subclasses tornou o sistema mais compacto e simples. Os resultados da reprojeção do padrão estão razoáveis e dependerá de cada método de correspondência, que por sua vez dependerá do padrão utilizado.
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Trabalhos Futuros
Inclusão de novos métodos de calibração, como Zhang e método dos pontos circulares.
Implementar um ambiente 3D que simule a reconstrução dos equipamentoscalibrados.
Realizar mais testes, e implementar a reprojeção utilizando outros padrões e métodos de correspondência.
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Referências Bibliográficas
Abdel-Aziz, Y. I. & Karara, H. M. (n.d.), ‘Direct linear transformation objectspace coordinates in close-range photogrammetry’, Proc. Symp. Close-RangePhotogrammetry .
Alvarez, B. (2001), Edição tridimensional de fotografias arquitetônicas, Master’s thesis, Pontifícia Universidade Católica do Rio de Janeiro.
Carvalho, P. C., Velho, L., Montenegro, A. A., Peixoto, A., Sá, A., Soares, E. & Escriba,L. A. R. (2005), Fotografia 3D, Associação Instituto de Matemática Pura e Aplicada, IMPA, Rio de Janeiro.
Horn, B. K. (2000), ‘Tsai’s camera calibration method revisited’.
Kushal, A. M., Bansal, V. & Banerjee, S. (n.d.), ‘A simple method for interactive 3d reconstruction and camera calibration from a single view’.
Lourakis, M. I. A. (2005), ‘A brief description of the levenberg-marquardt algorithm implemented by levmar’.
Ranganathan, A. (2004), ‘The levenberg-marquardt algorithm’.
IntroduçãoCalibração de CâmeraSistema de Calibração
ResultadosConclusão
Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração
Referências Bibliográficas
Szenberg, F., Carvalho, P. & Gattass, M. (2001), ‘Automatic camera calibration for image sequences of a football match, advances in pattern recognition’, pp. 301–311. Tapper, M., McKerrow, P. J. & Abrantes, J. (2002), ‘Problems encountered in the implementation of tsai’s algorithm for camera calibration’, Proc.2002 Australasian Conference on Robotics and Automation .Tsai, R. Y. (1987), ‘A versatile camera calibration technique for high-accuracy 3d machine vision metrology using off-the-shelf tv cameras and lenses’, Ieee Journal Of Robotics And Automation RA-3(4), 323–344.Velho, L. & Gomes, J. (2003), Fundamentos da Computação Gráfica, Associação Instituto de Matemática Pura e Aplicada, IMPA, Rio de Janeiro.Wu, Y., Li, X., Wu, F. & Hu, Z. (2006), ‘Coplanar circles, quasi-affine invariance and calibration’, Image and Vision Computing 24, 319–236.Zhang, Z. (1998), A flexible new technique for camera calibration, Technical report, Microsoft Corporation.