Rastreamento de jogadores de futebol em seqüência de

imagens

Rodrigo D. Arnaut1, Anna H. R. Costa2

1rdarnaut@usp.br, 2anna.reali@poli.usp.br

ESCOLA POLITÉCNICA DA USP

Agenda

• Introdução• Objetivo do Trabalho• Trabalhos Correlatos• Proposta• Resultados Experimentais• Conclusão

Introdução

• Informações estatísticas extraídas de rastreamento são relevantes (TVs, Clubes)– Velocidade, distâncias,regiões de atuação, etc

Objetivo do Trabalho• Estimar trajetórias dos jogadores em

imagens capturadas por câmeras fixas ao redor de um campo de futebol–Uso da abordagem probabilística–Bons resultados nos experimentos

preliminares permitindo vislumbrar melhorias significativas a serem desenvolvidas

Trabalhos Correlatos

1. De Bem (2007)– Rastreamento de alvos com formas heterogêneas

• Uso de B-splines• Foco não foi rastreamento de jogadores de futebol.

– 2 filtros de Kalman acoplados:• Um estima a posição dos pontos de controle de

B-splines que definem o contorno do alvo• Outro estima a velocidade e escala de

transformação do contorno do alvo.

Trabalhos Correlatos2. Xu et al (2005)– Utilização de câmeras fixas– Rastreamento utilizando uma

representação do retângulo envolvente e o centro de área de cada jogador (alvo)

– Dividido em dois passos: detecção dos alvos na imagem e rastreamento com um filtro de Kalman por alvo

- Assume-se pouca variação de altura e largura do retângulo envolvente entre quadros consecutivos. - Posição pelo centro de área.

Trabalhos Correlatos3. Beetz et al (2007)– Utiliza imagens/câmeras de emissoras de TV.– Posição em cada instante dada no plano 3D do

campo de futebol, estimada pelo centro de área do paralelepípedo

Rastreamento com MHT (Multiple Hypothesis Tracker) com o empregode vários FKs.

Trabalhos Correlatos: análise comparativa

Trabalho Correlato

Técnica de Estimação

Câmeras Fixas Vantagem Desvantagem

De Bem (2007)

2 filtros de Kalman por

alvoSim

Bom desempenho, fácil detecção e livre

definição de tamanho e forma do contorno

dos alvos.

Difícil modificação da variável de estado devido

ao acoplamento dos filtros. Contorno com representação mais

complexa.

Xu et al (2005)

1 filtro de Kalman por

alvoSim

Excelente desempenho, fácil

detecção do retângulo envolvente dos alvos.

Limitações: na definição do contorno dos alvos; e na variação do tamanho

do alvo

Beetz et al

(2007)

Uso de MHT (1 FK por hipótese

de cada alvo)Não

Exatidão na Estimação. Instalação

simples (ou inexistente) em

campo

Não uso de câmeras fixas. Alta complexidade

computacional; Baixo desempenho.

Proposta• Busca por um bom compromisso entre

eficiência computacional e eficácia do rastreamento

• Proposta: detectar e rastrear com o emprego de 2 Filtros de Kalman acoplados: – Estimação de Movimento• Estima a velocidade de deslocamento do jogador e o

fator de escala da variação do contorno

– Estimação de Contorno• posições dos pontos do contorno

Sistema Proposto

• Detecção: – subtração do fundo e algoritmos para eliminar

ruídos e correção de falhas

Fases do Sistema

Fases do Sistema

• Detecção: – Determinação de polígonos envolventes e B-Spline

• Inicialização: – Leitura dos parâmetros iniciais e criação dos

modelos de movimento e observação para os 2 FK que irão estimar as variáveis de estado (contornos, velocidade e fator de escala)

Rastreamento

• Predição: executada pelo acoplamento de 2 FKs:– um estima a forma (contorno do alvo) e utiliza informações do outro que estima o movimento (velocidade e escala) deste alvo

• Observação (1D): – linhas de medida

• Atualização:– Diferença entre a predição e a observ.

Resultados Experimentais

• Imagens capturadas com câmeras fixas, instaladas em um campo de futebol real

• Contorno do alvo está próximo de um contorno razoável• Distante da camera em relação aos alvos é grande• Suavidade da trajetória estimada pelo centro de área do contorno

Resultados Experimentais

• Problema de oclusão– Ex. quadro 46– Ocorre com frequência– Ainda não foi tratado

• Sugere uso de mais câmeras (superposição de ângulos de visada)

Conclusão

• Contribuição: rastreamento utilizando câmeras fixas com baixo custo computacional

• Proposta eficiente, com dois filtros de Kalman acoplados para a estimação da forma e do movimento de cada alvo– Eficiência: linearização do sistema separando

estimação em duas (forma e movimento) – Contornos de alvos descritos por B-splines (uso

para o rastreamento de diversas formas)

Próximos Passos

• Problemas a serem resolvidos:– Melhorar o contorno do alvo no rastreamento– Tratamento simultâneo de múltiplos alvos que estão

presentes na mesma seqüência de imagens– Iluminação variável do fundo da cena ao longo do tempo

• Remodelar de forma simples as variáveis de estado do modelo de movimento e observação para tempo real e para emprego efetivo em sistemas comerciais

Rastreamento de jogadores de futebol em seqüência de

imagens

Rodrigo D. Arnaut1, Anna H. R. Costa2

1rdarnaut@usp.br, 2anna.reali@poli.usp.br

ESCOLA POLITÉCNICA DA USP

OBRIGADO !!!