VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM...

30
VITOR HUGO DA SILVA CUSTÓDIO DETECÇÃO E REMAPEAMENTO DE JOGADORES EM PARTIDAS DE FUTEBOL LONDRINA 2019

Transcript of VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM...

Page 1: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

VITOR HUGO DA SILVA CUSTÓDIO

DETECÇÃO E REMAPEAMENTO DE JOGADORES EMPARTIDAS DE FUTEBOL

LONDRINA2019

Page 2: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

VITOR HUGO DA SILVA CUSTÓDIO

DETECÇÃO E REMAPEAMENTO DE JOGADORES EMPARTIDAS DE FUTEBOL

Versão Preliminar de Trabalho de Conclusãode Curso apresentado ao curso de Bachare-lado em Ciência da Computação da Univer-sidade Estadual de Londrina para obtençãodo título de Bacharel em Ciência da Compu-tação.

Orientador: Prof(a). Ms. Sérgio Montaz-zolli Silva

LONDRINA2019

Page 3: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

Se você tem medo de errar, você já errou.

Page 4: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

AGRADECIMENTOS

Meus agradecimentos são especialmente voltados a toda a equipe do Departa-mento, cada Professor que lecionou para as turmas que eu participei e também aos profes-sores que não pude conhecer nesses meus anos de graduação mas que também cooperarame cooperam para termos um Departamento reconhecido por sua qualidade e excelência,agradeço também aos técnicos e servidores que ao longo desse tempo trabalharam paraque eu pudesse me sentir em casa na Universidade.

Não posso também me esquecer do agradecimento mais que importante aos meuspais que além da vida também me deram toda a educação e condições para me tornaruma ótima pessoa e um profissional de qualidade.

Page 5: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

"Without requirements or design,programming is the art of adding bugs

to an empty text file."(Srygley, Louis)

Page 6: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

CUSTÓDIO, VITOR. Detecção e Remapeamento de Jogadores em Partidas deFutebol. 2019. 29f. Trabalho de Conclusão de Curso – Versão Preliminar (Bachareladoem Ciência da Computação) – Universidade Estadual de Londrina, Londrina, 2019.

RESUMO

Com o crescente uso da tecnologia nas mais variadas áreas e a busca por resultados cadavez melhores no esporte, podemos notar um interesse conjunto quando aliados, assim,o surgimento de novas ferramentas que se tornam tendência entre os profissionais doesporte se faz presente. Propomos neste trabalho a criação de um sistema que a partir deimagens de uma partida de futebol, possamos determinar a posição aproximada de cadajogador em campo, gerando algo como uma vista superior do jogo. Para alcançarmos oobjetivo, faremos uma abordagem híbrida que envolve a detecção de jogadores por meiode técnicas de aprendizado de máquina aliado a um descritor de Visão Computacional,posteriormente será feita a tradução do posicionamento usando Homografia Planar.

Palavras-chave: Aprendizado de Máquina, Processamento de Imagem, Mapeamento deJogador de Futebol

Page 7: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

CUSTÓDIO, VITOR. Player Detection and Remapping in a Soccer Match. 2019.29p. Final Project – Draft Version (Bachelor of Science in Computer Science) – StateUniversity of Londrina, Londrina, 2019.

ABSTRACT

This work aims to provide tools for use in tactical management tasks of a soccer team, thefocus is to facilitate the understanding of the game in its tactical form. It is intended toobtain an easy-to-use solution for solving the problem using object recognition techniquesand use of an algebraic technique to convert objects detected in the hypothetical space ofthe image for a two-dimensional plane.

Keywords: Machine Learning, Image Processing, Player Soccer Mapping

Page 8: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

LISTA DE ILUSTRAÇÕES

Figura 1 – Amostra da solução proposta. . . . . . . . . . . . . . . . . . . . . . . . 11Figura 2 – Exemplo dos vetores de gradiente com sua direção e magnitude. . . . . 14Figura 3 – Amostra das camadas que descrevem uma imagem de acordo com a

angulação do gradiente (nesse exemplo o nosso dataset foi somente deimagens com pessoas em posição frontal, analisamos todo o conjunto etiramos a média para obtermos as silhuetas. Temos aqui as 9 camadascitadas anteriormente). . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Figura 4 – Exemplo da aplicação do LBP em um dado ponto, padrão binário ge-rado no sentido horário. . . . . . . . . . . . . . . . . . . . . . . . . . . 20

Figura 5 – Amostra dos Filtros de Haar. . . . . . . . . . . . . . . . . . . . . . . . 20Figura 6 – Demonstração de uma imagem sendo testada nos Filtros de Haar. . . . 21Figura 7 – Exemplificação de uma SVM contendo um Hiperplano separando os

dados rotulados. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21Figura 8 – Pipeline exemplificando todo o fluxo para chegar no resultado. . . . . . 24Figura 9 – Padrão de descrição: Quadrante: 2x2 pixels, Normalização de Blocos:

Nenhuma. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

Page 9: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

LISTA DE TABELAS

Tabela 1 – Taxa de acertos do detector HOG e SVM com parâmetros distintos. . . 25

Page 10: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

LISTA DE ABREVIATURAS E SIGLAS

HOG Histogram of Oriented Gradients

SVM Support Vector Machine

LBP Linear Binary Pattern

IA Inteligência Artificial

CNN Convolutional Neural Network

Page 11: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

SUMÁRIO

1 INTRODUÇÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2 FUNDAMENTAÇÃO TEÓRICA . . . . . . . . . . . . . . . . . 132.1 Processamento/Classificação de Imagens . . . . . . . . . . . . . 132.1.1 Histograma de Gradientes Orientados (HOG) . . . . . . . . . . . . . . 132.1.2 Padrões Locais Binários (LBP) . . . . . . . . . . . . . . . . . . . . . . 152.1.3 Cascata Haar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152.1.4 Técnicas de Extração baseadas em Redes Neurais . . . . . . . . . . . . 152.2 Aprendizado de Máquina . . . . . . . . . . . . . . . . . . . . . . . 162.2.1 Aprendizado Supervisionado . . . . . . . . . . . . . . . . . . . . . . . 162.2.2 Aprendizado Não-Supervisionado . . . . . . . . . . . . . . . . . . . . . 172.2.3 Aprendizado Por Reforço . . . . . . . . . . . . . . . . . . . . . . . . . 172.3 Varredura por Janelas Deslizantes . . . . . . . . . . . . . . . . . 172.4 Homografia Planar . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3 TRABALHOS RELACIONADOS . . . . . . . . . . . . . . . . . 22

4 MÉTODO PROPOSTO . . . . . . . . . . . . . . . . . . . . . . . 23

5 RESULTADOS EXPERIMENTAIS . . . . . . . . . . . . . . . . 25

6 CONCLUSÃO E TRABALHOS FUTUROS . . . . . . . . . . . 27

REFERÊNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

Page 12: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

11

1 INTRODUÇÃO

Nos tempos modernos, onde muito se fala sobre automação e inteligência inte-grada a computadores para processamento de informações pessoais, seja para facilitar anossa vida ou otimizar processos de gestão, surgem aplicações para processar dados deobjetos observados em câmeras para as mais variadas tarefas. No entanto, nem todas asimplementações e soluções são realmente efetivas para qualquer tipo de tarefa.

Com o intuito de encontrar a melhor saída para um problema específico de reconhe-cimento surgem estudos como este para combinar técnicas de Processamento de Imagens,Inteligência Artificial, Matemática entre outras áreas para solucionar algum determinadoproblema.

Como objeto de estudo iremos focar no Futebol, mais precisamente na criação deuma ferramenta que auxilie profissionais que atuem na parte tática desse esporte.

A análise tática de uma partida é realizada por profissionais da comissão técnicade cada equipe envolvida, e é um ponto crucial para a tomada de decisões, essa análisepoderia ser feita por algum profissional dotado de alguma ferramenta que o auxiliasse,como o exemplo apresentado na Figura 1. A solução proposta consiste em a partir daposição hipotética no espaço tridimensional de um jogador transferir tal posição para umplano bidimensional, e após isso, apresentar essa representação ao usuário.

Figura 1 – Amostra da solução proposta.

Para gerar a solução proposta, primeiramente serão utilizadas técnicas de pro-cessamento de imagens e detecção de objetos com a finalidade de detectar jogadores no

Page 13: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

12

campo. Depois faremos uso de álgebra linear afim de mapear jogadores detectados naimagem, para um plano referente ao campo de futebol.

Com relação a detecção de jogadores, utilizaremos técnicas já conhecidas para adetecção de pedestres e também de objetos como um todo. A implementação foi focadaem técnicas já consolidadas no assunto tais como HOG, LBP e SVM, sendo apenas citadasas técnicas demasiado complexas e/ou recentes.

Já a tradução das coordenadas em pixels da imagem para as coordenadas emmetros do campo, será feita usando o algoritmo de Homografia Planar.

Este trabalho está organizado da seguinte maneira: na Seção 2 será explicada todaa Fundamentação Teórica utilizada no trabalho, a seção 3 conterá comentários acerca deTrabalhos Relacionados e suas execuções, será explícitado o Método Proposto na quartaseção e os Resultados Experimentais obtidos até o momento na quinta seção, a sexta eúltima seção dará uma Conclusão e expectativa de possíveis Trabalhos Futuros.

Page 14: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

13

2 FUNDAMENTAÇÃO TEÓRICA

2.1 Processamento/Classificação de Imagens

Ao longo da história do Processamento de Imagens, inúmeras técnicas para ex-tração e detecção de objetos em uma imagem foram criadas, dentre as mais conhecidaspodemos citar os Histogramas de Gradiente Orientados (HOG) e os Padrões Binários Lo-cais (LBP), elas utilizam um sistema similar de descrição da imagem e que serão utilizadasnesse trabalho.

Todas as técnicas serão explicadas um pouco melhor a seguir.

2.1.1 Histograma de Gradientes Orientados (HOG)

O HOG é uma técnica para extração de características que age dividindo a imagemem vetores de Gradiente.

Vetores de Gradiente são vetores que além de direção e sentido nos entregam omaior valor a respeito de alguma grandeza (no nosso caso o gradiente vale para bordas),dessa forma nosso vetor de gradiente em cada ponto vai ter direção, sentido e magnitudeapontando para onde nós temos o maior contraste relativo a bordas.

Na técnica, a imagem é dividada em células de mesmo tamanho e os vetores degradiente são calculados em cada célula com a sua direção e magnitude[1][2][3], podemosvisualizar esse processo na Figura 2 (canto inferior direito e superior direito respectiva-mente). Após calculado os gradientes, todos esses vetores são organizados em um Histo-grama dependendo da sua angulação e magnitude. Feito toda a geração dos histogramas,ocorre a normalização de blocos, visando o descarte de ruídos e distorções.

Em algumas implementações como a da biblioteca OpenCV, a imagem pode serdividida em 9 “layers” correspondendo a divisões na angulação dentre 180 graus (0-180graus, 20 graus, 40 graus e assim sucessivamente), sendo cada uma correspondente aum valor do histograma, e cada célula desses “layers” representando a distribuição damagnitude naquele ponto.

Page 15: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

14

Figura 2 – Exemplo dos vetores de gradiente com sua direção e magnitude.

Page 16: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

15

2.1.2 Padrões Locais Binários (LBP)

É uma técnica de extração de características que assim como o HOG funcionagerando padrões a partir dos quadrantes de uma imagem, sendo amplamente aplicado noreconhecimento de texturas[4].

Nessa técnica a imagem também é subdividida em quadrantes, os pixels de cadaquadrante são comparados com seus 8 vizinhos diretos geralmente (superior, superiordireito, direito, inferior direito, inferior central, inferior esquerdo, esquerdo e superioresquerdo). Aonde o valor do pixel central for menor do que o valor do vizinho coloca-se odígito “0”, do contrário escreve-se “1”, esses vizinhos formam então um padrão binário de 8bits que pode ser gerado no sentido horário ou anti-horário dependendo da implementaçãoassim como na Figura 4. Gerado os padrões em todo o quadrante, transforma-se os mesmosem um histograma, e então podemos usar esses padrões da mesma forma que o HOG notreinamento de inteligências artificiais.

Um uso comum do LBP além da detecção de texturas é aliado ao HOG paraotimizar o reconhecimento de objetos[5].

2.1.3 Cascata Haar

O Haar Cascade consiste na verdade de duas técnicas que cooperam para o reconhe-cimento. Dado uma imagem temos a iteração por Janelas Deslizantes que vai repassandoos recortes de cada Frame para a técnica[6].

O Haar em si faz a extração das características de uma imagem, utiliza os filtrosde Haar (Figura 5), por isso o nome. Para fazer a extração, uma imagem deve passar poruma série desses filtros (Figura 6).

A extração usando o Haar alimenta a outra parte da técnica que é o Cascade(cascata), que consiste basicamente em uma árvore de decisão onde cada nível da árvoreé chamado de estágio. Para uma imagem ser reconhecida nessa técnica, ela deve passarpor todos os estágios da árvore de forma positiva, vale lembrar que tomando uma decisãocomo negativa em um estágio, o reconhecimento é tomado como falso e o algoritmo pulapara o próximo frame.

A árvore de decisão tem a ajuda do “Adaboost” que nada mais é do que uma outratécnica para Aprendizado de Máquina, ela reforça resultados anteriores tidos como falsos,otimizando assim as decisões futuras.

2.1.4 Técnicas de Extração baseadas em Redes Neurais

As técnicas descritas anteriormente são consideradas clássicas, foram criadas a maisde dez anos, ainda são populares mas vem perdendo espaço para técnicas mais recentesbaseadas em Redes Neurais Profundas (Deep Neural Networks). Estas técnicas fazem a

Page 17: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

16

extração de características e classificação de uma só vez, e sofrem menos com problemascomo perda de detecções, casos de falsa detecção, detecções duplicadas e demarcaçõesfora da realidade.

Ambas as técnicas são baseadas em Redes Neurais Convolucionais (CNNs) (quesão redes neurais que tendem a imitar processos biológicos do nosso cérebro como osneurônios). Elas se organizam de forma a responder somente em determinadas partes docampo de visão quando sozinhos, e necessitam de pouco pré-processamento para funcionar.

Alguns exemplos de modelos de redes neurais profundas com resultados no estado-da-arte em detecção e reconhecimento de objetos:

∙ Single Shot Detection (SSD): Modelo de Rede Neural Convolutiva (CNN em inglês)capaz de encontrar objetos em uma imagem realizando apenas uma única verificação,por isso o nome Single Shot. Ela gera caixas de contorno com medidas arbitráriasentre os quadrantes e então identifica o conteúdo da caixa usando de redes neuraistreinadas com datasets de objetos[7].

∙ You Only Look Once (Yolo): outro modelo baseado em CNNs voltado para reconhe-cer objetos em uma imagem muito carregada com os mais diversos tipos de objetos,possui várias versões (v1, v2 ou 9000[8] e v3[9]).

2.2 Aprendizado de Máquina

O Aprendizado de Máquina é uma forma de resolver problemas complexos a partirde dados pré inseridos. Os dados são utilizados para o treinamento de modelos tornando-osmuito mais precisos, ou seja, melhorar com a experiência[10].

Os modelos são treinados de forma a minimizar casos de erro, gerando mais infe-rências corretas a medida que mais dados vão sendo apresentados a eles[11].

Tais modelos de Aprendizado de Máquina podem ser divididos em tipos distintosde aprendizagem[12] que são utilizados dependendo do que a solução requer, os tipos maiscomuns serão citados a seguir.

2.2.1 Aprendizado Supervisionado

A aprendizagem do agente ocorre por meio de um conjunto de dados de entradaacompanhados de rótulos. Ele aprende o significado de cada caso ou ação por determi-nada legenda que o explicita. Como exemplo de método de aprendizagem desta categoriatemos a Classificação e Regressão: O agente aprendiz deve rotular ou estimar valores desaída a partir de novos casos de entradas com base no treinamento. Quando é feito arotulação com valores discretos, temos um problema de classificação, e se tivermos valores

Page 18: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

17

de saída contínuos então trata-se de um problema de regressão. Um algoritmo de Classi-ficação/Regressão supervisionado muito utilizado é o SVM ou Support Vector Machine,tal algoritmo consiste em a partir de um conjunto de dados rotulados gerar uma linha(mais precisamente um vetor mas também conhecido como Hiperplano) que separe doisrótulos distintos como mostrado na Figura 7 a partir de uma série de cálculos algébricos etrigonométricos. O SVM é o algoritmo que foi utilizado como classificador neste trabalho.

2.2.2 Aprendizado Não-Supervisionado

O aprendizado do agente ocorre por meio de padrões sem rótulos explícitos em cadacaso. Como exemplo de método de aprendizagem desta categoria temos o Clustering: oscasos são agrupados em clusters ou grupos, o agente aprendiz consegue então reconhecerpadrões e tomar ações se forem necessárias.[13][12]

2.2.3 Aprendizado Por Reforço

A aprendizagem do agente ocorre por meio de recompensas ou punições acimade ações. Como método de aprendizagem desta categoria se aplicam todos os já citadosanteriormente, de forma que o rótulo seria o feedback recebido com as ações do agenteaprendiz.[13][12]

2.3 Varredura por Janelas Deslizantes

Para reconhecermos um objeto qualquer em uma imagem necessitamos fazer umavarredura em toda a imagem extraindo quadros menores com as mesmas proporções dasamostras para então realizarmos o processamento de imagem e descrevermos seu conteúdo.

É importante ressaltar que o uso de técnicas desse tipo são custosas, e que qualquerdiminuição em fatores/cálculos redundantes seria útil para direcionar os recursos utiliza-dos na qualidade, e não em partes de âmbito desnecessário. Afim de evitar demasiadoprocessamento de quadros desnecessários podemos otimizar a varredura não realizandoo recorte de quadro a quadro com o intervalo de apenas um pixel, mas ignorando umintervalo maior de pixels. Tal margem que devemos ignorar deve ser antes testada afimde obtermos o melhor resultado sem perdermos qualidade na detecção[14].

2.4 Homografia Planar

Após resolver o problema de detecção, será usada a técnica de Homografia Planarpara a conversão entre espaço e plano[15], a idéia da técnica é utilizar uma sequência depontos em pixels e seus valores correspondentes em coordenadas do campo de futebol,estimando assim uma função de transferência das coordenadas do plano Imagem para umplano representando o Campo hipotético.

Page 19: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

18

A título de curiosidade, tomaremos neste trabalho como posição do jogador nocampo o ponto 𝑝 = (𝑝𝑥, 𝑝𝑦), que simboliza a base do retângulo de identificação e demar-cação dos jogadores. Então, supondo um ponto 𝑝 = (𝑝𝑥, 𝑝𝑦) em coordenadas da imagem(pixels), e seu ponto �⃗� = (𝑐𝑥, 𝑐𝑦) correspondente (em coordenadas do campo), existe umafunção 𝑓 tal que:

𝑓(𝑝) = �⃗�. (2.1)

Page 20: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

19

Figura 3 – Amostra das camadas que descrevem uma imagem de acordo com a angulaçãodo gradiente (nesse exemplo o nosso dataset foi somente de imagens com pes-soas em posição frontal, analisamos todo o conjunto e tiramos a média paraobtermos as silhuetas. Temos aqui as 9 camadas citadas anteriormente).

Page 21: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

20

Figura 4 – Exemplo da aplicação do LBP em um dado ponto, padrão binário gerado nosentido horário.

Figura 5 – Amostra dos Filtros de Haar.

Page 22: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

21

Figura 6 – Demonstração de uma imagem sendo testada nos Filtros de Haar.

Figura 7 – Exemplificação de uma SVM contendo um Hiperplano separando os dadosrotulados.

Page 23: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

22

3 TRABALHOS RELACIONADOS

Podemos citar essencialmente dois artigos de trabalhos que partem de uma pro-posta similar a deste trabalho.

Um dos artigos parte da idéia de seguir jogadores de basquete em uma partida,mostrando em um mapa os caminhos que cada jogador rotulado com seu nome percorreuem quadra[16]. Na proposta dos pesquisadores, fez se o uso de “Deformable Part Model”(DPM) para a detecção dos jogadores, Aprendizado de Máquina (mais precisamente umalgoritmo de regressão logística) aplicado a histogramas de RGB de cada moldura con-tendo jogadores para diferenciar as equipes e ignorar pessoas da arquibancada e árbitros,além disso usou-se um outro algoritmo apelidado de “tracklet” para seguir os jogadoresem quadra. Um ponto a se levar em consideração na implementação nesse artigo é o usode Homografia Planar para transcrever a posição dos jogadores para o mapa do históricoem quadra assim como o proposto em nosso trabalho.

No segundo artigo em contrapartida, podemos observar a abordagem da detecçãomais próxima da do nosso trabalho. Assim como em nosso trabalho, a idéia é utilizarHOG aliado a uma SVM para o reconhecimento de jogadores de futebol também[17]. Adiferença presente entre os trabalhos é que na proposta do artigo em questão há o uso deoperações de Segmentação por Cores e também de um modelo tridimensional para quehaja acompanhamento dos jogadores em campo e detecção de oclusão, otimizando aindamais falsas detecções e perda de detecções.

Page 24: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

23

4 MÉTODO PROPOSTO

Neste capítulo iremos detalhar os passos do método proposto.

Inicialmente na fase de pré processamento da aplicação, temos o treinamento deuma IA, a partir de um dataset vasto e diversificado é extraído a descrição HOG decada uma das imagens-amostra. Como o objetivo é ter um treinamento supervisionadodo modelo é passado esse conjunto de descrições junto de seus rótulos para o treinamentoda SVM.

Após o treino da SVM é iniciada a fase de processamento quadro a quadro dasimagens em si, consistindo basicamente em a partir do video de uma partida de futebolrealizar a varredura de cada frame usando a técnica das Janelas Deslizantes. São recorta-dos então quadros de tamanho pré-definido e em seguida gerada a sua respectiva descriçãoHOG. O resultado da descrição é testado no modelo SVM previamente treinado e entãodescobrimos se o recorte implica em um resultado positivo ou negativo de um jogador. Seo recorte for de um jogador, salva se o par x,y da aresta inferior do recorte (base).

Após encontrarmos todos os jogadores contidos em um frame, é executado o algo-ritmo algébrico chamado Homografia Planar para convertermos as posições.

Cada coordenada (x,y) que simboliza uma posição no campo de futebol presentena imagem é convertido para uma outra posição (x,y) em um mapa bidimensional docampo, representando cada jogador com a sua respectiva posição atual no frame.

Page 25: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

24

Figura 8 – Pipeline exemplificando todo o fluxo para chegar no resultado.

Page 26: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

25

5 RESULTADOS EXPERIMENTAIS

Como resultado na fase de treinamento da SVM, após realizar alguns testes va-riados, podemos citar o experimento para definir o tamanho ideal dos quadrantes e danormalização de blocos.

Usando o HOG e a SVM implementado na biblioteca OpenCV, realizamos algunstestes visando os parâmetros de quadrantes, e das normalizações de blocos, observamos ataxa de acertos após o treino de nossa SVM com um dataset de 600 imagens negativas defundo, e 200 imagens positivas de jogadores (entre posições frontais, laterais entre outras).Após treinarmos o modelo com o Dataset, testamos o classificador com 100 imagenspositivas e 100 imagens negativas, ambas de forma original e invertida horizontalmente.Os resultados das taxas de acertos você pode ver a seguir:

Observando os resultados mostrados na Tabela 1, optamos por usar o padrãoQuadrante de 4x4 pixels e Normalização de Blocos de 2x2 pixels, mas porque usar essepadrão e não o de Quadrante de 2x2 pixels sem normalização ? O ponto é que o primeirooferece resultados próximos do segundo, além de que o segundo necessita de muito maisprocessamento, logo pode vir a gerar gargalos na análise.

Comparando a silhueta gerada pelo padrão de Quadrante de 2x2 pixels sem nor-malização mostrada na Figura 9, com a escolhida para ser usada mostrada na Figura 3,podemos notar as silhuetas de pessoas facilmente em ambas, ou seja, não iríamos percebergrandes diferenças entre usar um padrão e outro.

Parâmetros/Acertos Acertos emcasos Positivos

Acertos emcasos Negativos

Quadrante: 8x8 pixelsNormalização de Blocos: 4x4 pixels 97.5% 74%

Quadrante: 8x8 pixelsNormalização de Blocos: 2x2 pixels 75.5% 93.5%

Quadrante: 8x8 pixelsNormalização de Blocos: Nenhuma 77.5% 95.5%

Quadrante: 4x4 pixelsNormalização de Blocos: 2x2 pixels 80% 94.5%

Quadrante: 4x4 pixelsNormalização de Blocos: Nenhuma 76% 98%

Quadrante: 2x2 pixelsNormalização de Blocos: Nenhuma 81% 99.5%

Tabela 1 – Taxa de acertos do detector HOG e SVM com parâmetros distintos.

Page 27: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

26

Figura 9 – Padrão de descrição: Quadrante: 2x2 pixels, Normalização de Blocos: Ne-nhuma.

Page 28: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

27

6 CONCLUSÃO E TRABALHOS FUTUROS

O presente trabalho tem como resultado esperado a compreensão de técnicas avan-çadas de processamento de imagens e inteligência artificial. Além disso espera-se criar umasolução responsável por apresentar a posição dos jogadores em um mapa do campo defutebol a partir de um vídeo/foto de uma partida. Como expectativa pessoal espero quea presente pesquisa sirva de auxílio em pesquisas maiores e mais robustas, que pessoasde fora da vida acadêmica tenham acesso de uma forma benéfica a tais avanços, seja naforma de apenas entretenimento ou qualquer outra forma.

O trabalho visa fornecer suporte para pesquisas futuras no ramo do Esporte/EducaçãoFísica relacionadas ao futebol ou de computação. Na área do esporte podemos esperaravanços na parte de arbitragem de partidas de futebol, talvez alguma espécie de juízautomatizado se formos pensar de forma exacerbada. A curto prazo podemos aguardaralguma ferramenta para facilitar os treinos táticos em clubes de futebol de forma a facilitaro trabalho das comissões técnicas.

Page 29: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

28

REFERÊNCIAS

[1] PANG, Y. et al. Efficient hog human detection. Signal Processing, Elsevier, v. 91,n. 4, p. 773–781, 2011.

[2] DALAL, N.; TRIGGS, B.; SCHMID, C. Human detection using oriented histogramsof flow and appearance. In: SPRINGER. European conference on computer vision.[S.l.], 2006. p. 428–441.

[3] DALAL, N.; TRIGGS, B. Histograms of oriented gradients for human detection.In: IEEE COMPUTER SOCIETY. international Conference on computer vision &Pattern Recognition (CVPR’05). [S.l.], 2005. v. 1, p. 886–893.

[4] OJALA, T.; PIETIKÄINEN, M.; MÄENPÄÄ, T. Multiresolution gray-scaleand rotation invariant texture classification with local binary patterns. IEEETransactions on Pattern Analysis & Machine Intelligence, IEEE, v. 24, n. 7, p.971–987, 2002.

[5] WANG, X.; HAN, T. X.; YAN, S. An hog-lbp human detector with partial occlusionhandling. In: IEEE. 2009 IEEE 12th international conference on computer vision.[S.l.], 2009. p. 32–39.

[6] VIOLA, P.; JONES, M. Rapid object detection using a boosted cascade of simplefeatures. CVPR, v. 1, p. 511–518, 2001.

[7] LIU, W. et al. SSD: Single shot multibox detector. In: ECCV. [S.l.: s.n.], 2016.

[8] REDMON, J.; FARHADI, A. Yolo9000: better, faster, stronger. In: Proceedings ofthe IEEE conference on computer vision and pattern recognition. [S.l.: s.n.], 2017. p.7263–7271.

[9] REDMON, J.; FARHADI, A. Yolov3: An incremental improvement. arXiv, 2018.

[10] MITCHELL, T. M. Machine Learning. [S.l.]: McGraw-Hill, 1997.

[11] SMOLA, A.; VISHWANATHAN, S. Introduction to machine learning. CambridgeUniversity, UK, v. 32, p. 34, 2008.

[12] RUSSELL, S. J.; NORVIG, P. Artificial intelligence: a modern approach. 3th. ed.[S.l.]: Malaysia; Pearson Education Limited„ 2013.

[13] COPPIN, B. Artificial intelligence illuminated. [S.l.]: Jones & Bartlett Learning,2004.

[14] LAMPERT, C. H.; BLASCHKO, M. B.; HOFMANN, T. Beyond sliding windows:Object localization by efficient subwindow search. In: IEEE. 2008 IEEE conferenceon computer vision and pattern recognition. [S.l.], 2008. p. 1–8.

[15] AGARWAL, A.; JAWAHAR, C.; NARAYANAN, P. A survey of planar homographyestimation techniques. Centre for Visual Information Technology, Tech. Rep.IIIT/TR/2005/12, 2005.

Page 30: VITORHUGODASILVACUSTÓDIO€¦ · VITORHUGODASILVACUSTÓDIO DETECÇÃOEREMAPEAMENTODEJOGADORESEM PARTIDASDEFUTEBOL VersãoPreliminardeTrabalhodeConclusão de Curso apresentado ao

29

[16] LU, W.-L. et al. Learning to track and identify players from broadcast sports videos.IEEE transactions on pattern analysis and machine intelligence, IEEE, v. 35, n. 7,p. 1704–1716, 2013.

[17] MAĆKOWIAK, S. et al. Football player detection in video broadcast. In:SPRINGER. International Conference on Computer Vision and Graphics. [S.l.],2010. p. 118–125.