Reconhecimento de imagem e realidade aumentada
17
Coders on Beers - iOS Fevereiro 2018
-
Upload
concrete -
Category
Technology
-
view
29 -
download
3
Transcript of Reconhecimento de imagem e realidade aumentada
Coders on Beers - iOS
Fevereiro 2018
Reconhecimento de Imagem com Realidade
Aumentada
Integrando ARKit, Vision e Core ML para reconhecercoisas
Brenno Ferrari
• Trabalho com mobile desde 2012
• Já mexi com diversas tecnologias na área, desde Nokia N9 (MeeGo),
Blackberry 10 (Cascades), PhoneGap/Ionic e até mesmo Android
• Desenvolvedor iOS @ Concrete desde 2017
• Estou buscando conhecimentos em Data Science, Machine Learning
e Deep Learning visando integrá-los ao meu trabalho
O que vamos falar?
O que usar pra exibir o conteúdo com realidade aumentada?
• SpriteKit
• SceneKit
APIs
• ARKit
• Vision
• Core ML
O que usar?
O que usar?
SpriteKit
SceneKit • Existe desde o iOS 7• Usado para conteúdo 2D• Faz uso de sprites, tem suporte built-in dentro do Xcode• Fácil de usar, não requer tanto esforço na
implementação
O que usar?
SpriteKit
SceneKit • Existe desde o iOS 8• Usado para conteúdo 3D• Engine de alta performance• Fácil de usar, não requer tanto esforço na
implementação
APIs
APIs
ARKit
Vision
Core ML
• API incluída no iOS 11• Precisa de um device com processador A9 ou superior• iPhone 6s, 6s Plus, SE, iPad (2017) ou superior• Integra câmera com movimentos• Se integra ao SpriteKit e/ou SceneKit
APIs
ARKit
Vision
Core ML
• API incluída no iOS 11• Análise de imagem de alta performance• Implementa técnicas de visão computacional para
reconhecimento de faces, objetos, cenas em imagens e vídeos, etc.
• Faz integração com o Core ML para reconhecimento
APIs
ARKit
Vision
Core ML
• API incluída no iOS 11• Integra modelos treinados de machine learning ao iOS• Faz predição baseado em um dado específico• É usado com Vision API para análise de imagem,
Foundation API para processamento de linguagem natural e GameplayKit para avaliação árvores de decisão
Vamos ao código
App
URLs
• Machine Learning
http://www.r2d3.us/uma-introducao-visual-ao-aprendizado-de-maquina-1/
• Core ML
https://www.customvision.ai/
https://github.com/likedan/Awesome-CoreML-Models
• APIs
https://developer.apple.com/spritekit/
https://developer.apple.com/documentation/scenekit
https://developer.apple.com/arkit/
https://developer.apple.com/documentation/vision
https://developer.apple.com/documentation/coreml
Centro
Av. Presidente Wilson,
231 - 29º andar
(21) 2240-2030
Cidade Monções
Av. Nações Unidas,
11.541 - 3º andar
(11) 4119-0449
Savassi
Av. Getúlio Vargas, 671
Sala 800 - 8º andar
(31) 3360-8900
www.concrete.com.br
