Padrões de design para APIs REST autoescaláveis sem complicação

Apis Rest AutoescaláveisPadrões de design para

QCONSP 2016

Fernando Ultremare

SEM COMPLICAÇÃO

About me

• Full-stack developer desde 1998

• Gerente geral de projetos na Dextra Sistemas

• Criador do YAWP! Framework

@feroult

Agenda

• Introdução

• Padrões de design

• Automação de ambientes

• Na prática com o Google Cloud

• Projetos reais & referências

Introdução

APIs everywhere

• Web, mobile, microservices

• Grande número de usuários

• Grande volume de dados

• Novos requisitos de escalabilidade

Exemplos de aplicações

• Global Apps

Facebook, Twitter, Gmail

• Apps para consumidores

Pedidos on-line, banking,e-commerce

Escalabilidade vertical

• Instâncias mais caras

• Dados em memória

• Ponto único de gargalo

• Menor complexidade

Escalabilidade horizontal

• Instâncias mais baratas

• Dados distribuídos

• Gargalo distribuído

• Maior complexidade

Pode ser bem difícil

• Sistemas distribuídos

• Consistência eventual

• “Ausência” de Joins

• Automação de ambientes

Padrões de design

Aplicação de exemplo

Order City State

Item

* 1* 1

1n

Aggregationorder count

count by status

status: created

prepared delivered


• Código fonte

bit.ly/qconsp2016

Roteamento

• Stateless requests ➝ No client affinity

• Baixa latência ➝

Evite grandes sequências server-side

Chamadas assíncronas (outros serviços)

Use cache intensivamente

• Evite locks ➝ 1 doc = 1 transação

Roteamento

Client Side Server Side

Security

Validation

Regras

OrderItem Item

Create

1 doc = 1 tx

Roteamento

Client Side

Add

Server Side

Security Validation RegrasOrderCreate

Item

Add Item

Security Validation Regras

Security Validation Regras

1 doc = 1 tx

Sharding

• High-throughput para escrita

• Múltiplas instâncias de persistência

• Shard Key

• Replicação

• Dificuldade para Joins

Sharding

POST /orders

Routing

Create Shard Key

replicaçãoentre shards

bye bye joins

grupo deshards

Consultas e consistência eventual

• High-throughput para leitura

• Shard Groups com menos carga

• Nós podem estar desatualizados

Eventual ➝ Possível mas incerto

Eventually ➝ At an unspecified future time


GET /orders?city=sao-paulo

nós quentes

replicação futura

Consultas e consistência forte

• Consultas por chave

• Grupos de documentos por chave pai

• Alterações até o momento ➝ Locks

• Mantenha grupos “User Sized”

• ~ 1 write / sec


GET /orders?city=sao-paulo

nós quentes

espera transações

Pipelines assíncronas

• “Joins” ➝ Views materializadas

• Sums, counts, avgs

• Baixo impacto na latência

• 1 write / sec ➝ Agregadores

• Consistência futura


Order City State

POST /orders

status = 200

GET /cities GET /states

Fluxo Assíncrono


Order City State

POST /orders GET /cities GET /states

status = 200

Fluxo Assíncrono


POST /orders

acumuladoresevitam contenção

de escrita

Order

status = 200

City

GET /cities

sequenciamento 1 write / sec


City

Daily Report

Monthly Report

Múltiplas pipelines em paralelo

GET /cities

GET /daily

GET /monthly

POST /orders

Order


Order

Price

Stock

POST /orders

POST /prices

POST /stock

Sales Report

GET /sales

Pipelines convergentes (Joins)

Automação de ambientes

Automação

• Cloud intensive

• Todas as camadas

Front / back-end instances, BD, filas, cache

• Scale Up, Scale Down (elástico)

Scale up and down

tempo

infra

estru

tura

manhã

tarde

noite

• Evita capacidade ociosa

• Menor custo de saída

• Menor custo médio

• Picos inesperados

Soluções e ferramentas

Na prática com o Google Cloud


Order City State

Item

* 1* 1

1n

Aggregationorder count

count by status

status: created

prepared delivered

Projetos reais & referências

Projetos reais

• Pense duas vezes…

• High-throughput

• Dados >> memória

• Simples o suficiente (why not?)

Projetos reais

• Vendas / CRM organização de eventos

• Delivery de comida

Referências

• Design for Scale (Appengine) https://cloud.google.com/appengine/articles/scalability

• Shard or not shardhttps://dzone.com/articles/shard-or-not-shard

• Appengine data pipelineshttps://dl.google.com/googleio/2010/app-engine-data-pipelines.pdf

Referências

• Código fontebit.ly/qconsp2016

• YAWP! Framework yawp.io

Obrigado!@[email protected]

Padrões de design para APIs REST autoescaláveis sem complicação

Technology

Transcript of Padrões de design para APIs REST autoescaláveis sem complicação