Como criar infraestrutura de sites Como criar infraestrutura de sites para receber milhões de usuários?para receber milhões de usuários?

Marcelo Dieder – marcelodieder@gmail.com

FLISOL 2014 / Novo Hamburgo

Internet na AtualidadeInternet na Atualidade

● População Mundial: 7.1 bilhões de pessoas (2013) *

● Número de dispositivos conectado na internet: 39% da população mundial (2013) *

● Crescimento de serviços: Serviços Cloud, Redes sociais, Internet das Coisas.

* Fonte: ITU

Internet na AtualidadeInternet na Atualidade

● Tudo na internet está sendo centralizado no protocolo HTTP!

* Fonte: ITU

Protocolo HTTPProtocolo HTTP● HTTP - Hypertext Transfer Protocol● Versão atual: HTTP/1.1 (RFC 2616)● Futuro prevê melhorias com o HTTP 2.0● Situada na camada de aplicação● Utiliza protocolo TCP como apoio● Utiliza session/cookies como complemento● Mensagem HTTP (Request x Response)

● Requisição● Cabeçalho da mensagem (header)● Corpo da mensagem

Protocolo HTTPProtocolo HTTP(Request x Response)(Request x Response)

Fonte: http://www3.ntu.edu.sg/

Protocolo HTTPProtocolo HTTP(Request x Response)(Request x Response)

Request

Response

Fonte: http://www3.ntu.edu.sg/

Server SideServer Side● Operações ocorridas no lado do servidor

● Exemplos:● Banco de dados● Manipulação de imagens● Busca de arquivos● Linguagens de programação (PHP, JAVA, PERL, RUBY, PYTHON, etc)

Client SideClient Side● Operações ocorridas no lado do cliente (navegador)

● Exemplos: ● Javascript● CSS● HTML● XML● Cookies

Renderização da PáginaRenderização da Página

● Processo de renderização monta o HTML/CSS no server-side (servidor) para ser interpretado pelo client-side (navegador).

● Como agilizar a montagem e entrega de uma página?● Reduzir o tamanho e o número de objetos da página● Evitar busca de conteúdos externos (web) no

server-side e também no client-side● Disponibilizar conteúdo estático sempre que possível● Utilizar cache no server-side, client-side, banco de

dados● Utilizar compressão no protocolo http (gzip)

E a infraestrutura?E a infraestrutura?

● Como criar um ambiente para receber requisições (server-side) de clientes, sem a existência de pontos únicos de falhas?

● É necessário garantir alta disponibilidade dos serviços de:

● Internet (BGP)● Resolução DNS (autoritativo)● Servidor HTTP● Servidor Banco de Dados

Processo de conexão HTTPProcesso de conexão HTTP

Fonte: http://blog.catchpoint.com/

E agora?E agora?

Então, quais os problemas existentes para podermos garantir a alta disponibilidade da infraestrutura e também garantir a entrega de sites rápidos para milhões de usuários?

Problema 1: Alta Disponibilidade do Problema 1: Alta Disponibilidade do registro A do DNSregistro A do DNS

● Todo domínio que possua um site, possui um registro A apontando para um IP. Ex: linux.com aponta 140.211.167.50.

● Mas como garantir a alta disponibilidade do IP?

● Existe a opção de utilizar registros SRV para definir pesos para servidores. Assim como ocorre no registro MX para serviços de e-mail. Infelizmente a RFC do HTTP não suporta SRV, talvez no HTTP 2.0?

● É possível balancear as requisições com a criação de vários registros A, mas isto resolve o problema?

Problema 2: Banco de dadosProblema 2: Banco de dados

● Consultas lentas● Falta de índices● Uso incorreto do vínculo de tabelas● Grande quantidade de registros● Tipo de tabela no MySQL/MariaDB: Myisam x InnoDB

● Myisam: Leitura muito rápida● Myisam: Problemas com locks● InnoDB: Indicado para leitura e escrita● InnoDB: select pode ser mais lento mas ideal para concorrência de inserts, updates e selects

Problema 3: Manipulação de Problema 3: Manipulação de imagensimagens

● A manipulação de imagens (crop, redimensionamento, tratamento) deve ser feito apenas 1 vez e não a cada acesso!

● Se possível separar servidor do tratamento de imagens do servidor de distribuição de conteúdo.

Problema 4: Tamanho de objetosProblema 4: Tamanho de objetos

● Atenção para o tamanho de objetos (imagens, scripts, include de códigos, etc)

● Imagine que o usuário possui plataformas de acesso e velocidade de internet diferentes do que a sua. (celulares, tablets, banda larga, 3G).

● Se o conteúdo é enviado através de um editor, certifique-se que são aplicados filtros para verificar o tamanho do upload de objetos. (ex: imagens)

Problema 5: Consulta a conteúdos Problema 5: Consulta a conteúdos externosexternos

● Objetos externos devem ser utilizados apenas em casos isolados. (ex.: tempo, facebook, twitter, banners, imagens, etc).

● JAMAIS colocar a busca de objetos no processo de renderização de uma página.

● O conteúdo pode ser buscado pelo servidor em processos de apoio (ex.: crontab) ou ainda diretamente no cliente-side (ex.: utilizando javascript).

Problema 6: HTTP x HTTPS - Problema 6: HTTP x HTTPS - Quando utilizar?Quando utilizar?

● HTTP é simples, texto puro, e não há criptografia

● HTTPS realiza criptografia e utiliza mais recursos do servidor e do cliente (cpu, memória, link de internet).

● Utilizar HTTPS em sites envolvendo troca de senhas ou operações de valor.

● Porque utilizar HTTPS em sites de publicação de conteúdo? (ex.: portais, blogs)

● Controlar o uso de HTTP x HTTPS por sessão/cookie.

Cache, cache, cache!Cache, cache, cache!

● Sempre que possível utilize cache● Cache de DNS (ttl dns)● Cache no http server-side● Cache no http client-side● Cache no banco de dados

Como criar infraestrutura de sites Como criar infraestrutura de sites para receber milhões de usuários?para receber milhões de usuários?

● Requisitos ● High Avaiability (HA)● Load Balance (LB)● Crescimento Horizontal● Arquitetura Aberta● Sem pontos de falhas

Camada de virtualizaçãoCamada de virtualização● Garante o HA e LB da máquina virtual● Não garante o HA e o LB da camada de aplicação

● Permite melhor aproveitamento dos recursos do hardware

● Qualquer virtualizador pode ser utilizado (KVM, Xen, Vmware, outros)

● No cenário foi utilizado Vmware como virtualizador.

Replicação do Banco de Dados Replicação do Banco de Dados MySQL (Master-Master)MySQL (Master-Master)

● Permite a replicação do banco de dados em outras instâncias.

● Garante o crescimento horizontal● Existem diversas soluções para replicação do MySQL.

● Sistema nativo do Mysql● Sistema nativo Mysql Cluster● Galera Cluster (Codership)

● Principais problemas das soluções nativas do Mysql:● Split brain● Perda de sincronismo● Complexidade

Galera Cluster (MySQL)Galera Cluster (MySQL)

● Multi-master replication● Replicação sincrona● Transparente para as aplicações● Não é necessário dividir os nós de escrita e leitura● Replicação em nível de arquivo● Utiliza sistema de votação - Quorum-based system (mínimo

3 nós para evitar split brain)● 2 nós → Split Brain!● Suporta SSL● Utiliza necessariamente engine Innodb● Suportado também com MariaDB

Galera Cluster (MySQL)Galera Cluster (MySQL)

HA e LB do banco de dados com HA e LB do banco de dados com proxyproxy

● Para LB e HA do banco de dados necessita de driver ou sistema de proxy.

● Proxy: Pen, HAProxy, Pound● Driver: mysqlnd (PHP), jdbc connector (JAVA)● Utilizando driver pode necessitar de mudanças de código e

não tem tanta eficiência.● Utilizando proxy tem melhor resultados● Utilizado o HAProxy

HAproxyHAproxy

● Open source HTTP/TCP load balancer● Pode fazer proxy de vários protocolos● Utilizado para realizar o balanceamento e alta

disponibilidade do uso do banco de dados.● Instalado em cada servidor de aplicação● Aplicação utilizava um banco “local” (localhost)

Sistema de arquivos distribuído Sistema de arquivos distribuído ● Todos os nós de aplicação precisam acessar o mesmo

volume de arquivos.● Para isto é necessário um sistema de arquivos

distribuido ou compartilhado.● Opções: GFS2 (RedHat), OFCS2 (Oracle)

● Também é necessário a replicação do bloco de dados ou o compartilhamento de um mesmo bloco. Ex: Ceph, Volume iSCSI, DRDB.

● No cenário foi utilizado OCFS2 (melhor documentação e estabilidade) e RAW Device Mapping no Vmware.

HTTP para a aplicaçãoHTTP para a aplicação

● Aplicação para receber requisições HTTP● Opções: Nginx, Apache, Lighttpd, Tomcat, outros.

● Utilizado o serviço Apache.

Replicação de sessãoReplicação de sessão

● Replicação de sessão para garantir sessão de usuários autenticados entre os nós de aplicação.

● Alteração da regra: session.save_path no php.ini apontando para uma pasta replicado entre o cluster de aplicação.

Cache da aplicação HTTPCache da aplicação HTTP● Melhora a experiência de navegação do usuário● Reduz significativamente a carga dos servidores de

aplicação.● Efetua LB e HA entre os servidores de aplicação.● Sistema de cache utilizado garante a entrega de páginas

estáticas.● O cache, tempo (ttl), pode ser configurado em nível de

objeto (fotos, html, imagens, css, etc.)● Alternativas disponíveis: Varnish, Apache Proxy, Squid.● Utilizado: Varnish● Varnish: Permite regras baseados em cookies, pastas,

domínios, objetos.

Alta disponibilidade do IP Alta disponibilidade do IP ● Utilizado dois servidores FreeBSD com o protocolo CARP.● Alternativa ao protocolo VRRP● Protocolo CARP é exclusivo da família *BSD● CARP pode garantir HA de um IP, resolvendo o problema

da publicação do DNS registro A.● Também suporta o LB, apesar de não ter sido utilizado no

cenário.● Consiste em disponibilizar um IP virtual que é

compartilhado entre n+1 hosts.

Alta disponibilidade do IP - CarpAlta disponibilidade do IP - Carp

Fonte:http://nomoa.com/

Alta disponibilidade do serviço de Alta disponibilidade do serviço de internetinternet

● É necessário ser uma operadora de Internet Autonomous System (AS) com mais de duas operadores.

● Possui um bloco de ips independente da operadora utilizada.

Topologia final do modeloTopologia final do modelo

Dúvidas?Dúvidas?

OBRIGADO!

Marcelo Dieder marcelodieder@gmail.com