White paper:

MongoDB e EMC XtremIO Validação de desempenho consistente, capacidade de scale-out sob demanda, redução de dados em linha e serviços ágeis de snapshot

Resumo do EMC E-LabTM Vertical

Solutions Group

Este white paper fornece validação técnica para a implementação do MongoDB no array totalmente flash EMC XtremIO e explica os principais benefícios da solução.

Maio de 2015

MongoDB e EMC XtremIO 2 Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Copyright © 2015 EMC Corporation. Todos os direitos reservados.

A EMC assegura que as informações apresentadas neste documento estão corretas na data da publicação. As informações estão sujeitas a alterações sem prévio aviso.

As informações contidas nesta publicação são fornecidas "no estado em que se encontram". A EMC Corporation não faz declarações nem oferece garantias de nenhum tipo relativas às informações desta publicação e especificamente se isenta de garantias implícitas de comercialização ou adequação a qualquer propósito específico.

O uso, a cópia e a distribuição de qualquer software da EMC descrito nesta publicação exigem uma licença de software.

Para obter uma lista mais atualizada de produtos da EMC, consulte EMC Corporation Trademarks em brazil.emc.com.

Todas as marcas comerciais aqui mencionadas pertencem a seus respectivos proprietários.

Número da peça H14226

MongoDB e EMC XtremIO 3 Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Índice

Resumo executivo .............................................................................................................................. 4

Introdução .......................................................................................................................................... 5 MongoDB ......................................................................................................................................... 5 Business case .................................................................................................................................. 5

Benefícios da solução XtremIO e MongoDB ......................................................................................... 6 Desempenho consistente ................................................................................................................ 7

Testes de desempenho para a operação de banco de dados MongoDB no XtremIO ..................... 7

Resumo do teste ......................................................................................................................... 7

Detalhes do teste ........................................................................................................................ 7

Desempenho e capacidade dimensionável sob demanda .............................................................. 11 Redução econômica de dados em linha ......................................................................................... 11

Eficiência geral para a redução do custo total da infraestrutura do MongoDB ............................ 11

Serviços ágeis de snapshot e clone ............................................................................................... 12 Clonagem do banco de dados MongoDB em minutos com snapshot do XtremIO ....................... 13

Simplicidade no gerenciamento ..................................................................................................... 14 Proteção avançada de dados e alta disponibilidade ...................................................................... 15 Criptografia gratuita de dados em repouso .................................................................................... 16

Sobre o ambiente de teste ................................................................................................................ 17 Configuração de servidores ............................................................................................................ 17 Configuração de software ............................................................................................................... 17

Conclusão ......................................................................................................................................... 18

Referências ...................................................................................................................................... 19

MongoDB e EMC XtremIO 4 Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Resumo executivo Este documento fornece validação técnica para a implementação do MongoDB 2.6.7 no array flash EMC XtremIO.

Este white paper examina os benefícios da solução e fornece uma introdução para a implementação de um storage array XtremIO em um ambiente MongoDB, inclusive:

• Desempenho consistente com latências inferiores a um milésimo

de segundo • Desempenho e capacidade de scale-out sob demanda • Redução considerável no armazenamento necessário para bancos

de dados • Criação de clones de banco de dados em minutos e sem interrupção • Alta disponibilidade e segurança na infraestrutura de banco de dados

Este documento se destina ao uso por desenvolvedores, engenheiros, administradores de armazenamento e de banco de dados, bem como parceiros que desejam implementar o storage array EMC XtremIO em um ambiente MongoDB.

MongoDB e EMC XtremIO 5 Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Introdução

MongoDB

Business case

O MongoDB é um dos principais bancos de dados de última geração e que ajuda as empresas a transformar seus setores aproveitando o poder dos dados. As empresas mais sofisticadas do mundo, de start-ups de ponta a empresas maiores, usam o MongoDB para criar aplicativos inéditos em uma fração do custo dos bancos de dados legados. O MongoDB é o ecossistema de banco de dados que cresce mais rapidamente, com mais de 9 milhões de downloads, milhares de clientes e mais de 750 parceiros de tecnologia e serviços. A maioria das implementações do MongoDB usa DAS (Direct Attached Storage, armazenamento com conexão direta), principalmente porque o DAS é inicialmente considerado simples, rápido e econômico. Quase todos os ambientes MongoDB começam em pequeno porte, com alguns nós e requisitos básicos de operações de banco de dados/s. Os desafios começam à medida que as empresas desejam dimensionar. As dificuldades surgem à medida que esses aplicativos de última geração ganham adoção mais ampla, resultando em crescimento e crescentes requisitos de desempenho da infraestrutura subjacente. Conforme o ambiente é dimensionado, podem surgir problemas com o DAS em torno da complexidade e ineficiência no gerenciamento de desempenho, capacidade e disponibilidade em ilhas de instâncias de DAS, aumentando os riscos e custos para a organização. Por esses motivos, muitas organizações de TI estão consolidando suas arquiteturas DAS MongoDB em AFAs (All-Flash Array, array totalmente flash) XtremIO. O XtremIO é o array totalmente flash líder que transforma as cargas de trabalho do MongoDB por meio de uma arquitetura totalmente flash consolidada, oferecendo scale-out, desempenho sob demanda e capacidade com latência consistente e inferiores a um milésimo de segundo para aplicativos. Um conjunto avançado de serviços de dados em linha e sem interrupções, inclusive desduplicação, compactação e serviços de snapshot com uso eficiente de espaço, garante que o XtremIO possa ser extremamente econômico quando comparado à arquitetura DAS para ambientes MongoDB. Ao contrário do DAS, o XtremIO também oferece criptografia avançada de dados em repouso e os serviços de disponibilidade mais avançados, inclusive upgrades sem interrupções — tudo isso sem degradação do desempenho, mantendo os ambientes MongoDB disponíveis e protegidos. E a capacidade de consolidar ambientes com e sem produção juntamente com a clonagem em memória do XtremIO oferece novos recursos para o desenvolvimento ágil de aplicativos.

MongoDB e EMC XtremIO 6 Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Benefícios da solução XtremIO e MongoDB O array totalmente flash EMC XtremIO é a escolha ideal para clientes que querem armazenamento scale-out fácil de usar, econômico e com desempenho consistente, com os benefícios adicionais de redução de dados e serviços de dados que o DAS não pode oferecer. Os benefícios para a implementação do MongoDB no XtremIO são os seguintes:

Desempenho consistente

Capacidade e desempenho de scale-out sob demanda

Redução econômica de dados em linha

Serviços ágeis de snapshot

Administração e gerenciamento simples

Proteção avançada de dados e alta disponibilidade

Criptografia gratuita de dados em repouso

Neste documento, vamos abordar cada uma dessas vantagens em detalhes.

MongoDB e EMC XtremIO 7 Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Desempenho consistente

O XtremIO é a plataforma de armazenamento ideal para acelerar bancos de dados MongoDB, fornecendo excelente velocidade transacional com latência consistentemente baixa. A distribuição de dados automaticamente balanceada do XtremIO possibilita um desempenho consistente em todo o ciclo de vida dos volumes, independentemente dos padrões de I/O, do posicionamento de dados ou do tamanho do cluster. Com os benefícios de algoritmos otimizados para flash e controladoras ativo-ativo, o XtremIO oferece desempenho consistente mesmo sob cargas de trabalho mistas. Além disso, esse desempenho permanece totalmente balanceado e a latência permanece abaixo de um milésimo de segundo mesmo em escala.

Testes de desempenho para a operação de banco de dados MongoDB no XtremIO

Os testes a seguir ilustram o desempenho consistente do XtremIO usando um cluster com dois X-Bricks e diferentes operações de consulta e gravação em um ambiente MongoDB. Executamos dois cenários de teste, utilizando o MongoPerf para simular diferentes operações do MongoDB em um volume do XtremIO.

O MongoPerf é um utilitário para a verificação do desempenho de I/O de armazenamento independentemente do MongoDB. Ele registra e apresenta testes de I/O aleatório.

Resumo do teste

Observação: a tabela acima ilustra o desempenho que pode ser esperado de um único nó MongoDB conectado a um cluster de X-Brick do XtremIO. Conforme mais nós são adicionados, um cluster de X-Brick duplo (como o usado no teste) é capaz de processar capacidades substancialmente maiores de largura de banda e I/O de armazenamento.

Detalhes do teste

Cenário do teste 1: Simular operações de gravação de banco de dados MongoDB com o MongoPerf O MongoPerf é executado com os seguintes parâmetros na LUN do MongoDB:

nThreads:16, fileSizeMB:1000000, mmf:true, r: false, w:true

Cenário do teste

Detalhes IOPS de armazenamento

Latência Banco de dados Operações/s

Teste 1

Simular operações de gravação de banco de dados do MongoDB em arquivo de teste de 1 TB

50.000 (50% de leitura, 50% de gravação)

< 0,25 ms 25.000

Teste 2

Simular operação mista (consulta e gravação) do MongoDB em arquivo de teste de 1 TB

55.000 (60% de leitura, 40% de gravação)

< 0,25 ms 45.000

MongoDB e EMC XtremIO 8 Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Expansão do arquivo de teste (100% de operações de gravação)

O gráfico mostra que o XtremIO foi de fácil dimensionamento até praticamente 2.000 MB/s da largura de banda de gravação durante a expansão de um arquivo de teste de 1 TB devido à sua arquitetura de controladora ativo-ativo múltipla.

Simulação de operações de banco de dados no arquivo de teste

IOPS de armazenamento durante as operações de banco de dados

Volume de largura de banda em MB/s durante a expansão do arquivo de teste de 1 000 GB

Volume de largura de banda em MB/s durante a expansão do arquivo de teste de 1.000 GB

MongoDB e EMC XtremIO 9 Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

A latência de armazenamento se manteve constante em microssegundos durante as operações de banco de dados

Cenário do teste 2:

Simular operações mistas do banco de dados MongoDB com o MongoPerf O MongoPerf é executado com os seguintes parâmetros na LUN do MongoDB:

nThreads:16, fileSizeMB:1000000, mmf:true, r: true, w:true

Expansão do arquivo de teste

MongoDB e EMC XtremIO 10 Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Largura de banda do volume em MB/s durante a expansão do arquivo de teste de 1.000 GB

Simulação de operações de banco de dados no arquivo de teste

IOPS de armazenamento durante as operações de banco de dados

Latência de armazenamento em microssegundos durante as operações de banco de dados

11 MongoDB e EMC XtremIO Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Desempenho e capacidade dimensionável sob demanda

Redução econômica de dados em linha

O MongoDB pode ser facilmente dimensionado para oferecer um desempenho rápido e em tempo real para atender às necessidades dos negócios. O XtremIO é o único AFA que pode ser dimensionado para vários nós com aumentos lineares de IOPS, largura de banda e, é claro, capacidade — tudo com a mesma latência consistente inferior a um milésimo de segundo. Conforme as necessidades de seu aplicativo MongoDB crescerem, o XtremIO dimensionará I/O e capacidade linearmente com latência consistente em paralelo — sob demanda, tudo on-line.

O sistema de armazenamento XtremIO é baseado em uma arquitetura de scale-out. O sistema começa com um só componente básico, chamado de X-Brick. Quando for necessário mais desempenho e mais capacidade, o sistema é redimensionado com a adição de X-Bricks. O desempenho é dimensionado de modo linear, garantindo que dois X-Bricks ofereçam o dobro de I/O, quatro X-Bricks ofereçam quatro vezes mais I/O e assim por diante em comparação à configuração com um único X-Brick. A latência permanece consistentemente baixa à medida que o sistema é redimensionado.

Desempenho esperado 2 X-Bricks 4 X-Bricks 6 X-Bricks 8 X-Bricks

Intervalo comum de perfil de I/O (10 a 40%

IOPS 220K – 300K

440K – 600K

660K – 900K

880K – 1,2 milhão

Latência < 1 ms < 1 ms < 1 ms < 1 ms

Alinhando-se com os recursos de desempenho do MongoDB, o flash se torna um componente essencial da arquitetura subjacente; entretanto, o gerenciamento da economia do flash em uma implementação DAS tradicional se torna o desafio. Os recursos de redução de dados do XtremIO, que consistem em desduplicação de compactação, provisionamento thin e serviços de snapshot com economia de espaço, impulsionam uma economia extraordinária de dados, resultando em uma redução no custo total de propriedade. Diferentemente de outros arrays totalmente flash, todos os serviços de dados são ininterruptos e em linha, sem afetar o desempenho.

Eficiência geral para a redução do custo total da infraestrutura do MongoDB

Aproveitando os benefícios do provisionamento thin e da redução de dados em linha, o storage array XtremIO usado nesse teste atingiu uma eficiência geral de capacidade de 22:1. Com o uso de 27,083 TB de capacidade de volume, o XtremIO consumiu apenas 3,98 TB de capacidade física. Vale salientar que o requisito de capacidade de armazenamento foi reduzido em cerca de 7 vezes por meio de compactação e desduplicação ininterrupta.

12 MongoDB e EMC XtremIO Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Para obter mais informações sobre redução de dados, consulte "INTRODUÇÃO AO STORAGE ARRAY EMC XTREMIO (versão 3.0)" em http://support.emc.com

Serviços ágeis de snapshot e clone

O MongoDB fornece aos desenvolvedores a capacidade de aumentar significativamente a produtividade e oferecer um tempo de comercialização mais curto tanto em fluxos de trabalho tradicionais de teste/desenvolvimento quanto ágeis de DevOps. Operações de cópia de armazenamento tradicional não somente afetam o desempenho, mas também são extremamente lentas, difíceis e inúteis — geralmente exigindo horas ou dias para criar cópias de força bruta, prejudicando a capacidade do Mongo de acelerar os ciclos de desenvolvimento ágil.

Os serviços revolucionários de snapshot do XtremIO aprimoram processos ágeis e oferecem novos recursos que transformam seus negócios. Utilizando exclusivos snapshots em memória e instantâneos com desempenho completo, o XtremIO pode consolidar ambientes de teste/desenvolvimento e produção em uma só plataforma. Isso resulta no fornecimento de ambientes paralelos aos desenvolvedores, gerando quantas cópias for necessário sem afetar SLAs de produção. A consolidação dessas cargas de trabalho e snapshots melhora o TCO, acelera o fluxo de trabalho e até mesmo permite que cópias de desenvolvimento sejam testadas com eficiência no ambiente real de produção, tornando o código melhor.

Para obter mais informações sobre o Snapshot do XtremIO, consulte "INTRODUÇÃO AO STORAGE ARRAY EMC XTREMIO (versão 3.0)" em http://support.emc.com

13 MongoDB e EMC XtremIO Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Clonagem do banco de dados MongoDB em minutos com snapshot do XtremIO

Os clientes podem utilizar o XtremIO para clonar cópias de backup, teste/desenvolvimento e produção do banco de dados. O desempenho do clone será idêntico ao do volume de produção.

A cópia de um banco de dados de um nó para outro pode ser feita nas 4 etapas a seguir.

(Observação: para obter um estado consistente do aplicativo, todas as operações necessárias precisam ser feitas no banco de dados e no sistema operacional antes de fazer a cópia)

Etapa 1: obter e nomear uma cópia nos volumes que hospedam o banco de dados

Etapa 2: conectar a cópia ao host de destino com 4 cliques

14 MongoDB e EMC XtremIO Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Etapa 3: examinar e montar o snapshot no host de destino. Por exemplo, no Linux você pode usar

# rescan-scsi-bus.sh -i -r

Editar /etc/fstab e adicionar o conteúdo correto

/dev/mapper/mpathb1 /mongodb ext4 discard,noatime 1 2

#mount /mongodb

Etapa 4: iniciar o banco de dados apontando dbpath para o snapshot Mongod --dbpath /mongodb/data --logpath /mongodb/log/config.log --port 27017 -- fork

Um clone MongoDB é criado. Os clientes podem utilizar esse clone MongoDB para desenvolvimento e teste paralelamente à produção.

Simplicidade no gerenciamento

O MongoDB precisa ser executado em uma plataforma de armazenamento compatível com sua facilidade de uso. Implementações de DAS em grande escala resultam em ilhas de armazenamento que são ineficientes e difíceis de gerenciar. Sempre que um servidor é adicionado ao ambiente para acompanhar os maiores requisitos de aplicativo, a complexidade do gerenciamento fica ainda pior, pois cada servidor precisa ser administrado separadamente. Ao contrário do DAS, o XtremIO pode consolidar todos os aplicativos e clusters mongo em uma plataforma simples, para que você nunca precise se preocupar com a supervisão de incontáveis silos de armazenamento. Assim como a facilidade de uso do MongoDB, o XtremIO é extremamente fácil de configurar e gerenciar, sem nenhuma configuração de RAID, sem classificação por níveis e sem a necessidade de configurações de otimização e ajuste manual de desempenho. O XtremIO não exige nenhuma habilidade de armazenamento e pouco treinamento, e os administradores do MongoDB podem monitorar todos os volumes até cada instância MongoDB fornecendo relatórios granulares. Com o XtremIO, gerenciar um ambiente de scale-out MongoDB nunca foi tão fácil. Rastreie facilmente o crescimento de capacidade física em relação ao crescimento efetivo para simplificar o planejamento de sua expansão. Ao expandir o tamanho do seu cluster e adicionar mais X-Bricks, o conjunto de dados é automaticamente redistribuído em todo o cluster on-line e todos os arrays podem ser gerenciados em uma só GUI. Os recursos de pesquisa e marcação do XtremIO alinham o gerenciamento de armazenamento às necessidades dos negócios, permitindo a marcação de volumes com rótulos para teste/desenvolvimento ou para uma instância específica do mongo, oferecendo também a capacidade de filtrar os relatórios por marca.

15 MongoDB e EMC XtremIO Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

A figura abaixo mostra o painel de controle da GUI, que permite ao usuário monitorar o armazenamento, o desempenho e os alertas do sistema.

A figura abaixo mostra o painel de controle da GUI que permite ao usuário monitorar o status do hardware

Proteção avançada de dados e alta disponibilidade

Ambientes MongoDB são cada vez mais essenciais e exigem alta disponibilidade de arquitetura e serviços de continuidade de negócios compatíveis. XtremIO é N-way ativo-ativo, sem nenhum ponto único de falha. O XtremIO é avaliado em campo com disponibilidade superior a 99,999%, e quando combinado com soluções EMC para habilitar datacenters ativo/ativo, a disponibilidade passa a ser superior a 99,9999%. Ele também oferece as melhores soluções EMC de mobilidade de dados e replicação da categoria Além disso, os serviços de desempenho integral e de snapshot sem sobrecarga do XtremIO também podem ser usados para backup e proteção contra corrupção lógica. Por fim, o XDP (esquema de proteção de dados do XtremIO) aproveita a natureza de acesso aleatório do flash para oferecer uma sobrecarga de capacidade muito menor,

16 MongoDB e EMC XtremIO Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

uma proteção de dados superior e resistência e desempenho do flash muito melhores do que qualquer algoritmo RAID.

Para obter mais informações sobre a alta disponibilidade e proteção avançada de dados, consulte "INTRODUÇÃO AO ARRAY STORAGE EMC XTREMIO (versão 3.0)" em http://support.emc.com

Criptografia gratuita de dados em repouso

Com clientes adotando o MongoDB em todas as áreas da empresa, a confidencialidade dos dados se torna uma prioridade essencial. O XtremIO oferece criptografia de dados em repouso baseada no array que é gratuita e em linha, permitindo que os clientes atendam às necessidades regulamentares sem custo e complexidade adicionais. Isso elimina a necessidade de qualquer software de criptografia de terceiros.

A D@RE (Data at Rest Encryption) fornece criptografia em linha para garantir que todos os dados armazenados nos SSDs sejam inutilizáveis se a mídia SSD for removida. Isso impede o acesso não autorizado em caso de roubo ou perda durante o transporte, e possibilita a devolução/substituição de componentes com defeito que tenham dados confidenciais.

Para obter mais informações sobre a criptografia de dados em repouso, consulte "INTRODUÇÃO AO STORAGE ARRAY EMC XTREMIO (versão 3.0)” em http://support.emc.com

17 MongoDB e EMC XtremIO Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Descrição

Sobre o ambiente de teste O diagrama a seguir representa a configuração de hardware neste documento

Configuração de servidores

Configuração de software

Um servidor Cisco UCS C460 foi usado para os testes

Para obter detalhes das configurações de host, consulte "Guia de Configuração de Host para as Versões 2.2.x - 3.0.1 do XtremIO" em http://support.EMC.com

Componente Descrição Processador 4 intel Xeon® E704830, 2,13 GHz

MongoDB Versão 2.6.7

MongoDB Versão 2.6.7

18 MongoDB e EMC XtremIO Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Conclusão

O XtremIO transforma a infraestrutura de armazenamento para seus ambientes MongoDB. O XtremIO fornece uma plataforma revolucionária de scale-out que consolida e acelera fluxos de trabalho de desenvolvimento/teste e produção com serviços incríveis de snapshot e redução de dados. Desenvolvedores, engenheiros e administradores se beneficiarão de uma infraestrutura consolidada e amplamente simplificada para impulsionar o desempenho, o planejamento de capacidade e a disponibilidade do MongoDB, tudo enquanto reduzem e controlam os custos de armazenamento.

• Desempenho consistente com latências inferiores a um milésimo

de segundo • Desempenho e capacidade de scale-out sob demanda • Preços atrativos de flash com redução de dados em linha • Redução considerável no armazenamento necessário para bancos

de dados • Criação de clones de banco de dados em minutos e sem interrupção • Aceleração do desenvolvimento ágil com snapshots com economia

de espaço • Alta disponibilidade e segurança na infraestrutura de banco de dados

19 MongoDB e EMC XtremIO Validação de desempenho consistente, capacidade de scale-out sob demanda,

redução de dados em linha e serviços ágeis de snapshot

Referências Os documentos mencionados neste documento são relacionados abaixo

INTRODUÇÃO AO STORAGE ARRAY EMC XTREMIO (versão 3.0)

Guia de Configuração de Host para as Versões 2.2.x - 3.0.1 do

XtremIO MONGODB MANUAL 2.6