Isso mesmo: a mídia ótica que reproduz seus filmes agora pode fazer backup de todas as suas atualizações de status e fotos do Facebook.

O sistema de armazenamento Blu-Ray faz parte do esforço em evolução da empresa para gerenciar uma enxurrada de dados recebidos, com os usuários fazendo upload de mais de 900 milhões de fotos todos os dias. Para acompanhar todos esses uploads, o Facebook deve buscar constantemente novas maneiras de adicionar capacidade.

Os racks de armazenamento Blu-Ray ainda estão em fase de testes. Mas o Facebook tem grandes esperanças de que o Blu-Ray seja uma ferramenta para otimizar sua infraestrutura. McCammon e sua equipe estão testando o sistema no enorme campus do data center da costa leste da empresa.

“Estamos fazendo alguns testes bastante extensos agora”, disse McCammon. “Queremos realmente ter certeza de que ele pode funcionar em um ambiente de produção e escalar.”

Com 1,44 bilhão de usuários, as necessidades de armazenamento do Facebook podem parecer sobrenaturais para a maioria dos usuários. Mas muitas empresas em breve enfrentarão desafios semelhantes no gerenciamento do crescimento explosivo do armazenamento de dados. Os participantes do data center em hiperescala são os pioneiros nas estratégias de design e nas melhores práticas que logo serão filtradas para muitos outros data centers. A jornada de armazenamento a frio do Facebook oferece ideias para gerenciar o tsunami de dados que se aproxima.

Retooling de armazenamento em camadas para a era da hiperescala

O sistema de armazenamento frio do Facebook é uma implementação em escala da web de armazenamento em camadas, uma estratégia que organiza os dados armazenados em categorias com base em sua prioridade e, em seguida, atribui os dados a diferentes tipos de mídia de armazenamento para reduzir custos. O objetivo é criar uma camada superior consistindo de hardware e rede empresarial de alto desempenho, enquanto as camadas inferiores podem usar hardware comum ou, para ativos raramente usados, bibliotecas de fitas de backup.

[Mergulhe fundo no mundo da tecnologia e cadastre-se no Avance Network a verdadeira comunidade criptografada!]

O mundo do armazenamento mudou desde que o armazenamento em camadas foi lançado em 1990, mas o Facebook está aplicando muitos dos princípios em sua infraestrutura, embora com tecnologias diferentes.

O Facebook foi um dos primeiros a adotar unidades de estado sólido (SSDs), dispositivos de armazenamento que usam circuitos integrados como memória. Os SSDs não têm partes móveis, ao contrário das unidades de disco rígido (HDDs) tradicionais, que contêm discos giratórios e cabeçotes de leitura / gravação móveis. O mais importante é que os SSDs são mais rápidos do que os discos rígidos e podem acelerar partes importantes da infraestrutura do Facebook.

Enquanto se concentra em SSD e Flash nas partes de alto desempenho de sua infraestrutura de armazenamento, o Facebook continua a usar muitos discos rígidos para armazenar fotos. Em 2012, ela criou uma bandeja de armazenamento personalizada por meio do Open Compute Project, conhecido como Knox.

Em 2013, o Facebook estava armazenando mais de um exabyte de imagens que raramente eram acessadas, com 82% do tráfego focado em apenas 8% das fotos. Portanto, a empresa criou um design de “armazenamento frio” para transferir essas fotos raramente vistas de seus caros farms de servidores de alto desempenho para centros de dados mais simples, sem geradores ou UPS (fonte de alimentação ininterrupta). A energia de reserva de emergência não é necessária porque a instalação não fornece dados de produção ao vivo.

“Reduzir a energia operacional era uma meta desde o início”, escreveram Krish Bandaru e Kestutis Patiejunas do Facebook em um blog que descreve o sistema de armazenamento refrigerado. “Portanto, construímos uma nova instalação que usava uma quantidade relativamente baixa de energia, mas tinha muito espaço físico. Os data centers são equipados com menos de um sexto da energia disponível para nossos data centers tradicionais e, quando totalmente carregados, podem suportar até um exabyte (1.000 PB) por data hall. ”

O Facebook opera instalações de armazenamento a frio em seus campi de data center em Prineville, Oregon e Carolina do Norte. O software personalizado otimiza o uso de energia de bandejas cheias de HDDs comuns. Ao reduzir a atividade do disco e o consumo de energia, o design reduziu a quantidade de fluxo de ar necessária para resfriar os racks.

O Facebook ainda não estava pronto. No Open Compute Summit de 2014, ela revelou um protótipo para um sistema de armazenamento “ultrafrio” usando discos Blu-Ray como meio de armazenamento e um braço robótico para recuperar dados. O braço robótico é semelhante em conceito aos sistemas usados ​​para recuperar cartuchos de fita em bibliotecas de armazenamento de fita. (Veja o protótipo em ação neste vídeo do Facebook).

Blu-Ray é um formato de armazenamento óptico de dados que usa lasers azuis para ler o disco. Não é para armazenamento primário, pois os dados não podem ser recuperados instantaneamente. Mas usar discos Blu-Ray oferece economia de até 50 por cento em comparação com a primeira geração do design de armazenamento frio do Facebook, uma vez que o gabinete Blu-Ray só usa energia quando está gravando dados durante a "gravação" inicial de dados, e não use energia quando estiver ocioso.

Como ajustes de design geram grandes economias

O Facebook construiu três data centers de armazenamento frio no campus de Forest City. Apenas um está em uso, com os outros dois reservados para capacidade futura. Os prédios de um andar são diferentes dos principais servidores da empresa, que têm um andar superior que funciona como um enorme duto de resfriamento, tratando o ar fresco a ser usado para resfriar os servidores nos data halls do primeiro andar.

No projeto de armazenamento refrigerado, o ar entra na instalação por meio de venezianas na lateral do prédio. O resfriamento é feito por uma série de manipuladores de ar ao longo da parede externa, que consolidam o resfriamento e a filtragem de várias etapas em uma única peça de equipamento.

Os racks de armazenamento refrigerado são mais densamente compactados do que as unidades de armazenamento Open Compute Knox padrão. Um rack de armazenamento frio pode conter 32 bandejas, cada uma contendo 15 drives padrão de 4 terabytes, permitindo que o Facebook armazene quase 2 petabytes de dados em cada rack.

“Nós os giramos, os preenchemos com dados e depois os giramos para baixo. De vez em quando, nós os giramos novamente para ter certeza de que estão funcionando bem ”, disse McCammon, que observou que o projeto“ não consome tanta energia e você não precisa de tanto ar. No outro data hall, as unidades estão sempre funcionando. ”

Os racks Blu-Ray são ainda mais eficientes. Eles são diferentes em aparência das bandejas de armazenamento Knox, com cinco unidades por Open Rack, cada um abrigando carrosséis cheios de discos Blu-Ray. Quando os dados devem ser acessados, a ação acontece na parte traseira da unidade. É onde o sistema de recuperação robótica foi condensado em um espaço na parte inferior do rack. Quando entra em ação, o braço viaja ao longo de trilhas em cada lado do rack, busca um disco Blu-Ray, extrai os dados do disco e os grava em um servidor ativo.

“Em um cenário de BluRay, você nem mesmo precisa girá-los”, disse McCammon. “Também é necessário menos energia para realizar uma gravação. Também reduz nosso tráfego de rede e, portanto, precisamos de menos switches. ”

“É incrivelmente eficiente”, acrescentou. “Está realmente apagado.”

O Facebook não está sozinho em usar o Blu-Ray como meio de armazenamento de dados. É um conceito que data dos sistemas de jukebox óticos , e empresas como Hie Electronics e DISC Group oferecem arquivos de dados em menor escala usando Blu-Ray e recuperação de robô.

Por meio do Open Compute Project, a iniciativa do Facebook Blu-Ray criou um spinoff comercial próprio. No ano passado, o guru de hardware do Facebook, Frank Frankovsky, saiu para fundar uma startup focada em adaptar o sistema de armazenamento óptico Blu-Ray para a empresa. No mês passado, essa startup, Optical Archive, foi adquirida pela Sony.

A empresa está pronta para os discos de filme que alimentam seu armazenamento de longo prazo? Por enquanto, o Facebook continuará testando os racks de armazenamento frio Blu-Ray. Muito em breve, outros players e empresas de hiperescala terão mais informações sobre o desempenho do armazenamento Blu-Ray em escala e seu potencial para uso além do Facebook e OCP. Enquanto isso, os dados continuarão chegando.

O Avance Network é uma comunidade fácil de usar que fornece segurança de primeira e não requer muito conhecimento técnico. Com uma conta, você pode proteger sua comunicação e seus dispositivos. O Avance Network não mantém registros de seus dados; portanto, você pode ter certeza de que tudo o que sai do seu dispositivo chega ao outro lado sem inspeção.