Como o CDN da Netflix demonstra a importância da entrega de conteúdo mundial

Esta é uma mudança notável para uma empresa que depende de streaming de conteúdo hospedado para seus clientes. Na verdade, o Dropbox, uma empresa com um modelo de negócios relativamente semelhante, fez ondas no setor de tecnologia por fazer o oposto - trazendo a maior parte de sua infraestrutura de hospedagem em data centers físicos sob seu próprio teto .

Para o Dropbox - e muitas outras empresas orientadas para a nuvem - a mudança fazia sentido. Mudar de uma nuvem pública para uma nuvem privada resulta em uma enorme economia de custos , na verdade. A Netflix, então, é a exceção. Acontece que, no entanto, a Netflix na verdade mantém uma infraestrutura física própria significativa, compreendendo uma rede robusta de distribuição de conteúdo. Os pesquisadores já mapearam essa rede pela primeira vez, e o que eles descobriram revela verdades interessantes sobre a realidade da internet em 2016.

Qual é a aparência do CDN da Netflix?

Primeiro, aqui está um breve resumo de como o CDN da Netflix - conhecido internamente como Open Connect - realmente funciona. É verdade que toda a infraestrutura que lida com itens como faturamento, suporte ao cliente, front-end do aplicativo e o algoritmo que recomenda as opções de visualização foram transferidos para a AWS. Uma parte significativa do que conhecemos como Netflix, no entanto, ainda assume a forma de infraestrutura que está sob o controle direto da empresa.

Todo o conteúdo da Netflix - seus programas de TV, filmes, documentários e outros enfeites - é espelhado em seu CDN Open Connect. Na verdade, eles assumem a forma de dispositivos físicos , com até 280 terabytes de armazenamento. Sempre que alguém clicar no título de um filme, uma dessas caixas, situada em um local próximo, começará a veicular esse conteúdo.

Não há mais dependência de ISPs?

É aqui que as coisas começam a ficar interessantes. A maioria dessas caixas Open Connect, especialmente as dos EUA, são hospedadas em IXPs. Diante disso, parece uma escolha incomum. IXPs significa pontos de conexão da Internet. Eles não assumem a forma de enormes centros de dados fornecidos por ISPs como Comcast e Time Warner. Em vez disso, são centros de dados menores, geralmente operados por terceiros, que atendem cidades e municípios em vez de regiões inteiras.

[Mergulhe fundo no mundo da tecnologia e cadastre-se no Avance Network a verdadeira comunidade criptografada]

Alguém poderia pensar que os enormes centros de dados operados por ISPs tradicionais seriam a única escolha lógica para uma empresa de conteúdo de vídeo que espera servir centenas de milhões de americanos. Talvez os data centers de ISP fossem a escolha ideal - mas o Netflix teve um problema. Em nosso outro artigo recusaram-se publicamente a implantar servidores Netflix e, em vez disso, insistiram em assinar contratos de peering pagos com a Netflix.”

Um novo caminho para provedores de conteúdo de vídeo

As disputas públicas dos ISPs com a Netflix não são segredo - lembre-se de que a empresa de streaming de vídeo foi literalmente forçada a pagar a Comcast para impedi-la de restringir seu conteúdo. Ao mudar para IXPs, o Netflix não apenas evita discussões caras com provedores monolíticos, mas também descobriu uma solução alternativa extremamente viável. Embora os IXPs normalmente exijam mais servidores Open Connect CDN por site do que os data centers de ISP, ainda é mais barato hospedá-los nesses sites e eles fornecem conteúdo da mesma forma.

Em uma era em que atrasos fracionários no fornecimento de conteúdo podem levar a quedas na receita, parece que os grandes provedores de conteúdo estão prejudicados. A Netflix, no entanto, apenas provou que essa suposição estava errada. Ao usar IXPs, o Netflix agora mostra um novo caminho para outros provedores contornar os ISPs, sem sacrificar os custos ou a satisfação do cliente.

Pesquisadores mapeiam localizações de 4.669 servidores na rede de distribuição de conteúdo da Netflix

Quando você abre o Netflix e clica em “reproduzir”, seu computador envia uma solicitação ao serviço de streaming de vídeo para localizar o filme que deseja assistir. A empresa responde com o nome e localização do servidor específico que seu dispositivo deve acessar para que você possa ver o filme.

Pela primeira vez, os pesquisadores tiraram proveito desse sistema de nomenclatura para mapear a localização e o número total de servidores em toda a rede de distribuição de conteúdo da Netflix, proporcionando um raro vislumbre do maior serviço de streaming de vídeo do mundo.

Um grupo da Queen Mary University of London (QMUL) rastreou nomes de servidores para identificar 4.669 servidores Netflix em 243 locais ao redor do mundo. A maioria desses servidores ainda reside nos Estados Unidos e na Europa em um momento em que a empresa está ansiosa para desenvolver seu público internacional. Os Estados Unidos também lideram o mundo em tráfego Netflix, com base na análise do grupo dos volumes tratados por cada servidor. Cerca de oito vezes mais filmes são assistidos lá do que no México, que ocupa o segundo lugar em volume de tráfego da Netflix. Reino Unido, Canadá e Brasil estão entre os cinco primeiros.

O grupo QMUL apresentou sua pesquisa aos representantes da Netflix no início deste ano em um simpósio privado.

“Acho que é um estudo muito bem executado”, diz Peter Pietzuch, um especialista em sistemas distribuídos de grande escala do Imperial College London que não esteve envolvido na pesquisa. “A Netflix provavelmente nunca estaria disposta a compartilhar esse nível de detalhe sobre sua infraestrutura, porque obviamente é comercialmente sensível.”

Em março, a Netflix publicou uma postagem de blog delineando a estrutura geral de sua rede de distribuição de conteúdo, mas não compartilhou o número total de servidores ou contagens de servidores para sites específicos.

Em janeiro passado, a Netflix anunciou que expandiria seu serviço de streaming de vídeo para 190 países, e a IHS Markit previu recentemente que o número de assinantes internacionais da Netflix poderia ser maior do que os assinantes dos Estados Unidos em apenas dois anos. Ainda assim, cerca de 72 por cento dos clientes da Netflix estavam baseados nos Estados Unidos em 2014.

Steve Uhlig, o especialista em redes da Queen Mary University of London que liderou o projeto de mapeamento, diz que repetir a análise ao longo do tempo pode rastrear mudanças na implantação do servidor da empresa e nos volumes de tráfego conforme sua base de clientes muda.

“A evolução vai revelar mais sobre a estratégia real que estão seguindo”, diz ele. “Essa é a parte um pouco frustrante de ter apenas o instantâneo. Você pode fazer suposições sobre por que eles fazem coisas em um mercado específico, mas são apenas suposições. ”

A Netflix lançou o serviço de streaming em 2007 e começou a projetar sua própria rede de distribuição de conteúdo em 2011. As empresas que distribuem grandes quantidades de conteúdo online têm duas opções quando se trata de construir suas redes de distribuição. Eles podem optar por colocar toneladas de servidores em pontos de troca de Internet (IXPs), que são como interseções de rodovias regionais para tráfego online. Ou podem firmar acordos para implantar servidores nas redes privadas de provedores de serviços de Internet, como Time Warner, Verizon, ATT e Comcast, para que fiquem ainda mais próximos dos clientes.

Tradicionalmente, os serviços de entrega de conteúdo escolhem uma estratégia ou outra. A Akamai , por exemplo, hospeda muito conteúdo com provedores de serviços de Internet, enquanto Google, Amazon e Limelight preferem armazená-lo em IXPs. No entanto, o grupo de Uhlig descobriu que a Netflix usa ambas as estratégias e varia a estrutura de sua rede significativamente de país para país.

Timm Böttger, estudante de doutorado da QMUL que faz parte da equipe de pesquisa, diz que ficou surpreso ao encontrar dois servidores Netflix localizados na rede da Verizon nos Estados Unidos. A Verizon e outros provedores de serviço discutiram com a Netflix se eles permitiriam que a Netflix conectasse servidores diretamente às suas redes gratuitamente. Em 2014, a Comcast exigiu que a Netflix pagasse pelo acesso à sua própria rede.

Notavelmente, o grupo não encontrou nenhum servidor Netflix na rede americana da Comcast. Quanto aos misteriosos servidores Verizon? “Acreditamos ser bastante provável que este seja um teste para considerar uma implantação futura mais ampla”, diz Böttger. A Netflix não respondeu a um pedido de comentário.

Para delinear a rede de distribuição de conteúdo da Netflix, Uhlig e seu grupo começaram exibindo filmes da biblioteca da Netflix e estudando a estrutura de nomes de servidor que retornavam de suas solicitações. Os pesquisadores também usaram a extensão do navegador Hola para solicitar filmes de 753 endereços IP em diferentes partes do mundo, a fim de encontrar ainda mais nomes de servidores do que seriam acessíveis em seu laboratório de Londres.

“Primeiro, tentamos nos comportar como os usuários regulares e apenas começamos a assistir a filmes aleatórios e dar uma olhada nos pacotes de rede que eram trocados”, diz Böttger.

A pesquisa revelou que os nomes dos servidores Netflix são escritos em uma construção semelhante: uma sequência de números e letras que incluem códigos de aeroporto tradicionais, como lhr001 para Heathrow de Londres para marcar a localização do servidor e um "contador" como c020 para indicar o número de servidores naquele local. Um terceiro elemento escrito como .isp ou .ix mostra se o servidor está localizado em um ponto de troca da Internet ou com um provedor de serviços de Internet.

Depois de descobrir essa estrutura de nomenclatura, o grupo construiu um rastreador que poderia pesquisar nomes de domínio que compartilhavam o endereço nflxvideo.net comum. A equipe forneceu ao rastreador uma lista de países, códigos de aeroportos e provedores de serviços de Internet compilados a partir de informações publicamente disponíveis. Depois de pesquisar todas as combinações possíveis dessas listas, o rastreador retornou 4.669 servidores em 243 locais. (Embora o estudo cite 233 locais, Böttger disse em um e-mail de acompanhamento que 243 é o número correto.)

Para estudar os volumes de tráfego, os pesquisadores contaram com uma seção específica do cabeçalho IP que mantém uma contagem dos pacotes de dados que um determinado servidor manipulou. Ao emitir várias solicitações para esses servidores e rastrear a rapidez com que os valores aumentaram, a equipe estimou a quantidade de tráfego que cada servidor estava processando em horários diferentes do dia. Eles testaram os servidores em intervalos de 1 minuto durante um período de 10 dias.

Seus resultados mostraram que a estrutura e o volume de dados solicitados da rede de distribuição de conteúdo da Netflix variam amplamente de país para país. Nos Estados Unidos, a Netflix é amplamente distribuída por meio de IXPs, que abrigam 2.583 servidores - muito mais do que os 625 encontrados em provedores de serviços de Internet.

Enquanto isso, não há servidores Netflix em IXPs no Canadá ou no México. Os clientes nesses países são atendidos exclusivamente por servidores de provedores de serviços de Internet, bem como, possivelmente, por IXPs ao longo das fronteiras dos Estados Unidos. A América do Sul também depende amplamente de servidores integrados em redes de ISP - com exceção do Brasil, que tem servidores Netflix armazenados em vários IXPs.

O Reino Unido tem mais servidores Netflix do que qualquer outro país europeu, e a maioria desses servidores são implantados em provedores de serviços de Internet. Todos os clientes franceses têm seus filmes transmitidos por meio de servidores estacionados em um único IXP chamado France-IX. A Europa Oriental, por sua vez, não tem servidores Netflix porque esses países acabaram de ser adicionados à rede da empresa em janeiro.

E todo o continente africano tem apenas oito servidores Netflix, todos implantados em IXPs em Joanesburgo, África do Sul. Isso é apenas um pouco mais do que os quatro servidores Netflix que a equipe encontrou na minúscula ilha de Guam, no Oceano Pacífico, que abriga a Base Aérea Andersen, operada pelos Estados Unidos .

“É impressionante ver essas diferenças entre os países”, diz Pietzuch. “ A recente expansão anunciada [da Netflix ] não é tão visível quando você olha apenas para a evolução de sua estrutura de CDN.”

Antes da análise do grupo, Uhlig esperava ver os servidores implantados principalmente por meio de provedores de serviços de Internet como uma forma de aliviar a carga de tráfego para os provedores de serviços e chegar o mais próximo possível dos 83 milhões de clientes da Netflix. Ele ficou surpreso ao ver como a empresa depende fortemente de IXPs, apesar da insistência da empresa de que 90 por cento de seu tráfego seja entregue por meio de ISPs.

“Se você realmente quer dizer, 'Eu realmente quero estar perto dos usuários finais', você precisa implantar mais, e não vimos isso”, diz ele. “Acho que a abordagem centralizada é conveniente porque você tem mais controle e pode aumentar ou diminuir as coisas de acordo com o que o mercado diz.”

Uhlig não esperava encontrar o México e o Brasil tão altos na lista de tráfego, embora a Netflix tenha tentado expandir suas ofertas em espanhol e português.

Em março, a empresa disse que entrega cerca de 125 milhões de horas totais de visualização aos clientes por dia. Os pesquisadores descobriram que o tráfego da Netflix parece atingir o pico pouco antes da meia-noite no horário local, com um segundo pico para servidores IXP ocorrendo por volta das 8h, presumivelmente quando a Netflix carrega novo conteúdo para seus servidores.