Walter Scott colocou a mão no semi-caminhão branco estacionado em frente à sede da DigitalGlobe em Westminster, Colorado.

Era 2016 e a DigitalGlobe - líder comercial em imagens de satélite com mais de US $ 700 milhões em receita - foi o primeiro cliente do "Snowmobile" da Amazon Web Services, uma nova maneira de transferir fisicamente grandes quantidades de dados: por meio de um 45 - contêiner de transporte de pé sobre rodas.

O caminhão continha não apenas o trabalho da vida de Scott, mas também o da empresa que ele fundou: uma biblioteca de imagens de satélite com 16 anos de registros terrestres e espaciais.

Demorou alguns meses para deixar tudo pronto e, em seguida, fazer o upload de toda a biblioteca de imagens de satélite da empresa - 10 petabytes de dados, ou 5 vezes a quantidade contida em todas as bibliotecas de pesquisa acadêmica dos Estados Unidos - para o Snowmobile. Depois que os dados foram traduzidos e criptografados, o caminhão voltou para um cluster de data centers da Amazon para fazer o upload para o armazenamento em nuvem.

Scott deu uma última palmadinha no veículo de 18 rodas antes de partir.

Para DigitalGlobe, esta foi uma aposta de alto risco e uma ocorrência única. Para o caminhão de transferência de dados da AWS, foi a jornada inaugural de um serviço de transferência de dados caro. E enquanto outros gigantes da tecnologia podem não ter o veículo com 18 rodas e guardas armados, eles também tendem a oferecer uma gama de opções de transferência de dados físicos para clientes com muitas informações para migrar, conectividade limitada ou ambos - por exemplo, dados que podem levar meses ou anos para fazer upload online.

“Talvez você tenha centenas de petabytes que precisam ser movidos, mas é um processo de longo prazo - você está movendo um data center”, disse Wayne Duso, vice-presidente de armazenamento, borda e governança de dados da AWS.

O mercado global de computação em nuvem é um exemplo de US $ 270 bilhões de como a infraestrutura física - servidores, data centers e, sim, dispositivos de transferência de dados - alimenta não apenas a tecnologia que usamos todos os dias, mas também o armazenamento de dados que permite que essas plataformas operem.

Vamos fisicamente

Veja como o processo começa: O dispositivo de transferência de dados é enviado - ou no caso do Snowmobile, conduzido - ao cliente, que o carrega com os dados antes de enviá-los com segurança para a instalação de upload da empresa. Depois que os dados são processados, o dispositivo é limpo antes de ser enviado em seu próximo trabalho. Mas o processo não sai barato.

Dependendo do provedor de armazenamento em nuvem, do cliente, da região geográfica e da quantidade de dados a serem migrados, o processo pode ser caro - por exemplo, o dispositivo de 40 terabytes do Google custa pelo menos US $ 300 por 10 dias de uso (mais frete ) As opções de dispositivos físicos variam de hardware portátil e entregável até o enorme veículo de 18 rodas da AWS.

Pense nisso como o dia da mudança - mas em vez de embalar suas roupas e livros, você está empacotando dados para armazenamento em nuvem. E se você precisa de uma mala ou de um caminhão em mudança, simplesmente depende de quantas coisas você tem.

Jay Littlepage, então vice-presidente da DigitalGlobe, nos disse que antes de a empresa fechar um acordo com a AWS, sua abordagem de transferência de dados do cliente não era escalável. Se alguém quisesse imagens em HD de Paris, por exemplo, a DigitalGlobe teria que enviá-las via FTP ou enviando uma unidade firewire. “Acabamos recusando muitos negócios porque alguém iria querer algo até uma certa data e ... as leis da física diziam que não poderíamos fazer isso”, lembrou Littlepage.

O Transfer Appliance do Google, um dispositivo do tamanho de um servidor e a única opção da empresa para transferência física de dados, pode normalmente ser usado entre 100 e 480 terabytes. Nuro, uma empresa autônoma de entrega e robótica, usa Transfer Appliance em suas garagens. Os dispositivos armazenam os dados dos sensores dos robôs, e Nuro pode enviar os dispositivos de volta ao Google para fazer o upload dos dados para a nuvem e ajudar a treinar seus algoritmos para lidar com diferentes cenários do mundo real.

“A maioria das empresas tem algum tipo de conexão de rede, mas usam essa conexão de rede para administrar seus negócios”, disse Brian Schwarz, diretor de gerenciamento de produtos do Google Cloud Storage. “Você não quer entupir esse cano. Pense nesta conexão de rede como uma rodovia ... Se você, como transferidor de dados, tem algum trabalho que vai criar o desastre ou congestionamento épico de trânsito de todos os tempos, e todos os seus funcionários serão basicamente impedidos de usar a rede por uma semana, isso não é muito tratável. ”

As ofertas menores da Amazon - o Snowball e o Snowball Edge do tamanho de uma pasta - podem conter até 100 terabytes de dados. Enquanto isso, o Snowmobile tem capacidade para mover até 100 petabytes de dados em uma viagem. A AWS se recusou a fornecer a faixa de preços para o serviço.

Protegendo os objetos de valor

Como as transferências de dados físicos normalmente envolvem grandes quantidades de informações confidenciais - conjuntos de dados históricos, segredos comerciais, registros da empresa e muito mais - a segurança é fundamental. Portanto, os dispositivos são normalmente fortalecidos contra ataques cibernéticos e adulteração física. O Transfer Appliance do Google, assim como as ofertas da AWS, usa criptografia de 256 bits.

Snowmobile, por sua vez, é à prova d'água e à prova de fogo. Ele oferece um veículo de escolta sem identificação, tripulado por guardas de segurança discretos, mas armados, que trabalham em turnos. Os dados são protegidos com chaves de criptografia fornecidas pelo cliente, que apagam se o veículo ficar sem energia.

Isso poderia ter acontecido na jornada do Snowmobile da DigitalGlobe, Littlepage lembrou, quando uma tempestade de neve fez o veículo girar: a AWS havia alugado um resfriador para manter os dispositivos internos resfriados, mas o resfriador desligou ao detectar as baixas temperaturas fora do caminhão. O interior esquentou e a AWS teve que enviar um técnico para substituir algum hardware antes que o Snowmobile pudesse continuar sua viagem até os data centers.

À medida que a quantidade de dados criados todos os dias continua a aumentar - e o varejo, a manufatura e outras indústrias coletam e analisam mais vídeos de alta definição do que nunca - as empresas terão cada vez mais dados confidenciais para armazenar, o que significa um aumento no armazenamento de dados e carga ambiental que a acompanha. Provavelmente veremos as opções de transferência de dados físicos se expandirem também, de gigantes de armazenamento em nuvem expandindo sua linha de produtos para empresas menores escalando sua primeira incursão no espaço.

“A necessidade de tamanhos de conjuntos de dados muito maiores ... tem sido uma tendência nos últimos cinco ou 10 anos - com certeza vai progredir no futuro”, disse Schwarz. “Temos PD saudável, [e] os aparelhos mais recentes que lançamos não são absolutamente os últimos. Haverá outros maiores, mais rápidos e melhores descendo pelo tubo no futuro. ”