“O futuro já está aqui”, disse William Gibson, escritor de ficção científica. “Ainda não é distribuído uniformemente.” Uma pessoa que quer trazer armazenamento de dados para o futuro e torná -lo amplamente distribuído é David Flynn, que é o CEO e fundador da Hammerspace, bem como um Bigdatawire Pessoa a ser observada para 2025.

Mesmo antes de fundar Hammerspace Em 2018, a Flynn teve uma carreira movimentada, incluindo o desenvolvimento de plataformas de armazenamento de dados de estado sólido na Fusion-Io e trabalhando com sistemas HPC baseados em Linux. Mas agora, como o Hammerspace ganha tração, Flynn está ansioso para construir a próxima geração de sistemas de arquivos distribuídos e, com sorte, resolver alguns dos problemas de dados mais difíceis do mundo.

Aqui está a nossa recente conversa com Flynn:

Bigdatawire: Primeiro, parabéns pela sua seleção como 2025 Bigdatawire Pessoa para assistir! Antes de Hammerspace, você era o CEO e fundador da Fusion-Io, que Sandisk comprou em 2014. Antes disso, você era arquiteto-chefe da Linux Networx, onde projetou vários dos maiores supercomputadores do mundo. Como essas experiências o levaram a Found Hammerspace em 2018?

David Flynn: É uma trajetória realmente interessante, eu acho, que levou à criação do Hammerspace. No início da minha carreira, eu estava incorporando software alternativo de código aberto, como o Linux em pequenos sistemas, como caixas de televisão, terminais inteligentes corporativos e afins. E então eu vim para projetar muitos dos maiores supercomputadores do mundo na indústria de computação de alto desempenho que alavancou tecnologias como Linux Clustering, Infiniband, tecnologias baseadas em RDMA.

Esses dois extremos – pequenos sistemas incorporados versus supercomputadores maciços – podem não parecer ter uma tonelada em comum, mas compartilham a necessidade de extrair o desempenho mais absoluto do hardware.

Isso levou à criação do Fusion-Io, que foi pioneiro no uso do Flash para aceleração do aplicativo corporativo, que até esse ponto era geralmente usada para sistemas incorporados em eletrônicos de consumo-por exemplo, o flash em dispositivos como iPods e telefones celulares iniciais. Vi uma oportunidade de aproveitar essa inovação do mundo dos eletrônicos de consumo e traduzir no data center, o que criou uma mudança dos discos rígidos mecânicos em direção ao armazenamento de estado sólido. A questão tornou-se então que essa transição para unidades de estado sólido precisava de desempenho extremamente rápido; Os dados precisavam ser distribuídos fisicamente em um conjunto de servidores ou em sistemas de armazenamento de terceiros.

(Alpal-Images/Shutterstock)

A introdução do flash de alto desempenho foi fundamental para enfrentar esse desafio de dados descentralizados e abstrair dados da infraestrutura subjacente. Hoje, a maioria dos dados nas empresas não é estruturada e é difícil para essas organizações encontrar e extrair o valor nele.

Essa realização levou à criação do Hammerspace, com a visão de tornar todos os dados corporativos acessíveis globalmente, úteis e indispensáveis, eliminando completamente os atrasos de acesso a dados para a IA e computação de alto desempenho.

BDW: Estamos 20 anos no boom do Big Data agora, mas parece que estamos em um ponto de inflexão quando se trata de armazenamento. O que você vê como os principais motoristas desta vez, e como o Hammerspace está posicionado para capitalizá -los?

DF: Para realmente prosperar neste próximo ciclo de dados, precisamos corrigir o relacionamento quebrado entre os dados e a infraestrutura de dados onde eles são armazenados. As empresas precisam pensar além do armazenamento e, em vez de, como podem transformar o acesso e o gerenciamento de dados em ambientes modernos de IA.

Os fornecedores estão competindo para oferecer o desempenho e a escala necessários para suportar cargas de trabalho de IA. Exceto que não se trata apenas de acelerar a taxa de transferência de dados para os servidores GPU – o problema principal é que as vias de dados entre o armazenamento externo e os servidores GPU são gargalos por saltos desnecessários e ineficientes no caminho de dados no nó do servidor e na rede, independentemente do armazenamento compartilhado externo em uso.

A solução aqui, que é abordada pelo Nível 0 da Hammerspace, está utilizando o armazenamento NVME local, que já está incluído nos servidores GPU para acelerar as cargas de trabalho de IA e melhorar a utilização da GPU. Ao alavancar a infraestrutura existente e os recursos internos do Linux, estamos removendo esse gargalo sem adicionar complexidade.

Fazemos isso alavancando a inteligência incorporada no kernel Linux, que permite que nossos clientes utilizem a infraestrutura de armazenamento existente que já estão usando, sem o software cliente proprietário ou outras soluções de pontos. Além de fornecer acesso global ao arquivo/objeto de multiprotocolo, orquestração de dados, proteção de dados e serviços de dados em um espaço de nome global.

BDW: Você declarou no evento HPC + AI no Wall Street 2023 que todos fomos enganados pelo S3 e armazenamento de objetos para desistir dos benefícios do acesso nativo inerente ao NFS. A luta contra o S3 e o armazenamento de objetos não é destinado a falhar ou você vê um ressurgimento no NFS?

(Whitemocca/Shutterstock)

DF: Vamos ficar claros – não se trata de objeto ou arquivo, nem, S3 ou NFS. Interfaces de armazenamento necessárias para evoluir para realizar a escala. O S3 surgiu e se tornou o padrão para o armazenamento em escala de nuvem por um bom motivo: as versões mais antigas do NFS simplesmente não conseguiram escalar ou executar nos níveis necessários para as cargas de trabalho precoce do HPC e da IA.

Mas isso foi então. Hoje, o NFSV4.2 com PNFS é um animal diferente – extremamente amadurecido, integrado ao kernel Linux e capaz de oferecer escala maciça e desempenho nativo sem clientes proprietários ou sobrecarga complexa. De fato, tornou -se um padrão para organizações que exigem alto desempenho e acesso eficiente em ambientes grandes e distribuídos.

Portanto, não se trata de escolher lados em um arquivo de arquivo versus objeto. Esse enquadramento está desatualizado. O avanço real está permitindo que o acesso de arquivo e objeto em uma única plataforma de dados baseada em padrões-onde os dados podem ser orquestrados, acessados ​​nativamente e servidos através de qualquer interface que um determinado aplicativo ou modelo de IA exigir.

O S3 não está desaparecendo – muitos aplicativos estão escritos para isso. Mas não é mais a única opção para acesso a dados escaláveis. Com o aumento da orquestração de dados inteligentes, o armazenamento de nível 0 e os protocolos de arquivos modernos, como o PNFS, agora podemos oferecer desempenho e flexibilidade sem forçar uma escolha entre paradigmas.

O futuro não é sobre combater o S3 – trata -se de transcender os limites do armazenamento de arquivos e objetos com uma camada de dados unificada que fala ambos os idiomas nativamente e coloca os dados onde ele precisa estar, quando precisa estar lá.

BDW: Como você vê a revolução da IA ​​da década de 2020 afetando o grande avanço da década anterior, que estava separando a computação e o armazenamento? Podemos dar ao luxo de trazer grandes computadores de GPU para os dados ou estamos destinados a voltar a mover dados para calcular?

DF: A separação de computação e armazenamento fazia sentido quando a largura de banda era barata, as cargas de trabalho eram orientadas para o lote e o desempenho não estava ligado à utilização da GPU. Mas na era da IA, onde GPUs ociosas significam dólares desperdiçados e oportunidades perdidas, esse modelo está começando a rachar.

O desafio agora não é apenas onde a computação ou os dados vive – é sobre o quão rápido e inteligente você pode preencher os dois. Na Hammerspace, acreditamos que a resposta não é retornar a velhos hábitos, mas evoluir além da infraestrutura rígida com uma camada de dados global e inteligente.

Tornamos todos os dados visíveis e acessíveis em um sistema de arquivos global – não importa onde eles residam fisicamente. Se seu aplicativo fala S3, SMB ou NFS (incluindo PNFs modernos), os dados parecem locais. E é aí que a mágica acontece: nosso mecanismo de orquestração acionado por metadados pode mover dados com granularidade extrema-filtrar por arquivo-para onde está a computação, sem interromper o acesso ou exigir reescritas.

Portanto, a resposta real não está escolhendo entre mover computação para dados ou vice -versa. A resposta real é a orquestração dinâmica e orientada por políticas que coloca dados exatamente onde precisa estar, bem a tempo, em qualquer infraestrutura de armazenamento, portanto, as cargas de trabalho de IA e HPC permanecem alimentadas, rápidas e eficientes.

A revolução da IA ​​não desfaz a separação de computação e armazenamento – é exigente que as unificamos com a orquestração mais inteligente do que a sozinha.

BDW: O que você pode nos dizer sobre si mesmo fora da esfera profissional – hobbies únicos, lugares favoritos etc.? Existe algo sobre você que seus colegas possam se surpreender ao aprender?

DF: Fora do trabalho, passo o máximo de tempo possível com meus filhos e família – geralmente em esquis ou de bicicleta suja. Não há nada melhor do que sair em uma montanha ou uma trilha e apenas aproveitar o passeio. É rápido, técnico e um pouco caótico – muito no meu fim de semana ideal.

Dito isto, eu nunca realmente separei o trabalho do jogo no sentido tradicional. Para mim, escrever software e inventar novas maneiras de resolver problemas difíceis é o que eu sempre gostei de fazer. Eu tenho construído sistemas desde criança, e essa curiosidade nunca foi realmente embora. Mesmo quando estou fora do relógio, muitas vezes estou profundamente em código ou esboço a próxima ideia.

As pessoas podem se surpreender ao saber que eu realmente aprecio o processo criativo por trás da tecnologia-seja esse design de sistema de baixo nível ou repensando como a infraestrutura deve funcionar na era da IA. Algumas pessoas relaxam com hobbies. Eu relance resolvendo problemas difíceis.

Você pode ler o restante de nossas conversas com as pessoas do BigDatawire para assistir a 2025 homenageados aqui.