(CKA/Shutterstock)
Hoje, as empresas estão tentando fazer mais com seus dados do que nunca. No entanto, as arquiteturas de dados existentes das empresas não são necessariamente construídas de uma maneira propícia a fazer tudo. De acordo com o analista de TI Howard Dresner, um padrão emergente apelidado de arquitetura de dados ativo dará às empresas a liberdade de realizar seus sonhos de big data.
Segundo Dresner, uma arquitetura de dados ativa é uma camada de abstração definida por software que separa o armazenamento de dados físicos do consumo desses dados. O conceito empresta algumas das idéias de malhas de dados e tecidos de dados, especialmente o foco na criação de produtos de dados. No entanto, vai além do que a maioria das pessoas se associa a uma malha de dados ou um tecido de dados.
Você não pode sair e comprar uma arquitetura de dados ativa, de acordo com o Dresner, assim como não pode comprar um tecido de dados totalmente formado ou uma malha de dados pré -construída. Em vez disso, uma organização constrói sua própria arquitetura de dados ativa usando componentes existentes de disciplinas de dados bem estabelecidas, incluindo integração de dados, engenharia de dados, governança de dados, gerenciamento de metadados e infraestrutura de dados operacional e analítica, a Dresner Advisory Services grava em sua sabedoria da série de relatórios, intitulada “Arquitetura de dados ativos” ””.
Crescimento da importância de arquiteturas de dados ativos (Fonte: Relatório de Arquitetura de Dados Ativos Dresner)
“É composto por vários recursos de gerenciamento de dados, incluindo acesso a dados virtualizados e distribuídos, governança de dados e segurança”, escreve a empresa no relatório. “Uma arquitetura de dados ativa ajuda a elevar o status e a importância dos dados para o nível de um ‘produto’, separando o gerenciamento, a governança e o uso de dados dos sistemas técnicos específicos em que pode ser alojado. Em essência, uma arquitetura de dados ativa fornece (entre outras coisas) uma camada de abstração que possam ser gerenciados e aplicados de uma maneira independente de aplicação.
Um catálogo de dados que usa metadados para ajudar uma organização a categorizar e descobrir conjuntos de dados é um componente importante de uma arquitetura de dados ativa. O mesmo acontece com uma camada semântica que ajuda a traduzir entre definições de negócios de métricas de dados que os humanos entendem e as definições de dados técnicos subjacentes que ditam como os dados são processados e armazenados.
A Dresner Advisory Services pesquisou empresas em todo o mundo e concluiu que a conscientização e o interesse no conceito de arquitetura de dados ativos está crescendo. A empresa constatou que 28% dos entrevistados consideram uma arquitetura de dados ativa “de importância crítica”, um aumento de 2% em relação a 2024. Da mesma forma, menos de 5% dos participantes da pesquisa disse que a arquitetura de dados ativa não é importante, abaixo de 7% em 2024.
Empresas maiores nos países ocidentais eram mais propensos a considerar o conceito importante, segundo a pesquisa. Ele também descobriu que os trabalhadores em operações, vendas e marketing, BI, e era mais provável que o visualizasse como importante, em comparação com as pessoas que trabalham em ciência de dados, finanças, planejamento estratégico ou gerenciamento executivo.
Dresner também encontrou uma correlação entre grupos que já alcançaram sucesso com seus projetos de BI e aqueles que têm uma visão positiva da arquitetura de dados ativa. Especificamente, 62% das organizações que classificaram seus esforços de BI como “extremamente bem -sucedidos” visualizam a arquitetura de dados ativa como criticamente importante, escreve Dresner no relatório, e nenhum desses entrevistados considerou isso importante.
“A construção de uma abordagem ativa de arquitetura de dados para acessar, combinar e preparar dados fala com um grau de maturidade e sofisticação na alavancagem de dados como um ativo estratégico”, escreve os Serviços de Advisory da Dresner no relatório. “Não é de surpreender, então, que os entrevistados que classificam suas iniciativas de BI como um sucesso colocam uma importância relativa muito maior nos conceitos de arquitetura de dados ativos em comparação com as organizações que têm menos sucesso”.
Data Fabric é um componente em uma arquitetura de dados ativa (Hafakot/Shutterstock)
A integração de dados é um componente importante de uma arquitetura de dados ativa, mas existem diferentes maneiras pelas quais os usuários podem implementar a integração de dados. Segundo Dresner, a maioria dos profissionais de arquitetura de dados ativos está utilizando ferramentas de integração de dados em lote e em massa, como ofertas ETL/ELT. Menos organizações estão utilizando a virtualização de dados como o método de integração de dados primário, ou o streaming de eventos em tempo real (ou seja, apache kafka) ou movimento de dados baseado em mensagens (por exemplo, rabbitmq) .fa
Catálogos de dados e gerenciamento de metadados são aspectos importantes de uma arquitetura de dados ativa. “A natureza diversificada, distribuída, conectada e dinâmica da arquitetura de dados ativa requer recursos para coletar, entender e alavancar metadados que descrevem fontes de dados relevantes, modelos, métricas, regras de governança e muito mais”, escreve Dresner.
A pesquisa de Drenser constatou que 84% dos participantes consideram que as camadas semânticas são críticas muito importantes ou importantes para arquiteturas de dados ativas, de acordo com o estudo, em comparação com apenas 15% que disseram que as camadas semânticas não eram críticas ou importantes.
“A capacidade de construir uma camada semântica que interage com uma variedade de tipos de fonte de dados, interoperaliza com outras ferramentas, permite visões consistentes dos dados e suporta níveis apropriados de segurança e controle é cada vez mais importante para muitas organizações”, afirma a empresa em seu estudo.
A ingestão de metadados é o recurso mais solicitado em uma arquitetura de dados ativa, seguida de análise de impacto, visualização da linhagem, modelagem de visualizações integradas de dados, modelagem de toda a componente de uma arquitetura de dados ativa e recursos de otimização.
Componentes comuns em arquiteturas de dados ativas (Fonte: Dresner Active Data Architecture Relatório)
A governança automatizada é outro fator crítico para obter sucesso com uma arquitetura de dados ativa. O Dresner descobre que as organizações estão priorizando certos subconjuntos de governança de dados em suas compilações ativas de arquitetura de dados, seguidas de código aberto, segurança, privacidade, qualidade dos dados e formatos abertos.
A pesquisa de Dresner também descobriu que as organizações estão priorizando a escalabilidade e o desempenho de suas arquiteturas de dados ativas. “O alto nível de importância para a persistência, o cache e a otimização de consultas distribuídas parece se alinhar com a demanda acelerada por virtualização de dados, que requer esses recursos para obter desempenho adequado”, escreve a empresa.
Ser adaptável à mudança é um aspecto inerente das arquiteturas de dados ativos, por isso não é de surpreender que Dresner consiga que as organizações estejam favorecendo as técnicas de otimização dinâmica, o que lhes permite fazer coisas como ajustar a colocação de dados ou escolher diferentes métodos de integração. As organizações precisam monitorar seus ambientes, e é por isso que o monitoramento dos principais indicadores de desempenho (KPI) também está tendendo entre os profissionais de arquitetura de dados ativos. A capacidade de gerenciar uma arquitetura de dados ativa via API também é vista como um benefício.
As arquiteturas de dados ativas não são compradas, mas construídas, e as organizações obtêm seus componentes de vários lugares. Dresner descobriu que os provedores de ferramentas de integração de dados eram a melhor escolha, conforme citado por mais de 50% dos entrevistados, seguidos pelos fornecedores de ferramentas de BI e análise; Catálogo de dados e provedores de gerenciamento de metadados; fornecedores focados em malha de tecido ou malha de dados; vendedores de bancos de dados e camadas de persistência de dados; fornecedores de infraestrutura em nuvem; e provedores de governança de dados.
(Fonte: Dresner Active Data Architecture Relatório)
A tendência de arquitetura de dados ativa também está aumentando o vapor no desenvolvimento de software, pois os fornecedores de terceiros procuram o padrão arquitetônico para pistas sobre como desenvolver seus produtos para obter o máximo impacto e a menor quantidade de interrupção. O estudo de Dresner constatou que 55% dos fornecedores de software disseram que uma arquitetura de dados ativa é extremamente importante, seguida de 21% como muito importante e outros 14% indicando que é importante. Quatro por cento disseram que era um pouco importante, enquanto 9% indicando que não é importante.
A Dresner incluiu 20 fornecedores em suas classificações de arquitetura de dados ativos. Dremio e Denodo amarrado para primeiro; PentahoAssim, Palantire Informatica empatado em terceiro; FiveTrenAssim, Cuboe Astera empatado em quarto e Altair veio em quinto.
“Estamos honrados em ser reconhecidos como um fornecedor líder nesse espaço”, afirmou Leia Maloney, diretor de marketing da Dremio. “À medida que as organizações correm para criar aplicativos agênticos alimentados pela IA, a capacidade de entregar dados governados, em tempo real e pronta para a AI está se tornando o principal diferenciador. Esse reconhecimento de Dresner-baseado inteiramente no feedback do cliente-reforça o papel de Dremio na aceleração dessa mudança, fornecendo acesso rápido, flexível e aberto aos dados.”
Curiosamente, mais de 95% dos fornecedores pesquisados por Dresner relataram que eles podem fornecer toda a funcionalidade necessária para criar uma arquitetura de dados ativa por meio de uma única oferta de produto. “Isso é questionável, dada a realidade de que muitos fornecedores oferecem vários produtos díspares em categorias de recursos, como integração de dados, governança de dados e catálogo de metadados/dados”, diz Dresner. “Tanto o usuário final quanto as organizações concorrentes devem estar cientes de que muitos fornecedores oferecem apenas um subconjunto estreito da funcionalidade geral necessária para a verdadeira arquitetura de dados ativos”.
Infelizmente, assim como Dresner aponta que há uma confusão generalizada sobre o que constitui um tecido de dados ou uma malha de dados, há claramente uma educação adicional necessária para educar o mercado sobre o que implica uma arquitetura de dados ativa.
Dremio compartilhou uma cópia do relatório de Dresner, que você pode acessar aqui.
Itens relacionados:
A camada semântica universal é o próximo campo de batalha de Big Data?
O que aprendemos com mais de duas décadas de virtualização de dados
Malha de dados vs. Data Fabric: Compreendendo as diferenças
Leave a Reply