Implementando o Data Mesh
Criando o design, desenvolvendo e implementando contratos de dados, produtos de dados e data mesh
Descrição do livro
À medida que os dados não param de crescer e se tornar mais complexos, as organizações buscam soluções inovadoras para gerenciá-los de forma eficaz. O data mesh se apresenta como uma solução que fornece uma nova abordagem para gerenciar dados em organizações complexas. Este guia prático oferece orientações detalhadas sobre como implementar o data mesh em sua organização.
Neste livro, Jean-Georges Perrin e Eric Broda focam os principais componentes do data mesh e fornecem conselhos práticos apoiados por código. Engenheiros de dados, arquitetos e analistas explorarão um processo simples e intuitivo a fim de identificar os principais componentes do data mesh e produtos de dados. Os leitores aprenderão um conjunto consistente de interfaces e métodos de acesso que facilitam consumir os produtos de dados.
Essa abordagem garante que os produtos de dados e o ecossistema de data mesh sejam de fácil acesso.
Este livro ajuda os leitores a:
• Identificar, definir e criar produtos de dados que interoperam em um data mesh corporativo
• Criar um data mesh que vincule produtos de dados
• Criar e implantar produtos de dados em um data mesh
• Definir a estrutura organizacional para operar produtos de dados, plataformas de dados e data fabric.
• Aprender uma arquitetura inovadora que combina produtos de dados e data fabric em um data mesh.
“Data mesh é um assunto complexo, pois lida com o cenário intrincado do ecossistema de dados moderno. Este livro fornece uma visão geral abrangente da teoria e prática do data mesh, e isso com certeza ajudará os leitores a entendê-lo de uma forma acionável e orientada a valor." — Colleen Tartow, Ph.D., CTO de campo e chefe de estratégia, VAST Data
Ver menos ▲Sumário
- Apresentação
- Prefácio
- Parte I: Conceitos básicos
- Capítulo 1: Entendendo o data mesh: fundamentos
- Tornando os dados ágeis
- Autonomia local + velocidade = agilidade
- Resolvendo os desafios atuais de dados
- Superando os silos de dados
- Mudança em direção a dados com maior qualidade
- Transformando a governança de dados
- Volume, variedade e variabilidade de dados
- Transformando princípios em prática
- Recapitulando
- Capítulo 2: Aplicando os princípios do data mesh
- Princípios do data mesh
- Dados como produto
- Propriedade descentralizada de domínio
- Plataforma de autoatendimento de dados
- Governança computacional federada
- Definindo um “bom” produto de dados
- Definindo um produto de dados baseado em princípios
- Definindo um produto de dados FAIR
- Definindo um produto de dados de nível corporativo
- Definindo um produto valioso de dados
- Definindo um produto balanceado de dados
- Definindo um produto moderno de dados — além dos dados “regulares”
- Definindo um ciclo de vida prático do produto de dados
- Definindo um roadmap prático de data mesh
- Um “bom” produto de dados tem um proprietário de produto de dados com autonomia
- Identificando um produto de dados
- Recapitulando
- Capítulo 3: Nosso estudo de caso: Climate Quantum Inc
- confiar
- Apresentando a Climate Quantum Inc
- Cenário de dados da Climate Quantum
- Aplicando as técnicas da Climate Quantum Inc. à sua empresa
- Recapitulando
- Parte II: Fazendo o design, criando e implantando o data mesh
- Capítulo 4: Definindo a arquitetura de data mesh
- Arquitetura de produtos de dados
- Artefatos do produto de dados
- Componentes da arquitetura de desenvolvimento
- Componentes da arquitetura do tempo de execução
- Componentes da arquitetura de operações
- Arquitetura do data mesh
- Marketplace e registro do data mesh
- Serviços de backbone do data mesh
- Considerações sobre o caso de uso da Climate Quantum
- Recapitulando
- Capítulo 5: Impulsionando produtos de dados com contratos de dados
- Agregando valor por meio da confiança
- Entendendo o contrato de dados
- Analisando em detalhes a teoria
- Estruturando boas informações
- O controle adequado de versão é importante
- Mantendo a simplicidade e a semântica
- Explorando um exemplo: complementando o conhecimento interno da equipe
- O que é QoS de dados e por que é essencial?
- Representação
- Por que isso é importante?
- Por que a qualidade de dados não é suficiente
- Níveis de serviço complementam a qualidade
- Aplicando o QoS de dados ao contrato de dados
- Verificando a conformidade das medições
- Completude
- Acurácia
- Níveis de serviço orientados à colaboração
- Recapitulando
- Capítulo 6: Criando seu primeiro produto de dados
- Anatomia de um produto de dados
- O contrato de dados entra em cena
- Conectando suas fontes de dados
- Assegurando maior qualidade de dados com observabilidade
- Como acelerar a capacidade de descoberta de dados
- Viabilizando a operabilidade e o controle
- Criando e empacotando
- Recapitulando
- Capítulo 7: Alinhamento com os planos de experiência
- Os três planos
- O plano de experiência de infraestrutura é fundamental
- O plano de experiência do produto de dados é independente
- O plano de experiência de rede interconectada tem a ver com sinergia
- Criando um modelo de capacidade para cada plano
- Capacidades do plano de experiência de infraestrutura
- Capacidades do plano de experiência do produto de dados
- Capacidades do plano de experiência de rede interconectada
- Coletando métricas importantes por meio de ciclos de feedback
- Recapitulando
- Capítulo 8: Aplicando o data mesh a seus produtos de dados
- Registrando seu produto de dados
- Conectando seus produtos na rede interconectada
- Aplicando o data mesh aos produtos de dados
- Descrevendo sua linhagem de dados
- Notificações por meio da rede interconectada
- Recapitulando
- Parte III: IA generativa, equipe, modelo operacional e roadmap para data mesh
- Capítulo 9: Executando e operando seu data mesh
- Fazendo com que os produtos de dados sejam descobríveis, observáveis e seguros
- Interface de capacidade de descoberta de produtos de dados
- Interface de observabilidade do produto de dados
- Interface de controle do produto de dados
- Segurança do produto de dados
- Considerações sobre o caso de uso da Climate Quantum
- Produtos dinâmicos de dados
- O poder dos produtos dinâmicos de dados
- Recapitulando
- Capítulo 10: Criando um marketplace de data mesh
- Desafios com os catálogos tradicionais de dados
- O marketplace de data mesh
- Uma janela para o data mesh
- A jornada do usuário-consumidor
- A jornada do usuário-produtor
- Autodisponibilização de produtos de dados
- O poder da capacidade de descoberta
- Como inicializar seu marketplace
- Marketplace de data mesh da Climate Quantum
- Recapitulando
- Capítulo 11: Estabelecendo a governança do data mesh
- Governança de dados
- Certificação de produtos de dados
- Certificação de produtos federados de dados
- Implementando a certificação de produtos de dados
- Contratos e certificação de dados
- Abordagem de certificação da Climate Quantum
- Recapitulando
- Capítulo 12: Entendendo as cadeias de suprimentos de produtos de dados
- A moderna cadeia de suprimentos de manufatura
- A moderna fábrica de software
- A fábrica de produtos de dados
- A cadeia de suprimentos de produtos de dados
- Cadeia de suprimentos de produtos de dados da Climate Quantum
- Recapitulando
- Capítulo 13: Integrando o data mesh e a IA generativa
- Panorama da IA generativa
- Large Language Models
- Embeddings
- Bancos vetoriais de dados
- Prompts
- Desafios
- Data mesh e a IA generativa
- Qualidade melhorada de dados com a IA generativa
- Modelos destacados como artefatos primários
- Modelos consumidos dentro de produtos de dados
- Código gerado a partir do produto de dados
- Capacidades dos produtos de dados complementadas
- Climate Quantum e a IA generativa
- Simplificando a pesquisa de dados meteorológicos
- Analisando e resumindo dados meteorológicos
- Criando relatórios de divulgação
- Gerando código para simplificar o processamento de dados meteorológicos
- Recapitulando
- Capítulo 14: Montando equipes de data mesh
- Topologias de equipe no data mesh
- A equipe de produtos de dados
- Equipes de plataforma
- Equipes facilitadoras
- Equipes da Climate Quantum
- Recapitulando
- Capítulo 15: Definindo um modelo operacional de data mesh
- Características de um modelo operacional
- O continuum do modelo operacional
- Organizações centralizadas
- Organizações matriciais
- Organizações federadas
- Organizações distribuídas
- Modelo operacional de data mesh
- Modelo de maturidade do data mesh
- Modelo operacional de data mesh da Climate Quantum
- Recapitulando
- Capítulo 16: Estabelecendo um roadmap viável de data mesh
- Estrutura do roadmap
- Estratégia e fluxo de roadmap
- Fluxo de tecnologia
- Fluxo de fábrica
- Fluxo do modelo operacional
- Fluxo de compartilhamento de informações
- Fluxo de rollout
- Roadmap de data mesh da Climate Quantum
- Recapitulando
- Índice remissivo
Sobre os autores
Jean-Georges “JGP” Perrin é diretor de inovação da AbeaData, que foca o desenvolvimento de abordagens inovadoras e modernas de data tooling. Ele é reconhecido como Lifetime IBM Champion (título conferido pela IBM por sua destacada contribuição à comunidade) e presidente do Open Data Contract Standard (ODCS) no projeto Bitol da Linux Foundation.… Ver perfil completo ▶
Eric Broda trabalha com serviços financeiros há mais de três décadas e é executivo de tecnologia e consultor de bancos de grande porte, seguradoras e instituições de pagamentos.… Ver perfil completo ▶
Livros relacionados
