Data Mesh

Sumário

• Apresentação
• Prefácio
• Prólogo: imaginando o data mesh
• Parte I O que é data mesh?
• Capítulo 1 ■ Resumindo o data mesh
• Resultados
• Mudanças
• Princípios
  • Princípio de propriedade de domínio
  • Princípio de dados como produto
  • Princípio de plataforma de autoatendimento de dados
  • Princípio de governança computacional federada
• Inter-relação dos princípios
• Visão geral do modelo de data mesh
• Dados
  • Dados operacionais
  • Dados analíticos
• Origem
• Capítulo 2 ■ Princípio de propriedade de domínio
• Breve histórico sobre o design orientado a domínio
• Aplicando o design estratégico do DDD aos dados
• Arquétipos de dados de domínio
  • Dados de domínio alinhados à fonte
  • Dados agregados de domínio
  • Dados de domínio alinhados ao consumidor
• Transição para propriedade de domínio
  • Promovendo a propriedade de dados upstream
  • Defina múltiplos modelos conectados
  • Ocultar os pipelines de dados como implementação interna dos domínios
• Recapitulando
• Capítulo 3 ■ Princípio de dados como produto
• Aplicando a abordagem de product thinking aos dados
  • Atributos de baseline de usabilidade de um produto de dados
• Transição para dados como um produto
  • Inclua a propriedade de produtos de dados em domínios
  • Reformule a nomenclatura para criar mudanças
  • Pense nos dados como um produto, não como um simples ativo
  • Estabeleça a cultura de dados trust-but-verify (confie, mas verifique" )
  • Combinar dados e calcular como uma unidade lógica
• Recapitulando
• Capítulo 4 ■ Princípio de plataforma de autoatendimento de dados
• Plataforma de data mesh: comparações e diferenças
  • Atendendo equipes autônomas e orientadas a domínio
  • Gerenciando produtos de dados autônomos e interoperáveis
  • Plataforma contínua de capacidades operacionais e analíticas
  • Projetada para uma maioria generalista
  • Favorecendo tecnologias descentralizadas
  • Domínio agnóstico
• Pensamento da plataforma de data mesh
  • Viabiliza que equipes autônomas obtenham valor a partir dos dados
  • Troca de valor com produtos de dados autônomos e interoperáveis
  • Acelera a troca de valor ao reduzir a carga cognitiva
  • Scale-out de compartilhamento de dados
  • Apoio à cultura de inovação intrínseca
• Transição para uma plataforma de autoatendimento de data mesh
  • Projete APIs e protocolos primeiro
  • Prepare-se para a adoção generalista
  • Faça um inventário e simplifique as coisas
  • Crie APIs de alto nível para gerenciar produtos de dados
  • Crie experiências, não mecanismos
  • Comece com alicerces mais simples, e a colheita será o progresso
• Recapitulando
• Capítulo 5 ■ Princípio de governança computacional federada
• Aplique o pensamento sistêmico à governança de data mesh
  • global
  • Adote a topologia dinâmica como estado padrão
  • Utilize a automação e a arquitetura distribuída
• Aplique a federação ao modelo de governança
  • Equipe federada
  • Valores norteadores
  • Políticas
  • Incentivos
• Aplique computação ao modelo de governança
  • Padrões como código
  • Políticas como código
  • Testes automatizados
  • Monitoramento automatizado
• Transição para governança computacional federada
  • Delegue accountability aos domínios
  • Incorpore a implementação de políticas em cada produto de dados
  • Automatize a viabilização e o monitoramento das intervenções
  • Modele as lacunas
  • Meça o efeito de rede
  • Adote a mudança em vez da constância
• Recapitulando
• Parte II Por que data mesh?
• Capítulo 6 ■ Momento decisivo
• Altas expectativas de dados
• A imensa divisão dos dados
• Escala: a descoberta de uma abordagem nova
• Além do previsível
• Abordando o platô de retorno
• Recapitulando
• Capítulo 7 ■ Após o momento decisivo
• Responder com elegância às mudanças em cenário complexo de negócio
  • Alinha negócios, tecnologia e agora dados analíticos
  • Fecha a lacuna entre dados analíticos e operacionais
  • Localiza alterações/mudanças de dados em domínios de negócios
  • Reduz a complexidade imprevista de pipelines e de cópia de dados
• Mantém a agilidade diante do crescimento
  • Remove gargalos centralizados e monolíticos
  • Reduz a coordenação de pipelines de dados
  • Reduz a coordenação da governança de dados
  • Viabiliza a autonomia
• Aumenta a proporção de valor dos dados em relação ao investimento
  • Abstrai a complexidade técnica com uma plataforma de dados
  • Incorpora o product thinking em tudo
  • Ultrapassando fronteiras
• Recapitulando
• Capítulo 8 ■ Antes do momento decisivo
• Evolução das arquiteturas analíticas de dados
  • Primeira geração: arquitetura de data warehouse
  • Segunda geração: arquitetura de data lake
  • Terceira geração: arquitetura de nuvem multimodal
• Características da arquitetura de dados analíticos
  • Monolíticos
  • Propriedade centralizada de dados
  • Orientado à tecnologia
• Recapitulando
• Parte III Como projetar a arquitetura de data mesh
• Capítulo 9 ■ Arquitetura lógica
• Interfaces de compartilhamento de dados analíticos orientadas a domínio
  • Design de interface operacional
  • Design de interface de dados analíticos
  • Dependências de dados analíticos entre domínios
• Produto de dados como quantum de arquitetura
  • Componentes estruturais de um produto de dados
  • Interações de compartilhamento de dados de produtos de dados
  • APIs de descoberta e de observabilidade de dados
• Plataforma multiplano de dados
  • Plano de plataforma
  • Plano (utilitário) de infraestrutura de dados
  • Plano de experiência do produto de dados
  • Plano de experiência da rede interconectada
  • Exemplo
• Políticas computacionais incorporadas
  • Sidecar de produto de dados
  • Contêiner computacional de produto de dados
  • Porta de controle
• Recapitulando
• Capítulo 10 ■ Arquitetura da plataforma multiplano de dados
• Projete uma plataforma impulsionada pelas jornadas do usuário
• Jornada do desenvolvedor de produtos de dados
  • Concepção, exploração, inicialização e fonte
  • Build, teste, implantação e execução
  • Manutenibilidade, evolução e desativação
• Jornada do consumidor de produtos de dados
  • Concepção, exploração, inicialização e fonte
  • Build, teste, implantação e execução
  • Manutenibilidade, evolução e desativação
• Recapitulando
• Parte IV Como projetar a arquitetura do produto de dados
• Capítulo 11 ■ Projetando um produto de dados com affordances
• Affordances do produto de dados
• Características da arquitetura de produto de dados
• Design influenciado pela simplicidade de sistemas adaptativos complexos
  • Comportamento emergente a partir de regras locais simples
  • Sem orquestrador central
• Recapitulando
• Capítulo 12 ■ Design para consumir, transformar e disponibilizar dados
• Disponibilizando dados
  • Necessidades dos usuários de dados
  • Disponibilizando propriedades de design de dados
  • Design para disponibilização de dados
• Consumindo dados
  • Arquétipos de fontes de dados
  • Localidade do consumo de dados
  • Design para consumo de dados
• Transformando dados
  • Transformação programática versus não programática
  • Transformação baseada em dataflow
  • ML como transformação
  • Transformação de variação temporal
  • Design para transformação
• Recapitulando
• Capítulo 13 ■ Design para descoberta, compreensão e composição de dados
• Descobrindo, compreendendo, confiando e explorando
  • Comece a descoberta com autorregistro
  • Descubra o URI global
  • Entendendo os modelos semânticos e de sintaxe
  • Estabeleça confiança com garantias de dados
  • Explorando a estrutura dos dados
  • Obtendo informações com a documentação
  • Descobrindo, explorando e compreendendo o design
• Compondo dados
  • Consumindo propriedades de design dos dados
  • Abordagens tradicionais para capacidade de composição de dados
  • Compondo o design de dados
• Recapitulando
• Capítulo 14 ■ Gerenciamento de design, de governança e de observação de dados
• Gerenciamento do ciclo de vida
  • Gerenciamento do design do ciclo de vida
  • Componentes do manifesto do produto de dados
• Governança de dados
  • Design de governança de dados
  • Padronização de políticas
  • Integração de dados e de políticas
  • Vinculação de políticas
• Observando, debugando e auditando
  • Design de observabilidade
• Recapitulando
• Parte V Primeiros passos
• Capítulo 15 ■ Estratégia e execução
• Você deve adotar o data mesh hoje?
• Data mesh como elemento da estratégia de dados
• Framework de execução do data mesh
  • Execução orientada a negócios
  • Execução integral e iterativa
  • Execução evolutiva
• Recapitulando
• Capítulo 16 ■ Organização e cultura
• Mudanças
• Cultura
  • Valores
• Recompensas
  • Motivações intrínsecas
  • Motivações extrínsecas
• Estrutura
  • Suposições da estrutura organizacional
  • Identificação das fronteiras do produto de dados
• Pessoas
  • Papéis
  • Desenvolvimento de conjunto de habilidades
• Processos
  • Principais mudanças de processo
• Recapitulando
• Índice remissivo