O que você vai aprender
Da primeira linha de PySpark a pipelines preparados para produção
Este livro foi desenvolvido para conduzir o leitor por uma jornada progressiva em Engenharia de Dados, combinando conceitos, código e situações próximas da realidade profissional.
Fundamentos PySpark
- Apache Spark
- DataFrames
- Transformações
- Filtros
Manipulação de dados
- Agregações
- Joins
- Window Functions
- Spark SQL
Arquitetura Medallion
- ETL e ELT
- Bronze, Silver e Gold
- Parquet
- Delta Lake
Qualidade e governança
- Qualidade de dados
- Quarantine
- Unity Catalog
- Governança
Databricks e workflows
- Databricks
- Jobs
- Workflows
- Lakehouse
Streaming e incremental
- Processamento incremental
- Structured Streaming
- MERGE
- Idempotência
Performance
- Particionamento
- Data Skew
- Cache
- Catalyst e AQE
Produção
- Testes de pipelines
- Tratamento de erros
- Observabilidade
- Projeto final
A jornada do livro
Um pipeline completo, do dado bruto à produção
- Dados
- Ingestão
- Bronze
- Silver
- Gold
- Qualidade
- Análise
- Produção
O que torna este livro diferente
Pensar como um Engenheiro de Dados
PySpark na Prática não foi criado apenas para mostrar comandos. A proposta é ensinar você a pensar como um Engenheiro de Dados.
Prática
Exemplos aplicados e construção progressiva dos conceitos.
Engenharia de Dados
Decisões de arquitetura, qualidade, organização e processamento.
Produção
Testes, observabilidade, performance, confiabilidade e preparação de pipelines.
Projeto completo
Construção de uma arquitetura Lakehouse utilizando conceitos aprendidos durante o livro.
Para quem é este livro
Este livro é para você que...
Está começando em Engenharia de Dados.
Já conhece Python e quer avançar para processamento distribuído.
Quer aprender PySpark de maneira prática.
Trabalha com dados e deseja compreender Apache Spark.
Quer aprender conceitos utilizados em projetos profissionais.
Deseja estudar Databricks, Delta Lake e Lakehouse.
Está se preparando para oportunidades profissionais em Engenharia de Dados.
Tecnologias
Ferramentas presentes na jornada
Tecnologias e conceitos utilizados ao longo dos capítulos e laboratórios do livro.
- Python
- PySpark
- Apache Spark
- Delta Lake
- Databricks
- SQL
- Parquet
- Structured Streaming
- Lakehouse
- Git
- GitHub
- Linux
- WSL
Conteúdo do livro
32 capítulos. Uma jornada completa.
Experiência prática
Durante o livro você não apenas lê sobre Engenharia de Dados. Você constrói.
- Código
- Datasets
- Pipelines
- Testes
- Arquitetura
- Projeto Final
from pyspark.sql import SparkSession
spark = (
SparkSession.builder
.appName("PySparkNaPratica")
.getOrCreate()
)Prévia gratuita
Leia uma amostra antes de comprar
Baixe gratuitamente um trecho do eBook em PDF e veja na prática a didática, os exemplos de código e a profundidade técnica do material.
Amostra gratuita em PDF
- Trechos reais do conteúdo e da diagramação
- Exemplos de código PySpark comentados
- Sumário completo dos 32 capítulos
Sem cadastro. Download imediato em PDF.
O aprendizado continua além das páginas.
O leitor terá acesso a um repositório complementar contendo exemplos, scripts, datasets sintéticos e materiais utilizados nos laboratórios do livro.
Sobre o autor
Elison P Melgueiro
Elison P Melgueiro é profissional de tecnologia e Engenharia de Dados, com trajetória dedicada ao desenvolvimento e ao estudo de soluções de dados, com foco em Python, PySpark, Databricks e plataformas de nuvem.
Seu trabalho reúne temas como pipelines de dados, processamento batch e streaming, arquiteturas Lakehouse, qualidade e governança de dados, automação, testes e práticas necessárias para levar soluções do ambiente de desenvolvimento à produção.
Também se dedica à educação tecnológica e à produção de conteúdo didático, buscando tornar conceitos de Engenharia de Dados mais acessíveis, práticos e aplicáveis a estudantes e profissionais em diferentes etapas de aprendizado.
Comece agora sua jornada com PySpark
PySpark na Prática
Engenharia de Dados do Zero à Produção
eBook digital em PDF
Preço especial de lançamento por tempo limitado.
Pagamento processado com segurança pelo Mercado Pago.
- PIX
- Cartão de crédito
FAQ