Data engineering s Azure Databricks

Podkladové materiály ke kurzu DP-750 ve zkrácené třídenní verzi — od workspace, compute a Unity Catalogu přes ETL a pipelines až po propojení s Microsoft Fabric a Power BI.

Podkladové materiály ke kurzu DP-750 v rozsahu originální osnovy Microsoftu — od workspace, compute a Unity Catalogu přes ETL a pipelines až po monitoring a optimalizaci workloadů.

🎓 DP-750 · 3 dny 🎓 DP-750 · 4 dny 🧱 Azure Databricks 🗂 Unity Catalog 🔷 Microsoft Fabric 📜 Zkouška DP-750

Zkrácená třídenní verze: 13 modulů oficiální osnovy (dva z nich zůstávají na samostudium) plus tři vlastní témata pod čarou.

Oficiální čtyřdenní osnova Microsoftu: 13 modulů DP-750 v původním pořadí, bez vlastních doplňků.

ℹ️ Jak používat tyto materiály

📋 Osnova tohoto kurzu▼
Představení Azure Databricks
  • 1. Představení Azure Databricks
Výběr a konfigurace Compute
  • 2. Výběr a konfigurace compute
Organizace objektů v Unity Catalogu
  • 3. Objekty v Unity Catalogu
Zabezpečení a governance
  • 4. Zabezpečení Unity Catalogu
  • 5. Governance Unity Catalogu
Datové modelování
  • 6. Datové modelování
Plnění dat do Unity Catalogu, ETL a Pipelines
  • 7. Ingest dat
  • 8. Čištění a transformace dat
  • 9. Data quality constraints · samostudium
  • 10. Datové pipelines
Automatizace
  • 11. Lakeflow Jobs
  • 12. Vývojový lifecycle · samostudium
Monitoring
  • 13. Monitoring a optimalizace
Pod čarou — vlastní témata mimo oficiální MOC
  • 14. Průřez Microsoft Fabric
  • 15. Power BI + Fabric + Databricks
  • 16. Migrace z Oracle
MOC

Představení Azure Databricks

MOC

Výběr a konfigurace Compute

MOC

Organizace objektů v Unity Catalogu

MOC

Zabezpečení a governance

MOC

Datové modelování

MOC

Plnění dat do Unity Catalogu, ETL a Pipelines

MOC

Automatizace

MOC

Monitoring


Pod čarou

Mimo MOC — vlastní témata

Nadstavba nad oficiální kurz: Microsoft Fabric, napojení na Power BI a migrace z Oracle.

MOC

Moduly oficiálního kurzu DP-750

13 modulů oficiální osnovy Microsoftu v původním pořadí.

Kapitola 01 Představení Azure Databricks Workspace a UI · Workloady · Klíčové koncepty · Unity Catalog + Purview · Lab 1 Kapitola 02 Výběr a konfigurace compute Typy compute · Výkon · Photon a autoscaling · Knihovny · Access mode · Lab 2 Kapitola 03 Objekty v Unity Catalogu Naming · Katalog a schéma · Tabulky a views · Volumes · DDL · Foreign catalog · Genie · Lab 3 Kapitola 04 Zabezpečení objektů Unity Catalogu Query lifecycle · Access control · Row filtering · Column masking · Key Vault · Service principals · Lab 4 Kapitola 05 Governance objektů Unity Catalogu Table definitions · ABAC · Retence a VACUUM · Lineage · Audit · Delta Sharing · Lab 5 Kapitola 06 Datové modelování v Unity Catalogu Ingesční nástroje · Formáty · Partitioning · SCD Type 2 · Temporal tabulky · Granularita · Liquid clustering · Lab 6 Kapitola 07 Ingest dat do Unity Catalogu Lakeflow Connect · COPY INTO a CTAS · CDC · Structured Streaming · Auto Loader · Deklarativní pipelines · Lab 7 Kapitola 08 Čištění, transformace a load dat Profiling · Datové typy · Duplicity a NULL · Filtry a agregace · Joins · Pivot · MERGE · Lab 8 Kapitola 09 Data quality constraints Validace · Type checks · Schema drift · Expectations · Lab 9 Kapitola 10 Návrh a implementace datových pipelines Pořadí operací · Notebook vs. pipeline · Logika jobů · Error handling · Lab 10 Kapitola 11 Lakeflow Jobs Setup jobu · Triggery · Plánování · Alerty · Restarty · Lab 11 Kapitola 12 Vývojový lifecycle v Azure Databricks Git · Branching a PR · Testování · Automation Bundles · Databricks CLI · Lab 12 Kapitola 13 Monitoring, troubleshooting a optimalizace Spotřeba clusterů · Oprava jobů · Spark UI · Skew a shuffle · Log Analytics · Lab 13
Příprava

Zkouška DP-750 a co potřebujete

  • Prostředí pro laby: Azure Databricks workspace (Premium) v Azure subscription, případně Databricks Free Edition pro samostudium. Přesné požadavky uvádí každý lab v úvodu.
  • Oficiální laby: microsoftlearning.github.io — DP-750T00 (anglicky, krokové návody).
  • Learn kolekce kurzu: každá kapitola odkazuje na příslušný modul na Microsoft Learn — vhodné pro opakování po kurzu.
  • Zkouška DP-750 (study guide) má čtyři domény: Set up and configure an Azure Databricks environment (15–20 %) · Secure and govern Unity Catalog objects (15–20 %) · Prepare and process data (30–35 %) · Deploy and maintain data pipelines and workloads (30–35 %).
  • Kam dál: na kurz navazuje DP-600 — Microsoft Fabric Analytics Engineer; ochutnávku Fabricu najdete v kapitolách pod čarou.