Databricks for Data Engineers: advanced techniques

Leer best practices voor het gebruik van het Databricks‑platform als data engineer

Beschrijving

In deze training bouw je verder op je Databricks‑basiskennis en ontwikkel je een dataplatform volgens professionele best practices binnen een realistisch mock‑up scenario. Je ontwikkelt vaardigheden in het aansluiten van nieuwe databronnen, het configureren van catalogi, het instellen van beveiliging en het werken met Git en Databricks Asset Bundles. Je werkt hands‑on met ingestion‑technieken zoals Merge Into, Lakeflow Connect en streaming ingestion om data betrouwbaar te verwerken. Door middel van labs pas je elke stap direct toe in een praktijkomgeving, zodat je concrete ervaring opdoet met zowel batch‑ als streamingdata.

Met declarative Lakeflow Pipelines transformeer je data en combineer je bronnen tot bruikbare use cases. Daarnaast krijg je inzicht in monitoring via system tables en SQL‑alerts om afwijkingen in productieprocessen tijdig te signaleren. Ook bouw je metric views en eenvoudige dashboards die resultaten helder visualiseren voor eindgebruikers. Aan het eind ben je in staat een end‑to‑end datastroom te realiseren, van bron tot dashboard, inclusief alerting en operationeel inzicht.

Leerdoelen

• Describe core Databricks workspace and platform concepts. [Remember]
• Explain how catalogs, schemas, and permissions work in Unity Catalog. [Understand]
• Apply ingestion techniques such as Merge Into, Lakeflow Connect, and streaming ingestion. [Apply]
• Implement data contracts, catalog structures, and basic security settings. [Apply]
• Construct declarative Lakeflow Pipelines for transforming and combining datasets. [Apply]
• Analyze ingestion and transformation runs using system tables, logs, and SQL alerts. [Analyze]
• Produce metric views and dashboards to present operational insights. [Apply]
• Interpret monitoring signals to identify anomalies in batch or streaming workloads. [Understand]
• Implement an end‑to‑end data flow from source ingestion to dashboarding. [Apply]

Onderwerpen

1. Introduction & Databricks Environment
2. Ingestion
3. Transformation
4. Monitoring
5. Serving

• Introduction
• Catalog configuration
• Grants & security
• Git integration
• Lab: Load repository, prepare mock-up data platform, use Databricks CLI

• Data contracts
• Merge Into
• Connecting a Parquet source
• Lakeflow Connect
• Cluster configuration tuning & serverless
• Lab: Connect Parquet source
• Lab: Connect streaming source

• Lakeflow Declarative Pipelines
• SQL Alerts
• Lab: Build pipelines based on existing and new sources

• System tables
• System dashboarding
• Lab: Review pipeline results

• Metric Views
• Dashboarding
• Genie Space
• Power BI Desktop
• Lab: Build metric views to support dashboards
• Lab: Create dashboards and monitor end‑to‑end operations