Durata corso:
Costo:
Data Engineering on Microsoft Azure (DP-203) (MSDAI05)
Codice: MSDAI05
In questo corso lo studente apprenderà i concetti dell’ingegneria dei dati nell’ambito dell’uso di soluzioni di analisi in batch e in tempo reale usando le tecnologie della piattaforma dati di Azure. Gli studenti inizieranno conoscendo le tecnologie di calcolo e archiviazione di base usate per creare una soluzione analitica e impareranno a esplorare in modo interattivo i dati archiviati nei file in un data lake. Apprenderanno le varie tecniche di inserimento che possono essere usate per caricare i dati usando la funzionalità Apache Spark disponibile in Azure Synapse Analytics o Azure Databricks o come eseguire l’inserimento con Azure Data Factory o pipeline di Azure Synapse. Gli studenti apprenderanno anche i vari modi in cui possono trasformare i dati usando le stesse tecnologie usate per l’inserimento. Comprenderanno l’importanza di implementare la sicurezza per garantire che i dati siano protetti sia nello stato inattivo che in transito. Lo studente mostrerà quindi come creare un sistema analitico in tempo reale per creare soluzioni analitiche in tempo reale
Modalità di erogazione
In aula o Live Virtual Classroom
Attestato di partecipazione
Al termine del corso verrà rilasciato l’attestato di frequenza
Module 1: Explore compute and storage options for data engineering workloads
Introduction to Azure Synapse Analytics
Describe Azure Databricks
Introduction to Azure Data Lake storage
Describe Delta Lake architecture
Work with data streams by using Azure Stream Analytics
Module 2: Design and implement the serving layer
Design a multidimensional schema to optimize analytical workloads
Code-free transformation at scale with Azure Data Factory
Populate slowly changing dimensions in Azure Synapse Analytics pipelines
Module 3: Data engineering considerations for source files
Design a Modern Data Warehouse using Azure Synapse Analytics
Secure a data warehouse in Azure Synapse Analytics
Module 4: Run interactive queries using Azure Synapse Analytics serverless SQL pool
Explore Azure Synapse serverless SQL pools capabilities
Query data in the lake using Azure Synapse serverless SQL pools
Create metadata objects in Azure Synapse serverless SQL pools
Secure data and manage users in Azure Synapse serverless SQL pools
Module 5: Explore, transform, and load data into the Data Warehouse using Apache Spark
Understand big data engineering with Apache Spark in Azure Synapse Analytics
Ingest data with Apache Spark notebooks in Azure Synapse Analytics
Transform data with DataFrames in Apache Spark Pools in Azure Synapse Analytics
Integrate SQL and Apache Spark pools in Azure Synapse Analytics
Module 6: Data exploration and transformation in Azure Databricks
Describe Azure Databricks
Read and write data in Azure Databricks
Work with DataFrames in Azure Databricks
Work with DataFrames advanced methods in Azure Databricks
Module 7: Ingest and load data into the data warehouse
Use data loading best practices in Azure Synapse Analytics
Petabyte-scale ingestion with Azure Data Factory
Module 8: Transform data with Azure Data Factory or Azure Synapse Pipelines
Data integration with Azure Data Factory or Azure Synapse Pipelines
Module 9: Orchestrate data movement and transformation in Azure Synapse Pipelines
Orchestrate data movement and transformation in Azure Data Factory
Module 10: Optimize query performance with dedicated SQL pools in Azure Synapse
Optimize data warehouse query performance in Azure Synapse Analytics
Understand data warehouse developer features of Azure Synapse Analytics
Module 11: Analyze and Optimize Data Warehouse Storage
Analyze and optimize data warehouse storage in Azure Synapse Analytics
Module 12: Support Hybrid Transactional Analytical Processing (HTAP) with Azure Synapse Link
Design hybrid transactional and analytical processing using Azure Synapse Analytics
Configure Azure Synapse Link with Azure Cosmos DB
Query Azure Cosmos DB with Apache Spark pools
Query Azure Cosmos DB with serverless SQL pools
Module 13: End-to-end security with Azure Synapse Analytics
Secure a data warehouse in Azure Synapse Analytics
Configure and manage secrets in Azure Key Vault
Implement compliance controls for sensitive data
Module 14: Real-time Stream Processing with Stream Analytics
Enable reliable messaging for Big Data applications using Azure Event Hubs
Work with data streams by using Azure Stream Analytics
Ingest data streams with Azure Stream Analytics
Module 15: Create a Stream Processing Solution with Event Hubs and Azure Databricks
Process streaming data with Azure Databricks structured streaming
Module 16: Build reports using Power BI integration with Azure Synpase Analytics
Create reports with Power BI using its integration with Azure Synapse Analytics
Module 17: Perform Integrated Machine Learning Processes in Azure Synapse Analytics
Use the integrated machine learning process in Azure Synapse Analytics
Professionisti, data architect e professionisti della business intelligence che vogliono imparare non solo l’ingegneria dei dati, ma anche la costruzione di soluzioni analitiche, utilizzando le tecnologie della piattaforma dati che esistono su Microsoft Azure.
Aver seguito I corsi AZ—900 Azure Fundamentals e DP-900 Azure Data Fundamentals o possedere competenze equivalenti.
Al termine del corso i partecipanti saranno in grado di:
- Esplorare le opzioni di calcolo e archiviazione per i carichi di lavoro di ingegneria dei dati in Azure
- Eseguire query interattive usando pool SQL serverless
- Eseguire l’esplorazione e la trasformazione dei dati in Azure Databricks
- Esplorare, trasformare e caricare dati nel data warehouse usando Apache Spark
- Inserire e caricare dati nel data warehouse
- Trasformare i dati con Azure Data Factory o pipeline di Azure Synapse
- Integrare dati dai notebook con Azure Data Factory o pipeline di Azure Synapse
- Supporto dell’elaborazione analitica transazionale ibrida con Collegamento a Synapse di Azure
- Eseguire la sicurezza end-to-end con Azure Synapse Analytics
- Eseguire l’elaborazione dei flussi in tempo reale con Analisi di flusso
- Creare una soluzione di elaborazione dei flussi con Hub eventi e Azure Databricks
