Skip to main content

Durata corso:

4 giorni

Costo:

1.520,00 €

Data Engineering on Microsoft Azure (DP-203) (MSDAI05)

Codice: MSDAI05

In questo corso lo studente apprenderà i concetti dell’ingegneria dei dati nell’ambito dell’uso di soluzioni di analisi in batch e in tempo reale usando le tecnologie della piattaforma dati di Azure. Gli studenti inizieranno conoscendo le tecnologie di calcolo e archiviazione di base usate per creare una soluzione analitica e impareranno a esplorare in modo interattivo i dati archiviati nei file in un data lake. Apprenderanno le varie tecniche di inserimento che possono essere usate per caricare i dati usando la funzionalità Apache Spark disponibile in Azure Synapse Analytics o Azure Databricks o come eseguire l’inserimento con Azure Data Factory o pipeline di Azure Synapse. Gli studenti apprenderanno anche i vari modi in cui possono trasformare i dati usando le stesse tecnologie usate per l’inserimento. Comprenderanno l’importanza di implementare la sicurezza per garantire che i dati siano protetti sia nello stato inattivo che in transito. Lo studente mostrerà quindi come creare un sistema analitico in tempo reale per creare soluzioni analitiche in tempo reale

Modalità di erogazione

In aula o Live Virtual Classroom

Attestato di partecipazione

Al termine del corso verrà rilasciato l’attestato di frequenza

Contenuti del corso

Module 1: Explore compute and storage options for data engineering workloads

Introduction to Azure Synapse Analytics

Describe Azure Databricks

Introduction to Azure Data Lake storage

Describe Delta Lake architecture

Work with data streams by using Azure Stream Analytics

Module 2: Design and implement the serving layer

Design a multidimensional schema to optimize analytical workloads

Code-free transformation at scale with Azure Data Factory

Populate slowly changing dimensions in Azure Synapse Analytics pipelines

Module 3: Data engineering considerations for source files

Design a Modern Data Warehouse using Azure Synapse Analytics

Secure a data warehouse in Azure Synapse Analytics

Module 4: Run interactive queries using Azure Synapse Analytics serverless SQL pool

Explore Azure Synapse serverless SQL pools capabilities

Query data in the lake using Azure Synapse serverless SQL pools

Create metadata objects in Azure Synapse serverless SQL pools

Secure data and manage users in Azure Synapse serverless SQL pools

Module 5: Explore, transform, and load data into the Data Warehouse using Apache Spark

Understand big data engineering with Apache Spark in Azure Synapse Analytics

Ingest data with Apache Spark notebooks in Azure Synapse Analytics

Transform data with DataFrames in Apache Spark Pools in Azure Synapse Analytics

Integrate SQL and Apache Spark pools in Azure Synapse Analytics

Module 6: Data exploration and transformation in Azure Databricks

Describe Azure Databricks

Read and write data in Azure Databricks

Work with DataFrames in Azure Databricks

Work with DataFrames advanced methods in Azure Databricks

Module 7: Ingest and load data into the data warehouse

Use data loading best practices in Azure Synapse Analytics

Petabyte-scale ingestion with Azure Data Factory

Module 8: Transform data with Azure Data Factory or Azure Synapse Pipelines

Data integration with Azure Data Factory or Azure Synapse Pipelines

Module 9: Orchestrate data movement and transformation in Azure Synapse Pipelines

Orchestrate data movement and transformation in Azure Data Factory

Module 10: Optimize query performance with dedicated SQL pools in Azure Synapse

Optimize data warehouse query performance in Azure Synapse Analytics

Understand data warehouse developer features of Azure Synapse Analytics

Module 11: Analyze and Optimize Data Warehouse Storage

Analyze and optimize data warehouse storage in Azure Synapse Analytics

Module 12: Support Hybrid Transactional Analytical Processing (HTAP) with Azure Synapse Link

Design hybrid transactional and analytical processing using Azure Synapse Analytics

Configure Azure Synapse Link with Azure Cosmos DB

Query Azure Cosmos DB with Apache Spark pools

Query Azure Cosmos DB with serverless SQL pools

Module 13: End-to-end security with Azure Synapse Analytics

Secure a data warehouse in Azure Synapse Analytics

Configure and manage secrets in Azure Key Vault

Implement compliance controls for sensitive data

Module 14: Real-time Stream Processing with Stream Analytics

Enable reliable messaging for Big Data applications using Azure Event Hubs

Work with data streams by using Azure Stream Analytics

Ingest data streams with Azure Stream Analytics

Module 15: Create a Stream Processing Solution with Event Hubs and Azure Databricks

Process streaming data with Azure Databricks structured streaming

Module 16: Build reports using Power BI integration with Azure Synpase Analytics

Create reports with Power BI using its integration with Azure Synapse Analytics

Module 17: Perform Integrated Machine Learning Processes in Azure Synapse Analytics

Use the integrated machine learning process in Azure Synapse Analytics

 

 

 

 

Partecipanti

Professionisti, data architect e professionisti della business intelligence che vogliono imparare non solo l’ingegneria dei dati, ma anche la costruzione di soluzioni analitiche, utilizzando le tecnologie della piattaforma dati che esistono su Microsoft Azure.

Prerequisiti

Aver seguito I corsi AZ—900 Azure Fundamentals e DP-900 Azure Data Fundamentals o possedere competenze equivalenti.

Obiettivi

Al termine del corso i partecipanti saranno in grado di:

  • Esplorare le opzioni di calcolo e archiviazione per i carichi di lavoro di ingegneria dei dati in Azure
  • Eseguire query interattive usando pool SQL serverless
  • Eseguire l’esplorazione e la trasformazione dei dati in Azure Databricks
  • Esplorare, trasformare e caricare dati nel data warehouse usando Apache Spark
  • Inserire e caricare dati nel data warehouse
  • Trasformare i dati con Azure Data Factory o pipeline di Azure Synapse
  • Integrare dati dai notebook con Azure Data Factory o pipeline di Azure Synapse
  • Supporto dell’elaborazione analitica transazionale ibrida con Collegamento a Synapse di Azure
  • Eseguire la sicurezza end-to-end con Azure Synapse Analytics
  • Eseguire l’elaborazione dei flussi in tempo reale con Analisi di flusso
  • Creare una soluzione di elaborazione dei flussi con Hub eventi e Azure Databricks

 

Vuoi ulteriori info?

Torna a trovarci per conoscere i nuovi Corsi inseriti

Oppure richiedi informazioni sul corso che ti interessa nella sezione Contatti

My Agile Privacy
Questo sito utilizza cookie tecnici e di profilazione. Cliccando su accetta si autorizzano tutti i cookie di profilazione. Cliccando su rifiuta o la X si rifiutano tutti i cookie di profilazione. Cliccando su personalizza è possibile selezionare quali cookie di profilazione attivare.