Designing and Implementing a Data Science Solution on Azure (DP-100T01) (MSDAI04)

Module 1: Get started with data engineering on Azure

Introduction to data engineering on Azure

Introduction to Azure Data Lake Storage Gen2

Introduction to Azure Synapse Analytics

Module 2:Build data analytics solutions using Azure Synapse Analytics serverless SQL pools

Use a serverless SQL pool to query files in a data lake

Use a serverless SQL pool to transform data

Create a lake database

Module 3: Perform data engineering with Azure Synapse Apache Spark Pools

Use Delta Lake in Azure Synapse Analytics

Analyze data with Apache Spark in Azure Synapse Analytics

Transform data with Apache Spark in Azure Synapse Analytics

Module 4: Work with data warehouses using Azure Synapse Analytics

Analyze data in a relational data warehouse

Load data into a relational data warehouse

 Module 5: Transfer and transform data with Azure Synapse Analytics Pipelines

Build a data pipeline in Azure Synapse Analytics

Use Spark Notebooks in an Azure Synapse Pipeline

Module 6: Work with hybrid transactional and analytical processing (HTAP) Solutions using Azure Synapse Analytics

Plan hybrid transactional and analytical processing

Implement Azure Synapse Link with Azure Cosmos DB

Implement Azure Synapse Link for SQL

Work with DataFrames advanced methods in Azure Databricks

Module 7: Implement a data streaming solution 

with Azure Stream Analytics

Get started with Azure Stream Analytics

Ingest streaming data using Azure Stream Analytics 

and Azure Synapse Analytics

Module 8: Govern data across an enterprise

Visualise real-time data with Azure Stream Analytics and 

Power BI

Integrate Microsoft Purview and Azure Synapse Analytics

Module 9: Data engineering with Azure Databricks

Run Azure Databricks notebooks in Azure Data Factory

Explore Azure Databricks

Explore Azure Databricks

Questo corso è progettato per data scientist con una conoscenza esistente di Python e framework di machine learning come Scikit-Learn, PyTorch e Tensorflow, che desiderano creare e gestire soluzioni di machine learning nel cloud.

Prima di frequentare questo corso, gli studenti devono avere:

• Una conoscenza fondamentale di Microsoft Azure
• Esperienza nella scrittura di codice Python per lavorare con i dati, utilizzando librerie come Numpy, Pandas e Matplotlib.
• Comprensione della scienza dei dati; incluso come preparare i dati e addestrare i modelli di machine learning utilizzando librerie di machine learning comuni come Scikit-Learn, PyTorch o Tensorflow.

Al termine del corso i partecipanti saranno in grado di:

• Progettare una soluzione di ingestione dei dati per i dati di formazione utilizzati nei progetti di apprendimento automatico
• Progettare una soluzione di formazione dei modelli per progetti di apprendimento automatico
• Capire come verrà consumato un modello
• Decidere se distribuire il modello a un endpoint in tempo reale o in batch
• Creare un’area di lavoro Azure Machine Learning
• Identificare le risorse e gli asset
• Addestrare i modelli nell’area di lavoro
• Interagire con l’area di lavoro Azure Machine Learning
• Lavorare con gli URI (Uniform Resource Identifier)
• Creare e utilizzare i datastore
• Creare e utilizzare risorse di dati
• Scegliere il target di calcolo appropriato
• Creare e utilizzare un’istanza di calcolo
• Creare e utilizzare un cluster di calcolo
• Utilizzare gli ambienti di Azure Machine Learning per eseguire script su qualsiasi target di calcolo
• Trovare il miglior modello di classificazione con l’apprendimento automatico (AutoML)
• Usare MLflow per il tracciamento dei modelli quando si sperimenta nei notebook
• Convertite il vostro codice in uno script ed eseguitelo come job di comando in Azure Machine Learning
• Tracciare l’addestramento del modello con MLflow nei job durante l’esecuzione degli script
• Creare e utilizzare componenti per costruire pipeline in Azure Machine Learning
• Eseguire la regolazione degli iperparametri con un lavoro di sweep in Azure Machine Learning
• istribuire i modelli a un endpoint online gestito per l’inferenza in tempo reale
• Distribuire i modelli a un endpoint batch
• Lavorare con i dati in Azure Databricks
• Addestrare un modello di apprendimento automatico con Azure Databricks
• Utilizzare MLflow per tenere traccia delle esecuzioni degli esperimenti e delle metriche
• Gestire i modelli di apprendimento automatico in Azure Databricks
• Eseguire gli esperimenti di Azure Databricks in Azure Machine Learning
• Distribuire i modelli addestrati negli endpoint di Azure Machine Learning