DP 200T01 Implementowanie rozwiązań przetwarzających dane na platformie Azure

Moduł 1: Platforma Azure dla inżynierów danych
W module omawiany jest rozwój koncepcji dotyczących przetwarzania danych oraz nowe możliwości eksploracji danych dostępne dla przedsiębiorstw dzięki technologiom platformy danych w chmurze. Uczestnicy zapoznają się także z przeglądem różnych dostępnych technologii platform danych w chmurze oraz z rolą i obowiązkami inżyniera danych w nowym środowisku w kontekście korzyści uzyskiwanych przez przedsiębiorstwo.

Program

• Rozwój koncepcji dotyczących przetwarzania danych
• Przegląd usług na platformie danych Azure
• Określenie zadań wykonywanych przez inżyniera danych
• Opis przypadków użycia w środowisku chmury w ramach przykładu wdrożenia
• Ćwiczenie: Platforma Azure dla inżynierów danych
• Określenie koncepcji dotyczących przetwarzania danych
• Określenie usług platformy danych Azure
• Określenie zadań wykonywanych przez inżyniera danych
• Finalizacja produktów związanych z inżynierią danych

Moduł 2: Przechowywanie danych
W tym module przedstawione zostają różne sposoby przechowywania danych na platformie Azure. Uczestnicy szkolenia poznają podstawy zarządzania pamięcią na platformie Azure, sposoby tworzenia konta usługi Storage, a także sposób wyboru odpowiedniego modelu dla danych, które mają być przechowywane w chmurze. Uczestnicy szkolenia dowiedzą się również, jak można w prosty sposób utworzyć magazyn Data Lake w celu obsługi różnych rozwiązań do analizy wielkich zbiorów danych.

Program

• Wybór sposobu przechowywania danych na platformie Azure
• Tworzenie konta usługi Azure Storage
• Omówienie usługi Azure Data Lake Storage
• Przesyłanie danych do magazynu Azure Data Lake
• Ćwiczenie: Przechowywanie danych

Moduł 3: Praca zespołowa nad analizą danych z wykorzystaniem usługi Azure Databricks
W ramach modułu uczestnicy szkolenia mają okazję zapoznać się z usługą Azure Databricks i ze sposobami jej przygotowania przez inżyniera danych na potrzeby realizacji w przedsiębiorstwie zespołowych projektów związanych z analizą danych. Omówione zostaną również podstawy usługi Azure Databricks i notatniki Apache Spark, a także sposoby udostępniania usługi i obszarów roboczych oraz wykonywania zadania przygotowania danych przydatnych w projekcie związanym z analizą danych.

Program

• Omówienie usługi Azure Databricks
• Praca z usługą Azure Databricks
• Odczytywanie danych z wykorzystaniem usługi Azure Databricks
• Wykonywanie transformacji z wykorzystaniem usługi Azure Databricks
• Ćwiczenie: Praca zespołowa nad analizą danych z wykorzystaniem usługi Azure Databricks

Moduł 4: Tworzenie globalnych rozproszonych baz danych z wykorzystaniem usługi Cosmos DB
W ramach tego modułu uczestnicy szkolenia poznają sposoby pracy z danymi NoSQL z wykorzystaniem usługi Azure Cosmos DB. Dowiedzą się, na czym polega udostępnianie usługi, w jaki sposób można ładować dane i tworzyć do nich zapytania za pomocą rozszerzeń programu Visual Studio Code i pakietu Azure Cosmos DB .NET Core SDK. Omówione zostaną również metody konfigurowania opcji dostępności, tak aby użytkownicy mogli uzyskać dostęp do danych z dowolnego miejsca na świecie.

Program

• Tworzenie skalowalnej bazy danych Azure Cosmos DB
• Wstawianie danych do bazy Azure Cosmos DB i tworzenie zapytań
• Tworzenie aplikacji .NET Core obsługującej bazę Cosmos DB w programie Visual Studio Code
• Globalne dystrybuowanie danych z wykorzystaniem usługi Azure Cosmos DB
• Ćwiczenie: Tworzenie globalnych rozproszonych baz danych z wykorzystaniem usługi Cosmos DB

Moduł 5: Praca z relacyjnymi magazynami danych w chmurze
W ramach tego modułu uczestnicy szkolenia poznają opcje relacyjnej platformy danych Azure, w tym usługi SQL Database i SQL Data Warehouse. Po ukończeniu modułu będą mogli uzasadnić decyzje dotyczącą wyboru konkretnej usługi, będą również potrafili udostępniać i łączyć poszczególne usługi oraz zarządzać nimi.

Program

• Używanie usługi Azure SQL Database
• Opis usługi Azure SQL Data Warehouse
• Tworzenie danych i zapytań w usłudze Azure SQL Data Warehouse
• Zastosowanie funkcji PolyBase do ładowania danych do usługi Azure SQL Data Warehouse
• Ćwiczenie: Praca z relacyjnymi magazynami danych w chmurze

Moduł 6: Analiza danych w czasie rzeczywistym z wykorzystaniem usługi Stream Analytics
W ramach tego modułu uczestnicy szkolenia poznają pojęcia danych strumieniowych i przetwarzania zdarzeń oraz zakres ich zastosowania w usługach Event Hubs i Azure Stream Analytics. Następnie skonfigurują zadanie analityczne do przesyłania danych strumieniowych i poznają sposoby tworzenia zapytań do danych przychodzących w celu wykonania ich analizy. W ostatniej części modułu omówione zostanie zarządzanie działającymi zadaniami oraz ich monitorowanie.

Program

• Omówienie strumieni danych i przetwarzania zdarzeń
• Pozyskiwanie danych z wykorzystaniem usługi Event Hubs
• Przetwarzanie danych za pomocą zadań usługi Stream Analytics
• Ćwiczenie: Analiza danych w czasie rzeczywistym z wykorzystaniem usługi Stream Analytics

Moduł 7: Koordynacja przetwarzania danych z wykorzystaniem usługi Azure Data Factory
W ramach tego modułu uczestnicy szkolenia dowiedzą się, w jaki sposób można wykorzystać usługę Azure Data Factory do koordynowania przesyłania i transformacji danych z różnych platform. Poznają możliwości tej technologii i będą w stanie skonfigurować kompleksowy proces pozyskiwania i transformacji danych.

Program

• Omówienie działania usługi Azure Data Factory
• Komponenty usługi Azure Data Factory
• Usługi Azure Data Factory i Databricks
• Ćwiczenie: Koordynacja przetwarzania danych z wykorzystaniem usługi Azure Data Factory

Moduł 8: Zabezpieczanie platform danych Azure
W ramach tego modułu uczestnicy szkolenia poznają wielowarstwowy model ochrony danych dostępny na platformie Azure. Omówione zostaną różne mechanizmy zabezpieczeń, począwszy od konfigurowania bezpiecznych sieci i kluczy dostępu oraz definiowania uprawnień, a skończywszy na monitorowaniu dostępu do różnych magazynów danych.

Program

• Wprowadzenie do problematyki zabezpieczeń
• Główne komponenty zabezpieczeń
• Zabezpieczanie kont usługi Storage i magazynu Data Lake Storage
• Zabezpieczanie magazynów danych
• Zabezpieczanie danych strumieniowych
• Ćwiczenie: Zabezpieczanie platform danych Azure

Moduł 9: Monitorowanie procesów przechowywania i przetwarzania danych oraz rozwiązywanie problemów
W ramach tego modułu uczestnicy szkolenia poznają różne dostępne możliwości monitorowania umożliwiające wsparcie operacyjne w przypadku wystąpienia problemów związanych z architekturą platformy danych. Omówione zostaną często występujące problemy dotyczące przechowywania i przetwarzania danych. Przedstawione zostaną także opcje odzyskiwania awarii pozwalające zapewnić ciągłość biznesową.

Program

• Omówienie dostępnych możliwości monitorowania
• Rozwiązywanie często występujących problemów dotyczących przechowywania danych
• Rozwiązywanie często występujących problemów dotyczących przetwarzania danych
• Zarządzanie usuwaniem skutków awarii
• Ćwiczenie: Monitorowanie procesów przechowywania i przetwarzania danych oraz rozwiązywanie problemów