Lecture #11 - Data Engineering and Data Analytics in Microsoft Azure
Přednášku bude mít Štěpán Rešl, který patří k předním odborníkům na Data Engineering a Data Analytics s využitím cloudových technologií společnosti Microsoftu. Informace na této přednášce se Vám budou hodit na dokončení alternativního zadání 2. úkolu. Upozorňuji Vás, že přednáška proběhne pouze online přes Teams.
Variantu úkolu si prosím vybírejte podle toho, co Vás více zajímá, nemusíte si vybírat podle studijního
Domácí úkol #3 - Varianta A
Vývojář + architekt
Cílem třetího domácího úkolu bude vyzkoušet si implementaci asynchronního spouštění operací s využitím fronty a function-as-a-service služby.
Vyberte si webovou aplikaci dle Vaší volby a vhodným způsobem implementujte a demonstruje návrhový vzor Asynchronous Messaging v rámci existující nebo nové ukázkové aplikace.
Možné nápady na použití asynchronního zpracování:
- Periodická extrakce zdrojových dat z jiných systémů
- Náročné výpočty, jako je třeba převzorkování nahraných fotek do Azure Blob Storage
- Náročné operace, jako je třeba rozeslání newsletteru velikému počtu příjemců
- Rychlé zapsání nových měření do fronty a jejich následné zapsání do úložiště a spouštění alertů
Pro nasazení a provoz aplikace a jejího úložiště používejte PaaS cloudové služby s minimálními provozními náklady.
Uveďte ukázkovou aplikaci do provozuschopného stavu, aby byla dostupná z internetu na své DNS adrese poskytnuté cloudovým poskytovatelem.
Vytvořte PDF dokument, kam ve formě vhodně zvolených screenshotů zdokumentujte stav Vašeho prostředí v Microsoft Azure, abyste prokázali splnění úkolu. Do odevzdávaného PDF dokumentu prosím důkladně zdokumentujte architekturu aplikace, využití fronty, formát zpráv i implementaci funkce obsluhující zprávy. Vložte i odkaz na běžící webovou aplikaci. Vyučujícímu nasdílejte danou Resource Group s řešením úkolu. Využijte takové služby, kde nebudete mít prakticky žádné provozní náklady (Azure App Service Free Tier, Azure Functions, Azure Service Bus...). Pokud by náhodou webová aplikace začínala přihlašovací obrazovkou, tak odevzdejte prosím přihlašovací údaje k testovacímu účtu. Toto PDF odevzdejte do níže uvedené odevzdávárny. Úkoly budu opravovat průběžně. Deadline je ideálně zkouška 3. 6., abych Vám mohl k tomu datu uzavřít hodnocení.
Domácí úkol #3 - Varianta B
Datový analytik
Cílem třetího úkolu bude vyzkoušet si implementovat asynchronní workflow s využitím serverless služeb. Na rozdíl od varianty pro vývojáře se zaměřte na extrakci/zpracování dat a nemusíte nutně programovat webovou aplikaci.
Nápady na projekt:
- Implementace Azure Logic App, která reaguje třeba na vložení CSV souboru s měřeními do cloudového úložiště, soubor okopíruje a třeba přes Azure Function/Azure Data Factory z něj extrahuje data, která importuje do relační databáze.
- Implementace vlastního schvalovacího workflow s využitím Azure Logic Apps (https://learn.microsoft.com/en-us/azure/logic-apps/tutorial-process-mailing-list-subscriptions-workflow).
Vytvořte PDF dokument, kam ve formě vhodně zvolených screenshotů a digramů zdokumentujte stav Vašeho prostředí v Microsoft Azure, abyste prokázali splnění úkolu. Do odevzdávaného PDF dokumentu prosím důkladně zdokumentujte architekturu navrženého řešení. Toto PDF odevzdejte do níže uvedené odevzdávárny. Úkoly budu opravovat průběžně. Deadline je ideálně zkouška 3. 6., abych Vám mohl k tomu datu uzavřít hodnocení.
Neváhejte se na Teams obrátit na vyučujícího s prosbou o pomoc nebo s konzultací vašeho nápadu na úkol.