01.
Jak zainstalować Dockera, postawić kontenery do aplikacji Airflow i zbudować DAG-i uruchamiające notebooki Databricks w Airflow
02.
Najlepsze praktyki tworzenia oprogramowania – tworzenie lokalnych modułowych projektów, testów jednostkowych i jobów
03.
Wywoływanie notebooków i jobów w Azure Data Factory – wzór wygody inżyniera danych 🙂
04.
Wywoływanie notebooka w notabooku z parametrami
05.
06.
07.
Tworzymy pipeline dla często spotykanego work case – kopiujemy pliki z jednej lokalizacji do drugiej, ale tylko takie jakich jeszcze nie mamy w docelowym folderze
08.
Kopiujemy dane z wolnych plików csv do bazy danych SQL
09.
Jak połączyć wiele plików tego samego formatu w jeden zbiorczy
10.
Czym są pipelines, datasets, dataflows, activities, containers, linked services
11.
Jak w notebooku Databricks połączyć się z danymi w chmurze Azure na wiele różnych sposobów
12.
Tworzymy model klasyfikacyjny XGBoost w Databricks używając PySpark
13.
Praca z lokalnym systemem plików Databricks