Power Query – Pokročilé techniky prípravy dát

Úroveň: mierne pokročilí až pokročilí

Vstupné požiadavky: základná znalosť práce s Excelom alebo Power BI, základy práce s Power Query

Cieľ kurzu: Naučiť sa využívať na maximum technológiu Power Query v Exceli, v Power BI, a v SSAS Tabulare. Je plný hromady praktických príkladov, na ktorých si účastníci precvičia krok po kroku všetku funkcionalitu tak, aby vedeli získať a ľubovoľne skombinovať dáta z rôznych zdrojov, prispôsobiť si ich podľa svojich potrieb, a vytvoriť výstup pre svoje analýzy a reporty, ktorý sa už bude ľahko ďalej spracovávať. A to všetko rýchlo, ľahko a bez zbytočne komplikovaných postupov. V nástroji, ktorý je extrémne flexibilný, a ktorý nekladie žiadne obmedzenia na to, odkiaľ dáta prišli, či čo s nimi chcete spraviť. Tento kurz by mal byť povinný pre všetkých, ktorí sa seriózne chcú venovať modernej analytike a reportingu, pretože im bez obmedzení umožní skombinovať a pripraviť si dáta, bez toho aby bolo potrebné trápiť sa technologickou stránkou a obmedzeniami databáz, či iných dátových zdrojov. A okrem toho sa dozviete riešenia bežných problémov, ako napr. ako skombinovať dáta z viacerých súborov a databáz do jednej tabuľky na zopár kliknutí.

Toto je najdetailnejší kurz na Slovensku, od autora prvej slovenskej knihy o Power BI, PowerPivote, Power Query a jazyku DAX. Je to top expert s 9-ročnou praxou v Power Query a 7-ročnou praxou v Power BI. Kurz sa venuje vyslovene praktickým problémom, ktoré nastávajú pri príprave dát. Z kurzu odídete plní nápadov, ako robiť veci lepšie. Presvedčte sa o tom v referenciách od predchádzajúcich účastníkov našich kurzov.

Cieľová skupina: analytici, zamestnanci controllingu a reportingu, ktorí si potrebujú pripraviť svoje dáta do Excelu alebo Power BI pre svoje analýzy a reporting, a potrebujú tento proces automatizovať, alebo aspoň čo najviac urýchliť. Viac o Power Query si môžete prečítať v tomto článku.

Trvanie: 2 dni, od 9:00 do 17:00

Najbližšie termíny:

V cene je zahrnuté:

  • 14-dňový prístup k záznamu z jedného workshopu o Power BI podľa výberu, v hodnote 157 EUR,
  • naša 566-stranová kniha o Power BI v slovenčine v hodnote 35 EUR s podrobnými návodmi krok po kroku,
  • 120-stranová elektronická príručka k jazyku DAX v slovenčine,
  • dobrá atmosféra na kurze 🙂

Obsah kurzu:

Príprava správnych dátových štruktúr pre Power BI

  • Zásady prípravy správnych štruktúr tabuliek pre analýzy a reporting
  • Star schema a multistar schema
  • Sekvenčné tabuľky
  • Kombinačné tabuľky
  • Monštrózna dimenzia
  • Master-detail – 3 rôzne stratégie
  • Správna príprava M:N tabuliek a optimalizácia ich veľkosti
  • Optimalizácia veľkosti veľkých číselníkov s históriou zmien
  • Optimalizácia tabuliek pre DISTINCTCOUNT
  • Pokročilý návrh štruktúr pre dátové modely
  • Výber správnych typov stĺpcov pre dátový model (pre vysoký výkon a kompresiu)

Pokročilé transformácie dát

  • Zlučovacie a pripájacie dotazy
  • Skombinovanie viacerých súborov s rovnakou štruktúrou do 1 tabuľky
  • Dohľadávanie a oprava chybných dát
  • Vkladanie medzikrokov do použitého postupu
  • Pridanie vlastných vypočítaných stĺpcov
  • Podmienené stĺpce (stĺpce vypočítané podľa zadaných podmienok)
  • Vlastná kategorizácia dát
  • Zmazanie/úprava n-tého riadku
  • Transformácie podľa príkladu – stĺpec podľa príkladu, tabuľka podľa príkladu, text. súbor a CSV podľa príkladu
  • Konverzia kontingenčných dát na analytické tabuľky a naopak
  • Transformácie pomocou R skriptu a Pythonu (iba v Power BI)
  • Automatizované zlučovanie dát z rôznych nekompatibilných zdrojov (fuzzy merge join)
  • Automatizovaná oprava preklepov a iných drobných chýb v dátach
  • Dátové typy stĺpcov a správna konverzia medzi nimi
  • Kedy robiť výpočty v Power Query vs. v dátovom modeli

Pokročilý jazyk M v Power Query

  • Úvod do jazyka M
  • Syntax jazyka M
  • Rozšírený editor dotazu a úprava M skriptov
  • Funkcie bez užívateľského rozhrania
  • Vytváranie vlastných funkcií
  • Využitie funkcií na zvýšenie produktivity v Power Query a zjednodušenie kódu
  • Cykly a rozhodovacie konštrukty
  • Iterátory a spracovanie dát typu “riadok po riadku”
  • Parametrické dotazy a parametre
  • Prázdne dotazy a ich využitie
  • Dotazy, zoznamy, záznamy, hodnoty, indexy a práca s nimi
  • Spracovanie chýb cez try/otherwise a operátor “?”
  • Riešenia chyby Formula.Firewall v skriptoch

Načítavanie dát z rôznych API a dátových zdrojov

  • Metódy autentizácie a ich správny výber a použitie
  • Nástroje na debugovanie volaní/výsledkov z API
  • REST API vs. SOAP API, XML vs JSON, OData API
  • Volanie GET requestu a POST requestu
  • Parametre dotazu, relatívne cesty
  • Tokeny, hashovanie, nastavenie HTTP headers, bezpečné ukladanie tokenov
  • Riešenia bežných problémov po nasadení na server/do cloudu a nastavení automatickej aktualizácie dát
  • Vlastné dátové konektory (iba v Power BI)

Pokročilé techniky prípravy dát v Power Query

  • Dopočítavanie chýbajúcich dát
  • Oprava chybných dát
  • Kombinovanie a zlučovanie dát z viacerých zdrojov
  • Spojenie dát z dvoch tabuliek cez podmienku
  • Práca s predchádzajúcim/nasledujúcim riadkom
  • Pokročilá práca s duplicitami
  • Dynamická kategorizácia dát podľa číselníka
  • Výpočty v rámci skupiny
  • Rozpočítavanie hodnôt na podpoložky

Optimalizácia rýchlosti načítavania a spracovania dát

  • Ako interne funguje engine PQ
  • Vyhodnocovací model Power Query a oneskorené vyhodnocovanie dotazov
  • Cache PQ, buffre PQ, swapovanie na disk, a ich ovplyvňovanie
  • Využitie query foldingu pre posun operácií do dátového zdroja, výhody, nevýhody, záludnosti
  • Zapnutie query foldingu pre ručne zadané SQL dotazy
  • Implementácia query foldingu pre zdroje, ktoré ho nepodporujú
  • Ako urýchliť plné načítavanie dát 2-násobne a viac (a ušetriť zdroje počítača, servera a siete)
  • Optimalizácia joinov / zlučovania dát – 3 rôzne postupy
  • Debugovanie a monitorovanie operácií PQ
  • Optimalizácia výkonu enginu PQ a použitej pamäte/swapovania
  • Priebežné vs. kumulatívne operácie a ich vplyv na výkon PQ
  • Power Query pre režim DirectQuery
  • Práca s veľkým množstvom dát
  • Inkrementálna aktualizácia dát (iba v Power BI)
  • Pokročilé techniky inkrementálnej aktualizácie dát (iba v Power BI)
  • Integrácia Power Query v SSAS Tabulare (od verzie 2017) a v SQL Server Integration Services (od verzie 2017)