Grunderna i datalager - kurs 44 500 rub. från IBS Training Center, träning 24 timmar, Datum 26 november 2023.
Miscellanea / / November 30, 2023
Under kursen kommer du att bekanta dig med de grundläggande begrepp och utmaningar som uppstår när du skapar datalager. Förstå hur mål påverkar valet av arkitektur och vilka konsekvenser som kan bli följden av otillräcklig uppmärksamhet på komponenter. Få en uppfattning om teammedlemmarnas roller och inflytande på resultatet. Kursprogrammet kommer att beskriva praktiska tillvägagångssätt för design och implementering av datalager och dess komponenter. Du kommer att titta på livscykelhantering, inklusive avveckling och migrering till nya system, och täcka ämnen om datahantering och bygga tjänster baserade på det. I den praktiska delen kommer eleverna att delas in i två team: ett av teamen kommer att arbeta med ett lagringsmigreringsprojekt data med hänsyn till företagets strategiska utvecklingsmål, och den andra kommer att utvärdera den i termer av kapacitet, resurser och tidsfrister.
Ämnen som behandlas:
1. Introduktion (teori + praktik 2,5 timmar).
Begreppet "data warehouse". Dess möjligheter och begränsningar
Varför skapas DWH, vilket affärsproblem löser det?
2. Komponenter och arkitektur (teori + praktik 3 timmar).
Klassiska metoder för design av datalager
Typiska komponenter och processer involverade
Inmon, Kimball och DataVault-koncept
Översikt över huvudkomponenterna (stage, ods, dds, datamart, bi, metadata) och processer (ETL, ELT, DQ, lineage)
3. Datahantering - Data Governance (teori + praktik 2 timmar).
Allmänna och specifika frågor om företagsdatahantering
Information ses som en tillgång som ger värde och har kostnader att skaffa.
Begreppet "masterdata" och system för deras hantering - MDM
4. Förvaringsdesigntekniker (teori + praktik 5 timmar).
Steg för lagringsdesign
Typiska tekniker och verktyg för att skapa
Expertis hos deltagare och infrastruktur
5. Källdatalagringsområde - Scen (teori + praktik 3 timmar).
Behovet av att lagra rådata från källsystemet
Typiska misstag när man organiserar detta område och dess skillnad från en "datasjö"
6. Permanenta förvaringsutrymmen - ODS och DDS (teori + praktik 3 timmar).
Operativa och flerdimensionella datalagringsskikt
Processer för extraktion, rening, kontroll och konservering - ETL\ELT
Transformation till mållagringsschema
7. Lagringsdataförbrukande system (teori + praktik 3,5 timmar).
Typiska scenarier för att använda data från lagringar
Huvudkonsumenter - business intelligence-system "BI"
Strukturen för ett typiskt BI-system och orsakerna till deras stora variation
8. Nya utmaningar i utvecklingen av datalager (teori + praktik 2 timmar).
En översikt över de viktigaste utmaningarna för lagringsanläggningar när de växer
Nya utmaningar inom maskininlärning
Data Mesh-konceptet som ett alternativ för vidareutveckling.