Apache Spark-ramverk för utvecklare: avancerad nivå - kurs 41 500 rub. från IBS Training Center, träning 24 timmar, Datum 26 november 2023.
Miscellanea / / December 05, 2023
Utbildningen ger en detaljerad förståelse för den interna strukturen och funktionen av Apache Spark-ramverket - både Spark Core (RDD), Spark SQL, Spark Streaming och Spark Structured Streaming. Mekanismerna för att starta Spark-klusterkomponenter under kontroll av olika klusterhanterare, hantera allokering av resurser (främst minne) och schemaläggares arbetsmekanismer beaktas. Fördelarna med det interna representationsformatet Tungsten och driften av Catalyst-optimeraren utforskas i detalj.
Ämnen som behandlas:
Spark Internal Architecture, Spark Runtime Environment
Ställa in Spark Context, SparkConf
RDD Interns, logisk layout
Bästa praxis för programmering med RDD
Fysisk plan: arbete, stadier, uppgifter
Planerare och fysisk planutförande
Minnesjustering, serialisering, cachning, sophämtning
Datasource API, Tungsten intern datarepresentation, filformat
Catalyst Optimizer
Microbatch Spark Streaming: ta emot och mata ut data
Strukturerad strömning: ta emot och distribuera data