Dataanalys i Python och databaser (SQL) - gratis kurs från RANEPA, utbildning, Datum: 6 mars 2023.

Miscellanea / by admin / December 04, 2023

Programmet Python Data Analysis and Database (SQL) kommer att ge eleverna en förståelse för grunderna i programmering av ML (Machine Learning) algoritmer med Python-språket. Det kommer också att hjälpa dig att bemästra ett antal kompetenser inom området för hantering av moderna relationsdatabaser och förvärva praktiska färdigheter i att använda DBMS språkverktyg (Databas Management Systems data).

Inom företag och myndigheter måste enorma mängder data ständigt analyseras skaffa information för att kontrollera kvaliteten på arbetet, lägga fram nya idéer och motivera accepterade beslut. Experter som förstår enorma mängder data kan förvänta sig snabba karriärer med imponerande löner.

Som regel nämns SQL och Python oftast i platsannonser relaterade till dataanalys.

Endast studenter som inte studerar inom följande områden kan ansöka till kursen:

Under kursen för att bemästra programmet kommer studenterna att få möjlighet att komma med nya digitala produkter (självständigt eller i team). Författarna till de bästa lösningarna kommer att få stöd från Akademin och möjligheten att samarbeta med Artificiell Intelligens Laboratory och Platform Development Laboratory i RANEPA.

instagram viewer

Pytonorm

Hur fungerar det hela? Python-funktioner.
Varför använder alla Python? Jämförelse med andra programmeringsspråk. Hur skriver man program? Fördelar med Python. Hur man använder Python i uppgifter: ordbehandling, arbeta med bilder, skriva stockrobotar, lansera chattrobotar. In- och utdata i Python. Namn i Python. Grundläggande operationer. Styrning av programexekveringsförlopp (villkorliga konstruktioner). Exempel på enkla program.

Cyklar. Rader. Strängmetoder.
Slinga med förutsättning. Bryt och fortsätt uttalanden. För loop Linjestruktur och linjelängd. Linjeelementet och hur man skär linjer. Hämta en delsträng från en sträng. Linjeövergång. Avsnitt.

Tuples. Listor. funktionskarta. Generator av slumpmässiga värdelistor.
Varför behövs tupler? Arbetar med en lista. Lista element. Skriv ut listan. Korrekt kopiering av listor. Funktioner för att använda kartfunktionen. Vad är slumpmässiga värdegeneratorer? Ett gäng. Operationer med set. Frozenset. Ordböcker. få metod Genomgång av ordbok.

Funktioner. Tillämpning av matematiska funktioner. Omfattning och undantag.
Hur man skriver funktioner korrekt. Enkla algoritmer. Skriver de första funktionerna. Hur man lägger till matematik. Rekommendationer för att skriva egna funktioner. Hur scopes fungerar. Globala variabler. Returnera flera värden från en funktion. Undantag.

Arbeta med filer. Matriser. Typer av sortering
Vad kan du göra med filerna? Öppna och stänga filer. Läsa och skriva textfiler. Matriser. Fyller i matriser. Mata in matriser rad för rad. Läs- och skrivmatriser. Bubblesort. Analys av algoritmen. Flera versioner av lösningen.

Översikt över NumPy-biblioteket. Arbeta med NumPy-funktioner. SciPY bibliotek.
Python-bibliotek och deras installation. Grundläggande NumPy-datatyper. Numeriska funktioner. Arbeta med arrayer. Operationer med arrayer. Tvådimensionella arrayer. Matriser. Grundläggande funktioner i SciPy-biblioteket.

Pandas bibliotek översikt. Grundläggande analyser.
Installation av biblioteket. Skapa ett serieobjekt. DataFrame-indexering. Tabeller. Läsa och skriva filer. Indexering. Datasampling. Operationer med rader och kolumner. Arbeta med NaN. Sortering.

Datavisualiseringar. Praktiska exempel
Studera ny data, förbearbetning, datavisualisering, sökning efter kopplingar mellan funktioner, förbereda utbildningsdata och skapa modeller för kreditriskprognoser. Att få en modell som svarar på frågan: att utfärda eller inte att utfärda ett lån.

Automatisering av rutinuppgifter. Praktiska exempel
Analys av praktiska exempel på automatisering av uppgifter relaterade till att hämta aggregerad information från flera källor (Excel-filer) eller Internet.

Genomgång av maskininlärningsmetoder som används för dataanalys. Praktiska exempel
Ett praktiskt exempel på att identifiera grundläggande egenskaper och deras tolkning i ett övervakat lärandeproblem.

Interim modulbedömning
Interimcertifiering sker i form av ett test (datortestning). Exempel på en typisk testbyggnad:

Vilken Python-funktion kan du använda för att ta reda på typen av en variabel?

hwoami
typ
sorts
är

Vilket antal nummer kommer att skapas i följande kod: range (9, 3, -2)

9 8 7 6 5 4 4
9 7 5 3
9 7 5
11 9 8 7 6 5 4

Vad tillåter kodavsnittet i listan att utföra?

Kodavsnitt: print(math.sqrt(2))
visar siffran 2 från matematikbiblioteket
kopplar ihop matematikbiblioteket
kvadrera ett matematiskt tal
visar kvadratroten av två

SQL

Datalagring och integritet.
Datalagring: datafiler, loggar, RAID-nivåer, Tempdb. Relationer i databaser, en till en, en till många, många till många. Dataintegritet: PRIMÄRNYCKEL, KONTROLL, UNIK och UTLÄNDSK NYCKEL. Normalisering av tabeller.

Skapa en databas och tabeller.
DBMS-arkitektur: logisk (tabeller och datatyp, nycklar, index, vyer, sammansättningar, begränsningar, regler, standardvärden) och fysiska nivåer (filer och filgrupper, sidor). Skapande av databas. Tabellfältsdatatyper: Exakta siffror, Unicode-teckensträngar, ungefärliga siffror, binära data, datum och tid, andra datatyper, teckensträngar. Skapa tabeller. Var skriver man förfrågningar?

Index. Diagram.
Index: klustrade, icke-klustrade, unik identifiering, filtrerad, kolumnbutik, hash, icke-klustrad, minnesoptimerat index. ER-diagram: Databasdiagram, Databasnod. DML och de vanligaste SQL-operatorerna: SELECT, INSERT, UPDATE, DELETE. Vikten av unika faktorer.

Förfrågningar. Externa anslutningar.
Frågor på ett bord. Provtagning utan upprepningar. Frågor på flera tabeller. Yttre skarvar: VÄNSTER, HÖGER eller HELT.

Aggregerade funktioner. Underfrågor.
Undersökningar: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Sammanfogningsdata: VÄLJ JOIN. Aggregatfunktioner: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Villkor för aggregerade funktioner.

Användbara funktioner.
Lite mer om operatörer. Industriell begäran. Användbara funktioner: SQRT, RAND, CONCAT, numeriska och strängfunktioner. Operationsprioritet och typkonvertering: CAST, CONVERT.

Transaktioner. Representation.
En begäran på fyra sätt. Transaktioner: koncept för transaktioner - atomicitet, konsekvens, isolering, hållbarhet, transaktionshantering - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Parallell dataåtkomst: problem med smutsig, icke-repeterbar läsning, fantomer. Visningar: indexerad, partitionerad, system.

Variabler och loopar.
Start av programmering. Variabler: DECLARE, SET, SELECT. Kodstruktur. Databeskrivningsoperatorer: CREATE, DROP, ALTER, etc. Operatörer för datamanipulation: INSERT, DELETE, SELECT, UPDATE, etc. Operatörer för att ställa in åtkomsträttigheter i databasen: BEHANDLA / REVOKE, LOCK / UNLOCK, SET LOCK MODE Operatörer för skydd, dataåterställning och andra operatörer. Cyklar: UNDER.

Lagrade procedurer och funktioner.
Tillfälliga bord. Transact-SQL-markörer, server, klient. Markörtyper: enkelriktad, statisk, Keyset, dynamisk. Lagrade procedurer och funktioner: SKAPA PROCEDUR, SKAPA PROC.

Utlösare. Undantag.
Transportör HF. Utlösare: EFTER, I STÄLLET FÖR. Undantag: FÖRUTOM. Dynamisk SQL med nyckelord och lagrad procedur: UTFÖR OMEDELBART.

DBMS. NoSQL-databaser.
Transaktioner i programmering/DBMS/SQL. Hur förfrågningar utförs. Hur man förbättrar frågeprestanda. NoSQL-databas och dess fördelar.

Interim modulbedömning
Interimcertifiering sker i form av ett test (datortestning). Exempel på en typisk testbyggnad:

Vilken typ av fältdata är NUMBER-typen?