Pražský ponor do Hlubokého učení

Chcete současnou AI nejen používat, ale pochopit vnitřně? Na matfyz možnost máte od příštího týdne, v rámci regulérní akademické výuky. Mé loňské zkušenosti.

Když se ChatGPT zeptáte, jaký je ideální obsah vysokoškolského kursu ‚hlubokého učení‘, jakoby věděl, co se na pražské MFF skutečně vyučuje. Předmět se ale vyrýsoval průběžně úsilím lektora od léta 2016, sledováním pádícího pokroku.

Pražští studenti o kursu asi vědí svými tamtamy. Píši spíše pro ty, kteří vystudovali tradiční IT dříve a své znalosti by chtěli významně občerstvit, od podlahy, z akademické úrovně. U hardware možná máte nostalgickou vzpomínku na klopné obvody a hradla, softwaréři sentiment z prvého střetu s větvením a cykly.

Přesně takové základní stavební bloky teorie si zde osvojíte pro hluboké učení (Deep Learning), jen složitost prvotních modulů a ideí je znatelně vyšší. Letité paradigma neuronových sítí se obnovilo s vyšší hloubkou modelů (desítky až jednotky stovek vrstev) a též se současným hardware. A právě až z těchto metod se zrodila i současná vlna chatbotů, velkých jazykových modelů.

Kurs je maximalistický, student by měl za semestr zpracovat až 45 programovacích zadání úloh, tj. 2-4 týdně, a to na základě předchozího výkladu přednášek a základního navedení do úloh v semináři.

Na úlohy jsou vždy 2 týdny a jejich vypracování tvoří základní takt, kterému byste se měli přizpůsobit. Již za další týden ovšem napadne další várka. Další významný rytmus jsou přednášky, jejichž nachápání víceméně potřebujete k tomu, abyste úlohy mohli zvládnout. Fyzicky do školy chodit nemusíte, vše se postupně objevuje na webových stránkách. Přednášky a semináře jsou duplicitně česky i anglicky, můžete si vybrat, jen zadání úloh je jediné a ryze anglicky.

Hlavní vyučující kursu Milan Straka je spoluatorem dosud asi ‚největšího‘ transformeru pro češtinu vůbec (RobeCzech), trénovaného na hlavní lingvistické úlohy.

Předmět (NPFL138 vloni, v ISu) kondenzuje stále rostoucí penzum hlubokého učení. Po úvodním opakování základů matematiky zejména: základy tréninku NN vč. backprop a SGD, konvoluční sítě (CNN), klasifikace, detekce a segmentace objektů, rekurentní sítě (RNN) vč. LSTM a GRU, využití NN pro tradiční lingvistické úlohy jako jsou taggery nebo lemmatizace, strukturovaná predikce, CTC a využití pro rozpoznávání řeči, word2vec, seq2seg, NMT, Transformery vč. BERT a Roberta, možno i s RobeCzech nebo EleCzech, ViT, hluboké zpětnovazební učení (RL), GAN, difusní modely, syntéza řeči a meta-learning.

Pro úlohy se využívají frameworky, v jednodušších případech Keras, pro složitější PyTorch, ale bývá dovolené používat i TensorFlow nebo JAX, jste-li na ně vysazeni. V různých letech se důraz mezi nimi přenášel podle všeobecného vývoje.

Zbylé informace snad heslovitě:

Hlavní hodnoty

• 100 % Připravené úlohy: kostra zadání, trénovací data, ověřování správnosti.
• 90 % Hranice pokroku teorie: pokrývá problematiku DL solidně i aktuálně.
• 50 % - 80 % Přístupnost výkladu: má rezervy, daň za sdělování zcela nových poznatků, některé problematiky je pak objektivně obtížné podat jednoduše.

Prerekvizity kursu (co musím znát či mít předem):

• Programování v Pythonu je nutné!
• Intelektová úroveň studentů matfyz, kurs je pro ně.
• Občerstvit si co je derivace funkce a základní znalosti o pravděpodobnosti (viz obsah první přednášky).
• Nemít strach z tensorů, lze je chápat jako n-dimenzionální ‚matice‘, zachází se s nimi ale spíše konkrétně v programech.
• Mít hodně času, ideálně 3.5 měsíce spíše volna.

Kdy na kurs nejít (frustrace sebe sama nemá smysl):

• Čekám, že mne případně povedou za ruku - ne, nebude fungovat.
• Něco z prerekvizit u mne chybí, - nebudete chápat, nebo ne v možném čase.
• Kurs bych trochu šolíchal po práci, ale nejsem génius, - nestihnete, potřebujete mít čas.

Mohu předmět absolvovat zdarma, bez přihlášení k účasti?

• Ano. Všechny přednášky ale i cvičení jsou zveřejňované na stránce kursu, lze je ‚navštěvovat’ zdarma, jen na dálku.
• Ovšem správnost svých řešení si nebudete moci ověřit. Může vám též vypadnout motivace, z nucení k rytmu a z vyhodnocování správnosti.

Formální účast v kursu obnáší:

• Vyplním a podám přihlášku a zaplatím školné celoživotního vzdělávání; současní studenti ČVUT a někteří další externí mají zdarma.
• Všechny loginy, vč. do Recodexu pro ověřování řešení úloh.
• Lze i fyzicky navštěvovat cvičení i individuální konzultace.
• Mohu složit zkoušku a získat o tom záznam (je ale potřebné překonat práh splněných úloh i zkoušku skutečně složit).

Jaké formy účasti mají nejvíce smysl?

• Běžná snaha o absolvování celého kursu vč. složení zkoušky.
• Zajímá mne jen pár úloh, ale chci si ověřit jejich provedení. Složit zkoušku a kurs dokončit není ani po přihlášení do cžv povinné. Je legitimní se zajímat jen o něco. Záběr kursu je enormní. (Skuteční dnešní studenti si raději ověří, jaké důsledky má pro ně odpadnutí v průběhu semestru).
• Absolvovat nadvakrát, 2 roky po sobě, ovšem i všechno doprovodné 2x.

Jsem zvenku a uvažuji o účasti kursu:

• Zvažte, zda se nezúčastnit v týmu 2 nebo 3 osob, protože asi třetinu nejtěžších úloh /soutěžních/ mohou zpracovávat právě takové týmy, významně roznese zátěž.
• Kurs vám hlavně spotřebuje spoustu času.

Kolik studentů se účastní?

• První soutěž měla podání od 164 různých studentů, po půlce semestru kleslo pod 100 studentů, poslední týden podalo jen 40.
• Přednášky v češtině navštěvuje asi 20-40 studentů.

Je-li pro Vás důležitého ještě něco dalšího, napište do komentářů, pokusím se odpovědět.

Jiné podobné kursy

Tento blogpost není míněn jako reklama, nějaká zvlášť citlivá duše by to tak přesto mohla chápat (kodex 8.5-8.9). Důsledně odrazuji každého, aby kurs zkoušel, zejména pak kdo nemá dostatek času nebo prerekvizit. Základní potíž žánru je obtížnost až nemožnost recenzovat zkušenost s jakoukoli školou bez konkrétního programu v ní a projití jím. Jakmile projdete, nejste zase ideálně nezávislý... Řeknu to jinak: něco napsat se přiměji tak o jednom kursu z několika desítek, a z důvodů mimo mne.

Pro forma ale prozkoumejme aspoň jiné možnosti, které (snad) pro akademické vzdělávání v DL nyní máme.

V Praze se studiu AI věnují pochopitelně i na ČVUT, např. FIT, FEL, snaží se o to CIIRC. Jen mají všichni své studijní informační systémy natolik uzavřené, že je zvenku obtížné nalézt a posoudit, co se v jejich rámci dá nyní vlastně naučit, popř. čeho se vůbec lze zúčastnit jako jejich ne-student.

Aspoň nějaké rozcestníky do těchto škol vedou přes prg.ai , např. pro ML.

Na edX.org byly rok nazpátek docela zajímavé kursy od Databricks, ale již jsou překonané a zrušené, ty zbylé mi přijdou, že to není úplně ono. Ale můžete zde zkusit své štěstí. Obecně je třeba shánět témata ‚Machine Learning‘ , ‚Deep Learning’‚ popř. ‚Generative AI‘ nebo ‚Large Language Models‘. Má širší zkušenost z edX je, že školy mívají didakticky kvalitnější kursy než jsou ty od firem. V nouzi ale je třeba brát co je, obor je příliš nový a fluidní i pro pořadatele.

Za úvahu jistě stojí dálkový kurs XCS224N od Stanfordu, víte-li o sponzorovi, dejte ev. vědět i mně.

Obecně, máte-li zkušenost nebo víte-li o dobrých kursech pro AI, pro nás dostupných fakticky, technicky i jinak, napište i s odkazy do komentářů. Díky.

–-

Tento text anglicky: Prague’s Dive into Deep Learning