Cílem kurzu je poskytnout ucelený úvod do hlubokých neuronových sítí, které dosahují vynikající úspěšnosti při zpracování a generování obrázků, textu a řeči.

Kurz se zaměřuje jak na teorii od základů po nejnovější pokroky, tak na praktické implementace v jazyce Python a frameworku PyTorch (studenti implementují a trénují hluboké neuronové sítě provádějící klasifikaci obrazu, segmentaci obrazu, detekci objektů, morfologické značkování, lemmatizaci, rozpoznávání řeči, porozumění čtenému textu a generování obrázků). Jsou vyžadovány základní znalosti algebry a jazyka Python, ale není nutná předchozí znalost umělých neuronových sítí; výhodou je základní znalost strojového učení.

Studenti pracují buď samostatně, nebo v malých týmech na týdenních úkolech, včetně soutěžních úloh, kde je cílem dosáhnout co nejlepších výsledků z odevzdaných řešení.

Kurz pokrývá následující techniky a úlohy:
• Dopředné hluboké neuronové sítě (základní architektury a aktivační funkce; optimalizační algoritmy)
• Regularizace hlubokých modelů (L2, dropout, label smoothing, batch normalization)
• Konvoluční neuronové sítě (klasifikace obrazu, segmentace obrazu, rozpoznání objektů v obrazu, dotrénování předtrénovaných modelů)
• Rekurentní neuronové sítě (LSTM, GRU, seq2seq)
• Transformer architektura
• Zpracování přirozeného jazyka (distribuovaná a kontextualizovaná reprezentace slov, BERT, morfologické značkování, rozpoznávání pojmenovaných entit, lemmatizace, strojový překlad)
• Hluboké generativní modely (variační autoenkodéry, generativní protivnické sítě, difúzní modely, generování obrazu a řeči)
• Strukturovaná predikce (CTC a rozpoznání řeči, seq2seq)
• Úvod do hlubokého zpětnovazebního učení