Úvod do strojového učení v Pythonu: kartičky

Piazza

primární způsob komunikace
čte ji víc lidí než e-mail, takže je větší šance, že nám někdo odpoví
nedávat tam zdrojový kód (do veřejných otázek)

bodování

zápočet – alespoň 70 standardních bodů
standardní body nad 70 se přenáší ke zkoušce
bonusové body lze získat soutěžemi a dalšími aktivitami nad rámec, také se přenáší ke zkoušce

definice strojového učení

pomocí zkušenosti (dat) se zlepšuje metrika na nějaké úloze
možné úlohy: klasifikace (přiřazení vstupu do diskrétní kategorie), regrese (přiřazení reálného čísla nebo vektoru reálných čísel), předvídání struktury, odstraňování šumu
metriky: accuracy (jak dobře se při klasifikaci trefujeme), …
zkušenost
- supervised (učení s učitelem) – máme olablovaná data
- unsupervised (učení bez učitele) – nemáme žádné labely, učíme se vidět vzory v datech
- reinforcement learning (zpětnovazebné učení) – např. aby byl šachový program lepší než nejlepší hráči

základní úlohy

mějme vstup $x\in\mathbb R^D$
regrese: pro $x$ hledáme reálnou proměnnou $t\in\mathbb R$
klasifikace: máme $K$ $K$ labelů, pro dané $x$ $x$ chceme najít ten správný
- můžeme určit třídu
- můžeme určit pravděpodobnostní distribuci tříd
obvykle máme trénovací sadu dvojic $(x,t)$
rozdělíme data na trénovací a testovací – aby bylo učení dost obecné

notace

tenzor je nadkrychle čísel
všechny vektory jsou sloupcové
- do matic je skládáme jako řádky

vstupní data

trénovací množina $X\in\mathbb R^{N\times D}$ $X \in R^{N \times D}$
- $N$ instancí, každé odpovídá $D$ reálných čísel
- dimenze vstupu = feature
při učení s učitelem máme target $t$ $t$ pro každou instanci
- v regresi … $t\in\mathbb R^N$
- v klasifikaci … $t\in\set{0,1,\dots,K-1}$

Lineární regrese

lineární regrese

$y(x;w,b)=x^Tw+b$ $y (x; w, b) = x^{T} w + b$
- $w$ … váhy
- $b$ … bias (jindy se označuje jako intercept)
- protože je otrava zacházet s biasem, někdy se k vektorům přidávají na konec jedničky, takže místo $b$ máme $1\cdot w_{d+1}$
chceme změřit, jak se nám regrese daří
- použijeme mean squared error (MSE) nebo taky funguje součet druhých mocnin chyb (dělený dvěma)
co když matice $X^TX$ není regulární? můžeme přičíst náhodný šum (dost malý)

Lineární regrese

overfitting, underfitting

overfitting … model funguje dobře na trénovacích datech, ale nefunguje na testovacích datech
kapacita modelu – slouží k ovlivňování underfittingu a overfittingu
- representational capacity
- effective capacity
- čím větší kapacita modelu, tím větší pravděpodobnost overfittingu
dvě křivky – chyba na trénovacích a testovacích datech
- mezera mezi nimi = generalization gap
cílem je najít minimum křivky chyby na trénovacích datech
- "sweet spot"
jak se zbavit overfittingu
- použít více dat
- regularizace – jakýkoliv krok k větší generalizaci modelu
  - příkladem regularizace je snižování kapacity modelu
$L^2$ $L^{2}$ -regularizace
- upřednostňuje „jednodušší“ modely, tedy ty, které mají menší váhy
- obvykle se aplikuje na opravdové váhy, ne na bias
- důsledkem je omezení efektivní kapacity modelu
  - pro větší lambda nám kapacita přestane stačit – daty se v podstatě proloží přímka
  - lambda … regularization rate
- matice, kterou nakonec použijeme, je nutně regulární, takže jsme vyřešili problém s inverzní maticí

Lineární regrese

volba hyperparametrů

učící algoritmus nenastavuje hyperparametry
validační/vývojová sada dat se používá k určení hyperparametrů
takže data dělíme mezi trénovací, vývojová a testovací (obvykle v poměru 60 %, 20 %, 20 %)
zatím jsme měli hyperparametry $M$ (stupeň polynomu) a $\lambda$ („úroveň regularizace“)

Lineární regrese

gradient descent

někdy se hodí hledat nejlepší váhy iterativně
hledáme $\text{arg}_w\min E(w)$
můžeme použít gradient descent $w\leftarrow w-\alpha\nabla_wE(w)$
$\alpha$ … learning rate
přístupy
- standard/batch gradient descent – použijeme všechna trénovací data
- stochastic/online gradient descent (SGD) – po jednom vybíráme náhodné příklady z trénovacích dat
  - unbiased, but noisy
- minibatch stochastic gradient descent
dá se dokázat, že SGD za určitých podmínek téměř jistě konvrguje

Lineární regrese

feature types

polynomial features
categorical one-hot features

Lineární regrese

features je potřeba normalizovat, abychom mohli pro všechny používat stejný learning rate

odečtením minima a vydělením rozdílem maxima a minima data dostaneme mezi nulu a jedničku
velký problém jsou outliers
- dá se to řešit standardizací
- data budou mezi -1 a 1
- nebo se můžeme zbavit outlierů

Binární klasifikace

nejjednodušší metrika je úspěšnost (accuracy)

poměr správně klasifikovaných dat

Binární klasifikace

budeme hledat nadrovinu, která nám oddělí jednu třídu od druhé

nadrovina … $x^Tw=0$
jedna třída … $x^Tw>0$
druhá třída … $x^Tw\lt 0$

Binární klasifikace

problémy perceptronu

když není vstup lineárně separovatelný, algoritmus nikdy neskončí
algoritmus vrátí jedinou predikci, neumí vrátit pravděpodobnosti více predikcí
ale hlavně, algoritmus perceptronu najde nějaké řešení, ne nutně dobré řešení, protože když už to řešení najde, nemůže ho dále měnit/zlepšovat

Binární klasifikace

teorie informace

vlastnosti $I(X)$ $I (X)$
- $P(x)=1\implies I(X)=0$
- $P(x,y)=P(x)P(y)\implies I(x,y)=I(x)+I(y)$
- $\forall x:I(x)\geq 0$
$I(x)\equiv -\log P(x)=\log\frac1{P(x)}$
entropie $H(P)$
cross-entropy $H(P,Q)\geq H(P)$ $H (P, Q) \geq H (P)$
- jak jsem překvapený, když si myslím $Q$ , ale ve skutečnosti se děje $P$
Gibbsova nerovnost
- $H(P,Q)\geq H(P)$
- $H(P,Q)=H(P)\iff P=Q$
KL divergence
normální rozdělení
- centrální limitní věta
- princip maximální entropie

Binární klasifikace

odhad maximální věrohodnosti

$L(w)=p_\text{model}(X;w)=\prod_{i=1}^Np_\text{model}(x_i;w)$

Binární klasifikace

multiclass logistic regression

místo váhového vektoru budeme mít matici vah
místo funkce sigmoid použijeme funkci softmax
$\text{softmax}(z)_i=\frac{\exp(z_i)}{\sum_j\exp(z_j)}$
vyžadujeme, aby data tvořila nějaké konvexní útvary

Binární klasifikace

multilayer perceptron

vstupní vrstva a výstupní vrstva „neuronů“
mezi nimi je skrytá vrstva
skrytá vrstva nám jakoby vyrábí features pro lineární model
tip: numpy.logsumexp

Binární klasifikace

regularizace pomocí dropoutu

při trénování zahazujeme některé neurony
tím nutíme model, aby byl robustnější

Binární klasifikace

věta o univerzální aproximaci

máme model, který může modelovat cokoliv
ale neznáme konkrétní $H$
a taky nevíme, jak se naučit cokoliv

Binární klasifikace

Lagrangeovy multiplikátory

hledáme extrém na oblasti vymezené omezující podmínkou (rovností)
v bodě extrému bude gradient kolmý na oblast

Binární klasifikace

F-skóre

harmonický průměr precision a recall
pokud nás víc zajímá recall, tak se používá parametr $\beta$
macro – průměr F skóre
micro – F skóre z globálního precision a recallu

Reprezentace textu

jak reprezentovat dokument

jako „bag of words“ – vektor slov, jedničky u slov, která v dokumentu jsou, jinak nuly
normalizovaný vektor frekvencí slov
můžeme slovům přiřadit váhu podle toho, jestli se v dokumentech obvykle vyskytují (např. určitý člen bude mít nízkou váhu)
- v přirozených jazycích se slova řídí Zipfovým zákonem
  - zastoupení slov (obecně v textech) se přibližně řídí hyperbolou
- proto se používá logaritmus, aby se to normalizovalo
mutual information
vstupní slovo můžeme reprezentovat jako one-hot vector
násobíme ho váhovou maticí – tomu říkáme word embedding
- vektory pro příbuzná slova jsou blízko
- CBOW
- SkipGram
  - negative sampling
dimenzí u embeddingu je typicky pár set
když chceme klasifikovat větu, tak můžeme posčítat embeddingy jejich slov
někdy se hodí při embeddingu zohledňovat kontext slova – některá slova mají více významů

Metoda nejbližších sousedů

máme hyperparametry

$k$ … počet sousedů, které používáme k predikci
metrika … jak poznáme, co je nejbližší soused?
- typicky se používají $L^p$ normy
- kde $||x||_p=\sqrt[p]{\sum_i|x_i|^p}$
váhy
- uniformní … všech $k$ nebližších sousedů má stejnou váhu
- inverzní … váha je nepřímo úměrná vzdálenosti
- softmax

Metoda nejbližších sousedů

nemusí být jednoduché sousedy najít

používají se stromové datové struktury

Metoda nejbližších sousedů

typičtější aplikace

doporučování videí
anonymní rozpoznávání obličejů např. v Google Fotkách

Bayesovská pravděpodobnost

prior probability → posterior probability

na základě nových dat

Bayesovská pravděpodobnost

MAP odhad

u normálního rozdělení vlastně minimalizujeme L2 regularizovaný NLL

Bayesovská pravděpodobnost

konjugované distribuce (conjugate distribution)

prior a posterior mají stejný „typ distribuce“

Bayesovská pravděpodobnost

jak zvolit priors?

uninformative priors
snažíme se volit prior distributions tak, aby tam bylo co nejmíň předpokladů (využíváme princip maximální entropie)
chceme využívat konjugované distribuce, aby to šlo upočítat
asi se vybírají empiricky tak, aby to hezky vyšlo :D

Korelace

kovariance

střední hodnota je lineární vzhledem k součtu
čemu se rovná rozptyl součtu?

Korelace

Pearsonův kolerační koeficient

„jsou data lineárně závislá?“

Korelace

Spearmanův koeficient pořadové korelace

„je zachováno pořadí?“

Korelace

Kendallův koeficient pořadové korelace $\tau$

„poměr souhlasných párů“

Korelace

„jak často se stane, že mezi 5 nejlepšími jsou ty, které chceme?“

precision pro fixních top 5

Korelace

shoda anotátorů

Cohenovo $\kappa$

Korelace

výkon ML klasifikátoru

měl by být lepší než pár ifů – kdyby ne, děláme něco špatně
- jako baseline se typicky nastavuje četnost největší třídy
asi nebude lepší než shoda anotátorů – kdyby byl, asi overfitujeme

Ensembling

$y_i(x)=t+\varepsilon_i(x)$

$y_i$ … prediction
$t$ … target
$\varepsilon_i(x)$ … chyba modelu

Ensembling

bagging – bootstrap aggregation

modely trénuju na různých datech
u některých modelů zakážu nějaké features

Ensembling

knowledge distillation / model compression

natrénujeme model „student“ pomocí učitelského modelu/modelů
snažíme se natrénovat model s co nejmenší cross-entropy vůči původnímu modelu
cíl – zmenšit model (abychom nemuseli používat celý ensemble nebo velký model)

SVD, PCA, K-Means

možné použití

ztrátová komprese obrázku
doporučovací systémy

SVD, PCA, K-Means

k-means

citlivý na inicializaci
můžeme inicializovat víckrát a vybrat si ten s nejnižší chybou

SVD, PCA, K-Means

může se hodit clustery modelovat jako gaussiány

zvlášť pokud nemají stejnou velikost a jsou třeba elipsy

Etika

hlavní teoretické rámce

deontologická etika – máme nějaká pravidla/principy, těch se držíme
konsekvencialistická etika / utilitarismus – dobré chování maximalizuje dobré následky (ale může být problém měřit, co jsou dobré následky)
etika ctností (virtue) – člověk je dobrý, pokud dělá dobře věci, ke kterým je určený; rozhodnutí je dobré (akce je dobrá), pokud by se takhle rozhodnul ctnostný člověk
kontraktová etika – ze společenské smlouvy (implicitní nebo explicitní) vyplývá, co je dobré
etika péče – rodíme se jako bezbranní, proto má vůči nám společnost nějakou odpovědnost a naopak my máme odpovědnost vůči společnosti; etika péče stojí na vztazích a odpovědnosti, která z nich vyplývá

Etika

deontologická etika

zaměřuje se na povahu akcí spíš než na jejich důsledky
řídíme se definovanými pravidly a principy (např. Všeobecná deklarace lidských práv, Desatero přikázání, Kantův kategorický imperativ)
zásady v AI
- vlídnost
- neškodolibost
- soukromí
- nediskriminace
- autonomie
- informovaný souhlas
výhody: jasná pravidla, stabilita, respekt práv
nevýhody: rigidita, možný konflikt dvou pravidel, zanedbání důsledků
kritika: když jsi zlý, vždycky můžeš tvrdit, že vycházíš z dobrých principů, nehledě na důsledky

Etika

utilitariánská etika

maximalizujeme celkové štěstí / well-being, minimalizujeme újmu
zaměřuje se na důsledky akcí
dobrá rozhodnutí = rozhodnutí, která maximalizují celkový dopad
výhody: flexibilita, kvantifikovatelnost
nevýhody: hrozí, že budeme ignorovat práva jednotlivců, je těžké definovat účelovou funkci

Etika

příklady, jak dělat etické systémy

deontologická etika
- nepoužívat etnickou příslušnost jako feature
- budovat důvěru
- trvat na soukromí, férovosti a spravedlnosti
utilitariánství
- na koho to bude mít dopad
- jaká újma může nastat?
- jak předejít újmě?

Etika

problémy v různých fázích vývoje modelu strojového učení

definice problému
- rozpoznávání Ujgurů od Číňanů – problém samotný není etický
- automatické hodnocení esejí – studenti mají právo vědět, proč dostali špatné hodnocení
- predikce recidivismu – porušuje právo na spravedlivý proces, je nedostatečně transparentní
shromažďování dat
- reprezentační bias – data nejsou reprezentativní, chybí tam menšiny apod.
  - rozpoznávání obličejů
- data z internetu nepopisují svět takový, jaký je
- historický bias – nerovnosti z minulosti jsou v datasetech zachovány
- problémy s autorským právem – u generativních modelů
- problematické způsoby kolekce dat
  - crowdsourcing
    - lidé jsou najati, aby dělali práci, kterou má dělat model
    - špatně placená monotónní práce, může způsobovat psychologickou újmu (typicky v případě posuzování obrázků ze sociálních sítí)
    - gig economy – přivýdělek se stane hlavním úvazkem bez pracovněprávní ochrany
  - sběr uživatelských dat
    - trénovací data jsou sbírána od uživatelů, kteří nemají jinou možnost než data poskytovat, aby mohli službu používat
    - netransparentní transakce – uživatel získá službu, platí daty, není jasné, jakou hodnotu data mají
vývoj modelu
- diskretizace výstupů zesiluje bias – pokud se rozhodujeme mezi dvěma možnostmi a jedna je pravděpodobnější, vždycky použijeme tu pravděpodobnější
- větší modely snadno overfittujou, dají se z nich vytáhnout soukromé údaje, které byly obsaženy v trénovacích datech
- destilace modelů také zesiluje biasy
- modely se můžou naučit smazané features (etnická příslušnost, gender, …) z jiných features (jméno, škola, …)
vyhodnocení modelu
- metriky neobsahují všechno, co bychom potřebovali (třeba gender bias)
- v HR nás zajímá jenom accuracy – může se stát, že model systematicky znevýhodňuje nějaké uchazeče
- používáme proxy metriky, abychom optimalizovali něco jiného
  - musíme metriky vhodně zvolit
  - čas sledování videa nemusí být dobrou metrikou pro jeho kvalitu – favorizuje videa s extrémními názory
použití modelu v praxi
- nesoulad mezi trénovacími/testovacími daty a reálným prostředím
  - jazyk minorit je častěji klasifikován jako hate speech / NSFW
- feedback loops (zpětnovazebné smyčky)
  - predikce ovlivňují chování uživatelů, to se pak používá jako zdroj trénovacích dat
  - způsobuje to echo chambers na sociálních sítích

Co jsme se naučili

základy teorie informace

preferujeme modely s větší entropií – nechceme do nich vnášet dodatečné předpoklady