- poznámky
	- bacha na čísla verzí u Pythonu a balíčků
	- používat pole v numpy
- lineární regrese
	- dvě možnosti
		- explicitní
			- pozitiva: přesnost
			- negativa: outliers dělají problémy
		- SGD
			- pozitiva: méně paměti, regularizace
			- negativa: globální optimum nezaručeno
	- SGD + momentum
		- https://distill.pub/2017/momentum/
	- AdaGrad
	- AdaDelta
	- Adaptive Moment Estimation (ADAM)
- co máme
	- data $(x,y)\in\mathbb R^2$
	- model $f(x)=y,\;f:\mathbb R\to \mathbb R$
		- při lineární regresi konkrétně $y=ax+b$
	- parametry $\theta=(a,b)\in\mathbb R^2$
	- predikce $f_\theta(x)=y,\;f:\mathbb R^3\to \mathbb R$
	- loss $L(\theta,(x,y)),\;L:\mathbb R^4\to \mathbb R$
- $\text{softmax}(x)_i=\frac{e^{x_i}}{\sum_{k=0}^n e^{x_k}}$
- $f(x)_i=\frac{|x_i|}{\sum|x|}$
	- prohodilo by se pořadí (jelikož záporná čísla by se zobrazila mezi kladná čísla)
- $f_2(x)_i=\frac{x_i-\min(x)}{\sum|x-\min(x)|}$
	- u minima by to byla nula, což by nám znemožnilo např. u dvojprvkového vektoru vyjádřit nejistotu
- poissonovská regrese – viz slidy z roku 2022/2023
	- lze použít k řešení soutěžní úlohy
- time splines
	- něco jako one hot
	- úterý kóduju tak, že dám např. 0.8 úterý, 0.1 pondělí a 0.1 středě 
- nástroje k soutěžím
	- one-hot
	- RobustScaler
	- polynomial
	- regLR
		- increased maxiter
	- spline transformer
	- power transformer
	- https://scikit-learn.org/1.5/auto_examples/preprocessing/plot_all_scaling.html
- https://stats.stackexchange.com/questions/507207/deriving-the-backpropagation-matrix-formulas-for-a-neural-network-matrix-dimen
- další nástroje
	- ansámbl několika MLP, které hlasují
	- scale, pad, crop, rotate
	- early stopping, když loss na validačním setu neklesá
- analýza výkonu
	- modul cProfile
	- `cProfile.run('kód')`
	- `python -m memory_profiler`
- diakritizace
	- dva přístupy
		- marks – je to s diakritikou nebo bez?
		- letters – přímo písmeno
			- model může pro "o" vrátit "ú"
		- obecně jsou letters lepší
	- jako one-hot
	- kontext (n písmen na každou stranu)
	- pořadí písmen je vždycky stejné → nemá smysl ho kódovat nějak jinak (u hlubokého učení by to smysl dávalo)
	- n-gramy
		- příklad
			- slovo kocka
			- pro písmenko c:
				- bigramy: oc, ck
				- trigramy: koc, ock, cka
		- zase se kódujou one-hot