Функции и графики
Что такое функция
Функция $f: X \to Y$ каждому входу ставит в соответствие ровно один выход. Нейросеть — функция $f_\theta: \text{картинка} \to \text{вероятности классов}$, где $\theta$ — веса.
- Область определения — где функция имеет смысл: $\ln x$ только при $x > 0$, $\sqrt{x}$ — при $x \ge 0$, $1/x$ — при $x \ne 0$. Половина ошибок
NaNв обучении — выход за область определения. - Монотонность: возрастает, если больший вход даёт больший выход. Монотонные преобразования ($\log$, $\exp$, сигмоида) не меняют argmax — поэтому можно максимизировать log-правдоподобие вместо правдоподобия.
Композиция и обратная функция
- Композиция $(f \circ g)(x) = f(g(x))$ — сначала $g$, потом $f$. Нейросеть — это композиция слоёв: $f_3(f_2(f_1(x)))$.
- Обратная функция $f^{-1}$ «отменяет» $f$: $\ln$ — обратная к $\exp$, $\mathrm{logit}(p) = \ln\frac{p}{1-p}$ — обратная к сигмоиде.
Кусочные функции
$$ \mathrm{ReLU}(x) = \max(0, x) = \begin{cases} x, & x > 0 \\ 0, & x \le 0 \end{cases} $$
Кусочные функции — основа активаций (ReLU), функций потерь (hinge, Huber) и деревьев решений (кусочно-постоянные предсказания).
Преобразования графиков
| Запись | Что происходит с графиком |
|---|---|
| $f(x) + c$ | сдвиг вверх на $c$ |
| $f(x - a)$ | сдвиг вправо на $a$ |
| $c \cdot f(x)$ | растяжение по вертикали |
| $f(kx)$ | сжатие по горизонтали в $k$ раз |
| $-f(x)$ | отражение относительно оси $x$ |
Нейрон $\sigma(wx + b)$: $w$ задаёт крутизну «ступеньки», $b/w$ — её положение. Обучение двигает и растягивает эти ступеньки, а их сумма приближает любую функцию.
🏋️ Практика Б3
Б3.1. Найдите область определения $f(x) = \ln(1 - x^2)$.
▶️ Ответ
$1 - x^2 > 0 \iff -1 < x < 1$.Б3.2. Покажите, что логит обратен к сигмоиде.
▶️ Ответ
$p = \frac{1}{1 + e^{-z}} \Rightarrow 1 + e^{-z} = \frac{1}{p} \Rightarrow e^{-z} = \frac{1-p}{p} \Rightarrow z = \ln\frac{p}{1-p}$.Б3.3. Где «ступенька» $\sigma(4x - 8)$ проходит через 0.5 и насколько она крутая по сравнению с $\sigma(x)$?