Алгебра: выражения, уравнения, системы, неравенства
Преобразования выражений
$$ a(b + c) = ab + ac, \qquad (a + b)^2 = a^2 + 2ab + b^2, \qquad (a - b)^2 = a^2 - 2ab + b^2, \qquad a^2 - b^2 = (a - b)(a + b) $$
Где в ML: раскрытие $(y - \hat{y})^2$ — первый шаг любого вывода про MSE; формула $(a - b)^2$ лежит в основе дисперсии $\mathbb{E}[(X - \mu)^2]$.
Линейные уравнения
Цель — оставить $x$ одного: с обеими частями делаем одно и то же.
$$ 3x - 7 = 11 \;\Rightarrow\; 3x = 18 \;\Rightarrow\; x = 6 $$
Выразить переменную из формулы — постоянная задача: из $z = (x - \mu)/\sigma$ получаем $x = \mu + \sigma z$ (это и есть «денормализация» и трюк репараметризации).
Квадратные уравнения
$$ ax^2 + bx + c = 0, \qquad D = b^2 - 4ac, \qquad x_{1,2} = \frac{-b \pm \sqrt{D}}{2a} $$
$D > 0$ — два корня, $D = 0$ — один, $D < 0$ — вещественных корней нет. Вершина параболы — в $x = -\frac{b}{2a}$: это минимум (при $a > 0$) — так находится оптимум любой квадратичной функции потерь от одного параметра.
Системы линейных уравнений
$$ \begin{cases} x + y = 4 \\ x - y = 1 \end{cases} \;\Rightarrow\; 2x = 5,\ x = 2.5,\ y = 1.5 $$
Геометрически — точка пересечения прямых. В матричной форме $A\mathbf{x} = \mathbf{b}$ (раздел Б11). Решений может быть одно, ни одного (параллельные прямые) или бесконечно много (совпадающие). Линейная регрессия — это «решить систему», в которой уравнений (объектов) больше, чем неизвестных, поэтому ищут лучшее приближённое решение.
Неравенства и модуль
- При умножении или делении на отрицательное число знак неравенства меняется: $-2x < 6 \Rightarrow x > -3$.
- $\lvert x\rvert$ — расстояние до нуля; $\lvert x - a\rvert < r \iff a - r < x < a + r$.
- Где в ML: clipping $\mathrm{clip}(x, -c, c)$ ограничивает $\lvert x\rvert \le c$; условие сходимости градиентного спуска $\lvert 1 - \eta\lambda\rvert < 1$ — двойное неравенство на learning rate.
🏋️ Практика Б2
Б2.1. Раскройте и упростите $(y - wx)^2$.
▶️ Ответ
$y^2 - 2wxy + w^2x^2$. Как функция от $w$ — парабола с минимумом в $w = xy/x^2 = y/x$.Б2.2. Найдите минимум $f(w) = 2w^2 - 8w + 3$.
▶️ Ответ
Вершина $w = -(-8)/(2 \cdot 2) = 2$, $f(2) = 8 - 16 + 3 = -5$.Б2.3. При каких $\eta$ выполняется $\lvert 1 - 4\eta\rvert < 1$?