main.tex

\documentclass[12pt,a4paper]{article}
\usepackage{../.tex/mcs-notes}
\usepackage{todonotes}
\usepackage{multicol}
\usepackage{float}

\settitle
{Математический анализ.}
{\href{https://vk.com/ybelov}{Юрий Сергеевич Белов} и
Юрий Ильич Любарский}
{calculus/main.pdf}
\date{}

\DeclareMathOperator{\Quot}{Quot}
\DeclareMathOperator*{\osc}{osc}
\DeclareMathOperator{\sign}{sign}
\DeclareMathOperator{\const}{const}
\DeclareMathOperator{\grad}{grad}
\newcommand{\eqdef}{\mathbin{\stackrel{\mathrm{def}}{=}}}
\newcommand{\True}{\mathrm{True}}
\newcommand{\False}{\mathrm{False}}
\newcommand{\Id}{\mathrm{Id}}
\renewcommand{\Re}{\mathrm{Re}}
\renewcommand{\Im}{\mathrm{Im}}

\begin{document}
    \maketitle

    \listoftodos[TODOs]

    \tableofcontents

    \vspace{2em}
    Литература:
    \begin{itemize}
        \item В. А. Зорич ``Математический анализ''
        \item О. Л. Виноградов ``Математический анализ''
        \item (подходит попозже) Г. М. Фихтенгельц ``Курс дифференциального и интегрального исчисления''
        \item У. Рудин ``Основы анализа''
        \item М. Спивак ``Математический анализ на многообразиях''
        \item В. М. Тихомиров ``Рассказы о максимумах и минимумах''
    \end{itemize}

    Страницы курса:
    \begin{itemize}
        \item \href{https://math-cs.spbu.ru/praktika-po-matematicheskomu-analizu-pervyj-semestr-2020/}{Страница курса, 1 семестр (осень 2020).}
        \item \href{https://math-cs.spbu.ru/dmitriystolyarov/analysis_2_spring_2021/}{Страница курса, 2 семестр (весна 2021).}
        \item \href{https://math-cs.spbu.ru/dmitriystolyarov/mathematical-analysis-3-fall-2021/}{Страница курса, 3 семестр (осень 2021).}
    \end{itemize}

    \section{Множества, аксиоматика и вещественные числа.}

    Мы начинаем с теории множеств.

    \begin{definition}\ 
        \begin{itemize}
            \item Множества и элементы --- понятно.
            \item $a \in B$ --- понятно.
            \item $A \cup B := \{x \mid x\in A \vee x\in B\}$ --- объединение.
            \item $A \cap B := \{x \mid x\in A \wedge x\in B\}$ --- пересечение.
            \item $A \setminus B := \{x \mid x\in A \vee x\notin B\}$ --- разность.
            \item $A \bigtriangleup B := A \setminus B \cup B \setminus A$ --- симметрическая разница.
            \item $A^C := X\setminus A$ --- \emph{дополнение}, где $X$ --- некоторое фиксированное рассматриваемое множество.
            \item $A \subset B$ --- ``$A$ --- подмножество $B$'', т.е. $\forall x (X\in A \Rightarrow x\in B)$.
        \end{itemize}
    \end{definition}

    \begin{corollary*}\ 
        \begin{itemize}
            \item (первое правило Моргана) $(A\cup B)^C = A^C \cap B^C$.
                \begin{align*}
                    x\in (A\cup B)^C \Leftrightarrow
                    x \notin A \cup B \Leftrightarrow
                    \left\{ \begin{aligned}
                        &x \notin A\\
                        &x \notin B
                    \end{aligned}\right. \Leftrightarrow
                    \left\{ \begin{aligned}
                        &x \in A^c\\
                        &x \in B^C
                    \end{aligned} \right. \Leftrightarrow
                    x \in A^C \cap B^C
                \end{align*}
            \item (второе правило Моргана) $(A\cap B)^C = A^C \cup B^C$. Аналогично.
        \end{itemize}
    \end{corollary*}

    \begin{definition}
        (Аксиома индукции.) Пусть есть функция $A: \NN \to \{\True; \False\}$, что:
        \begin{multicols}{2}
            \begin{enumerate}
                \item $A(1) = \True$;
                \item $\forall n \in \NN\quad A(n) \rightarrow A(n+1)$.
            \end{enumerate}
        \end{multicols}
        Тогда $\forall n\; A(n) = \True$.
    \end{definition}

    Определение натуральных чисел сложно, рассматривать его не будем (оно описывается в курсе теории множеств). Важно также иметь в виду натуральные числа с операциями сложения и умножения.

    \begin{definition}
        Пусть есть кольцо без делителей нуля $R$. Рассмотрим отношение эквивалентности $\sim$ на $R \times (R\setminus \{0\})$, что $(a; b) \sim (c; d) \Leftrightarrow ad = bc$. Тогда $\Quot(R)$ --- фактор-множество по $\sim$ и поле.
    \end{definition}

    \begin{definition}
        Рациональные числа --- $\QQ := \Quot(\ZZ)$.
    \end{definition}

    \begin{theorem}
        $\nexists x\in \QQ:\; x^2 = 2$.
    \end{theorem}

    \begin{proof}
        Предположим противное, т.е. существуют взаимно простые $m \in \ZZ$ и $n \in \NN\setminus\{0\}$, что $(\frac{m}{n})^2 = 2$. Тогда $m^2 = 2n^2$. Очевидно, что тогда $m^2 \divided 2$, значит $m\divided 2$, значит $m\divided 4$, значит $n^2 \divided 2$, значит $n \divided 2$, значит $n$ и $m$ не взаимно просты, так как делятся на $2$ --- противоречие.
    \end{proof}

    Теперь мы хотим понять, что есть вещественные числа. Тут есть несколько подходов; рассмотрим только один из них.

    \begin{definition}[аксиоматический подход]
        Вещественные числа --- это полное упорядоченное поле $\RR$ (состоящее не из одного элемента).
        
        Здесь ``поле'' значит, что на множестве (вместе с его операциями и выделенными элементами) верны аксиомы поля $A_1$, $A_2$, $A_3$, $A_4$, $M_1$, $M_2$, $M_3$, $M_4$ и $D$ (т.е. сложение и умножение ассоциативны, коммутативны имеют нейтральные элементы и удовлетворяют условию существованию обратных (по умножению --- для всех кроме нуля), а также дистрибутивности).
        
        Упорядоченность поля значит, что есть рефлексивное транзитивное антисимметричное отношение $\preccurlyeq$, что все элементы сравнимы, согласованное с операциями, т.е.:
        \begin{itemize}
            \item[$A$)] $a \preccurlyeq b \Rightarrow a + x \preccurlyeq b + x$.
            \item[$M$)] $0 \preccurlyeq a \wedge 0 \preccurlyeq b \Rightarrow 0 \preccurlyeq ab$.
        \end{itemize}

        Полнота поля значит любое из следующих утверждений (они равносильны):
        \begin{itemize}
            \item любое ограниченное сверху (снизу) подмножество поля имеет точную верхнюю (нижнюю) грань;
            \item (аксиома Кантора-Дедекинда) для любых двух множеств $A$ и $B$, что $A \preccurlyeq B$, есть разделяющий их элемент.
        \end{itemize}

        Итого мы имеем 9 аксиом поля, 2 аксиомы упорядоченности и 1 аксиома полноты упорядоченности.
    \end{definition}

    \begin{statement*}
        Над $\QQ$ нет  элемента разделяющего $A := \{a > 0 \mid a^2 < 2\}$ и $B := \{b > 0 \mid b^2 > 2\}$.
    \end{statement*}

    \begin{proof}
        Предположим противное, т.е. есть $c > 0$, что $A < c < B$.

        Если $c^2 < 2$, то найдём $\varepsilon$, что $\varepsilon \in (0; 1)$ и $(c + \varepsilon)^2 < 2$. Заметим, что $(c + \varepsilon)^2 = c^2 + 2c\varepsilon + \varepsilon^2 < c^2 + (2c + 1)\varepsilon$. Пусть $\varepsilon < \frac{2 - c^2}{2c+ 1}$, тогда такое $\varepsilon$ точно подойдёт, ну а поскольку $\frac{2 - c^2}{2c + 1} > 0$, то такое $\varepsilon$ есть. Значит $c^2 \geqslant 2$.
        
        Аналогично имеем, что $c^2 \leqslant 2$. А значит $c^2 = 2$, что не бывает над $\QQ$.
    \end{proof}

    \begin{corollary*}
        $\QQ$ не полно.
    \end{corollary*}
    
    \begin{definition}
        Значение $t$ является \emph{верхней (нижней) гранью} непустого множества $X \in \RR$ тогда и только тогда, когда $t \geqslant X$, т.е. любой элемент $x$ множества $X$ не более $t$.
        
        
        \emph{Точная верхняя (нижняя) грань} или \emph{супремум (инфимум)} непустого множества $X \subseteq \RR$ --- минимальная верхняя (нижняя) грань множества $X$. Он же является элементом разделяющим $X$ и множество всех его верхних (нижних) граней. Обозначение: $\sup(X)$ и $\inf(X)$ соответственно.

        \emph{Осцилляцией} множества $X$ называется значение $\osc X := \sup X - \inf X$.
    \end{definition}

    \begin{definition}\ 
        \begin{itemize}
            \item \emph{Закрытый интервал} или \emph{отрезок} $[a;b]:=\{x\in\RR \mid a \leqslant x \leqslant b\}$.
            \item \emph{Открытый интервал} или просто \emph{интервал} $(a;b):=\{x\in\RR \mid a < x < b\}$.
            \item \emph{Полуоткрытый интервал} или \emph{полуинтервал} $(a;b] := \{x\in\RR \mid a < x \leqslant b\}$, $[a;b):=\{x\in\RR \mid a \leqslant x < b\}$.
        \end{itemize}
    \end{definition}

    \begin{theorem}[Лемма о вложенных отрезках]\label{th_inter_segments}
        Пусть имеется $\{I_i\}_{i=1}^\infty$ --- множество вложенных (непустых) отрезков, т.е. $\forall n > 1\; I_{n+1} \subset I_n$. Тогда $\bigcap_{i=1}^\infty I_i \neq \varnothing$.
    \end{theorem}

    \begin{proof}
        Заметим, что для любых натуральных $n < m$ верно, что $a_n \leqslant a_m \leqslant b_m \leqslant b_n$, где $I_n = [a_n;b_n]$. Тогда для $A:=\{a_i\}_{i=1}^\infty$ и $B:=\{b_i\}_{i=1}^\infty$ верно, что $A \leqslant B$. Значит есть разделяющий их элемент $t$, значит $A \leqslant t \leqslant B$, значит $t\in I_i$ для всех $i$, значит $t \in \bigcap_{i=1}^\infty I_i$.
    \end{proof}

    \begin{remark}
        Теорема \ref{th_inter_segments} не верна для не отрезков.
    \end{remark}

    \begin{remark}
        Если в теореме \ref{th_inter_segments} $b_i-a_i$ ``сходится к 0'', т.е. $\forall \varepsilon > 0\, \exists n\in\NN: \forall i > n\, b_i-a_i < \varepsilon$, то пересечение всех отрезков состоит из ровно одного элемента.
    \end{remark}

    \begin{theorem}[индукция на вещественных числах]
        Пусть дано множество $X \subseteq [0;1]$, что
        \begin{enumerate}
            \item $0 \in X$;
            \item $\forall x \in X\; \exists \varepsilon > 0: U_\varepsilon(x) \cap [0;1] \subseteq X$;
            \item $\forall Y \subseteq X\; \sup(Y) \in X$.
        \end{enumerate}
        Тогда $X = [0;1]$.
    \end{theorem}

    \begin{proof}
        Предположим противное: $X \neq [0;1]$. Рассмотрим $Z := [0;1] \setminus X$ ($Z \neq \varnothing$!) и $Y := \{y \in [0;1] \mid y < Z\}$ ($Y \neq \varnothing$!). Заметим, что $Y \subseteq X$ и $\sup(Y) = \inf(Z) = t$. Тогда $t \in X$ по второму условию. Значит для некоторого $\varepsilon > 0$ верно, что $U_{\varepsilon}(t) \cap [0;1] \in X$, а т.е. $(U_\varepsilon(t) \cap [0;1]) \cap Z = \varnothing$, а тогда $t \neq \inf(Z)$ --- противоречие. Значит $X = [0;1]$.
    \end{proof}

    \section{Топология прямой, пределы и непрерывность.}

    \subsection{Последовательности, пределы и ряды}

    \begin{definition}
        \emph{Предел последовательности} $\{x_n\}_{n=0}^\infty$ --- такое число $x$, что для любой окрестности $x$ эта последовательность с некоторого момента будет лежать в этой окрестности:
        \[\forall \varepsilon > 0\; \exists N \in \NN: \forall n \geqslant N\quad x_n \in U_\varepsilon(x)\]
        Обозначение: $\lim \{x_n\}_{n=0}^\infty = x$.

        \emph{Предельная точка последовательности} $\{x_n\}_{n=0}^\infty$ --- такое число $x$, что в любой его окрестности после любого момента появится элемент данной последовательности:
        \[\forall \varepsilon > 0\, \forall N \in \NN\; \exists n > N: \quad x_n \in U_\varepsilon(x)\]
    \end{definition}

    \begin{definition}
        Последовательность $\{x_n\}_{n=0}^\infty$ называется \emph{фундаментальной}, если
        \[\forall \varepsilon > 0\; \exists N \in \NN:\; \forall n_1, n_2 > N\quad |x_{n_1} - x_{n_2}| < \varepsilon\]
    \end{definition}

    \begin{theorem}\label{fundamental_seq_theorem}
        Последовательность сходится тогда и только тогда, когда фундаментальна.
    \end{theorem}

    \begin{proof}
        \begin{enumerate}
            \item Пусть последовательность $\{x_n\}_{n=0}^\infty$ сходится к некоторому значению $X$, тогда
                \begin{multline*}
                    \forall \varepsilon > 0\; \exists N \in \NN:\; \forall n > N\quad |x_n - X| < \varepsilon/2 \Rightarrow\\
                    \forall n_1, n_2 > N\quad |x_{n_1} - x_{n_2}| = |x_{n_1} - X + X - x_{n_2}| \leqslant |x_{n_1} - X| + |X - x_{n_2}| < \varepsilon
                \end{multline*}
            \item Пусть последовательность $\{x_n\}_{n=0}^\infty$ фундаментальна. Мы знаем, что для каждого $\varepsilon > 0$ все члены, начиная с некоторого различаются менее чем на $\varepsilon$. Тогда возьмём какой-нибудь такой член $y_0$ для некоторого $\varepsilon$, затем какой-нибудь такой член $y_1$ для $\varepsilon/2$, который идёт после $y_0$ и так далее. Получим последовательность, что все члены, начиная с $n$-ого лежат в $\varepsilon/2^n$-окрестности $y_n$. Тогда рассмотрим последовательность $\{I_n\}_{n=0}^\infty$, где $I_n = [y_n - \varepsilon/2^{n-1}; y_n + \varepsilon/2^{n-1}]$. Несложно понять, что $I_n \supseteq I_{n+1}$, поэтому в пересечении $\{I_n\}_{n=0}^\infty$ лежит некоторый $X$. Несложно понять, что все члены начальной последовательности, начиная с $y_{n+2}$, лежат в $\varepsilon/2^{n+2}$-окрестности $y_{n+2}$. При этом $|y_{n+2} - X| \leqslant \varepsilon/2^{n+1}$, что значит, что все члены главной последовательности, начиная с $y_{n+2}$ лежат в $3\varepsilon/2^{n+2}$-окрестности $X$, а значит и в $\varepsilon/2^n$.
        \end{enumerate}
    \end{proof}

    \begin{statement}
        Для последовательностей $\{x_n\}_{n=0}^\infty$ и $\{y_n\}_{n=0}^\infty$ верно (если определено), что
        \begin{enumerate}
            \item $\lim \{x_n\}_{n=0}^\infty + \lim \{y_n\}_{n=0}^\infty = \lim \{x_n + y_n\}_{n=0}^\infty$
            \item $-\lim \{x_n\}_{n=0}^\infty = \lim \{-x_n\}_{n=0}^\infty$
            \item $\lim \{x_n\}_{n=0}^\infty \cdot \lim \{y_n\}_{n=0}^\infty = \lim \{x_n y_n\}_{n=0}^\infty$
            \item $\frac{1}{\lim \{x_n\}_{n=0}^\infty} = \lim \{\frac{1}{x_n}\}_{n=0}^\infty$ (если $\lim \{x_n\}_{n=0}^\infty \neq 0$)
        \end{enumerate}
        и всегда, когда определена левая сторона определена, правая тоже определена.
    \end{statement}

    \begin{proof}
        \begin{enumerate}
            \item Пусть $\lim \{x_n\}_{n=0}^\infty = X$, $\lim \{y_n\}_{n=0}^\infty = Y$. Тогда
                \[\forall \varepsilon > 0\; \exists N, M \in \NN:\quad \forall n > N\; |x_n - X| < \varepsilon/2\quad \wedge\quad \forall m > M\; |y_m - Y| < \varepsilon/2,\]
                тогда
                \[\forall n > \max(N, M)\quad |(x_n + y_n) - (X + Y)| \leqslant |x_n - X| + |y_n - Y| < \varepsilon,\]
                что означает, что $\{x_n + y_n\}_{n=0}^\infty$ сходится и сходится к $X + Y$.
            \item Пусть $\lim \{x_n\}_{n=0}^\infty = X$. Тогда
                \[\forall \varepsilon > 0\; \exists N \in \NN:\quad \forall n > N\; |x_n - X| < \varepsilon,\]
                тогда
                \[\forall n > N\quad |(-x_n) - (-X)| = |X - x_n| = |x_n - X| < \varepsilon,\]
                что означает, что $\{-x_n\}_{n=0}^\infty$ сходится и сходится к $-X$.
            \item Пусть $\lim \{x_n\}_{n=0}^\infty = X$, $\lim \{y_n\}_{n=0}^\infty = Y$. Определим также
                \[\delta: (0; +\infty) \to \RR, \varepsilon \mapsto \frac{\varepsilon}{\sqrt{\left(\frac{|x|+|y|}{2}\right)^2+\varepsilon} + \frac{|x|+|y|}{2}} = \sqrt{\left(\frac{|x|+|y|}{2}\right)^2+\varepsilon} - \frac{|x|+|y|}{2}\]
                Несложно видеть, что $\delta(\varepsilon)$ всегда определено и всегда положительно. Также несложно видеть, что $\delta(\varepsilon)$ есть корень уравнения $t^2 + t(|X| + |Y|) = \varepsilon$. Тогда
                \[\forall \varepsilon > 0\; \exists N, M \in \NN:\quad \forall n > N\; |x_n - X| < \delta(\varepsilon)\quad \wedge\quad \forall m > M\; |y_m - Y| < \delta(\varepsilon),\]
                тогда
                \begin{align*}
                    \forall n > \max(N, M)\quad |x_n \cdot y_n - X \cdot Y|
                    &= |x_n \cdot y_n - x_n \cdot Y + x_n \cdot Y - X \cdot Y|\\
                    &\leqslant |x_n \cdot (y_n-Y)| + |(x_n - X) \cdot Y|\\
                    &< |x_n|\cdot \delta(\varepsilon) + \delta(\varepsilon)\cdot |Y|\\
                    &< (|X|+\delta(\varepsilon)) \cdot \delta(\varepsilon) + |Y| \cdot \delta(\varepsilon)\\
                    &= \delta(\varepsilon)^2 + (|X| + |Y|)\delta(\varepsilon)\\
                    &= \varepsilon,
                \end{align*}
                что означает, что $\{x_n \cdot y_n\}_{n=0}^\infty$ сходится и сходится к $X \cdot Y$.
            \item Пусть $\lim \{x_n\}_{n=0}^\infty = X$. Определим также
                \[\delta: (0; +\infty) \to \RR, \varepsilon \mapsto \frac{\varepsilon |X|^2}{1 + \varepsilon |X|}\]
                Несложно видеть, что $\delta(\varepsilon)$ всегда определено и всегда меньше $|X|$. Также несложно видеть, что $\delta(\varepsilon)$ есть корень уравнения $\frac{t}{|X|(|X| - t)} = \varepsilon$. Тогда
                \[\forall \varepsilon > 0\; \exists N \in \NN:\quad \forall n > N\; |x_n - X| < \delta(\varepsilon),\]
                тогда
                \[\forall n > N\quad \left|\frac{1}{x_n} - \frac{1}{X}\right| = \left|\frac{X-x_n}{X\cdot x_n}\right| < \frac{\delta(\varepsilon)}{|X| \cdot |x_n|} < \frac{\delta(\varepsilon)}{|X|(|X|-\delta(\varepsilon))} = \varepsilon,\]
                что означает, что $\{\frac{1}{x_n}\}_{n=0}^\infty$ сходится и сходится к $1/X$.
        \end{enumerate}
    \end{proof}

    \begin{definition}
        Последовательность $\{x_n\}_{n=0}^\infty$ \emph{асимптотически больше} последовательности $\{y_n\}_{n=0}^\infty$, если $x_n > y_n$ для всех натуральных $n$, начиная с некоторого. Обозначение: $\{x_n\}_{n=0}^\infty \succ \{y_n\}_{n=0}^\infty$.

        Аналогично определяются \emph{асимптотически меньше} ($\{x_n\}_{n=0}^\infty \prec \{y_n\}_{n=0}^\infty$), \emph{асимптотически не больше} ($\{x_n\}_{n=0}^\infty \preccurlyeq \{y_n\}_{n=0}^\infty$) и \emph{асимптотически не меньше} ($\{x_n\}_{n=0}^\infty \succcurlyeq \{y_n\}_{n=0}^\infty$).
    \end{definition}

    \begin{statement}\label{stupid_seq_statement_1}
        Если $\{x_n\}_{n=0}^\infty \succcurlyeq \{y_n\}_{n=0}^\infty$, то $\lim \{x_n\}_{n=0}^\infty \geqslant \lim \{y_n\}_{n=0}^\infty$.
    \end{statement}

    \begin{proof}
        Предположим противное, т.е. $Y > X$, где $X := \lim \{x_n\}_{n=0}^\infty$, $Y := \lim \{y_n\}_{n=0}^\infty$. Тогда пусть $\varepsilon = \frac{|X - Y|}{2}$. С каких-то моментов $\{x_n\}_{n=0}^\infty$ и $\{y_n\}_{n=0}^\infty$ находятся в $\varepsilon$-окрестностях $X$ и $Y$ соответственно. Тогда начиная с позднего из этих моментов, $y_n > Y - \varepsilon = X + \varepsilon > x_n$, т.е. $\{x_n\}_{n=0}^\infty \prec \{y_n\}_{n=0}^\infty$ --- противоречие. Значит $X \geqslant Y$.
    \end{proof}

    \begin{statement}\label{stupid_seq_statement_2}
        Если $\lim \{x_n\}_{n=0}^\infty > \lim \{y_n\}_{n=0}^\infty$, то $\{x_n\}_{n=0}^\infty \succ \{y_n\}_{n=0}^\infty$.
    \end{statement}

    \begin{proof}
        Пусть $X := \lim \{x_n\}_{n=0}^\infty$, $Y := \lim \{y_n\}_{n=0}^\infty$. Тогда пусть $\varepsilon = \frac{|X - Y|}{2}$. С каких-то моментов $\{x_n\}_{n=0}^\infty$ и $\{y_n\}_{n=0}^\infty$ находятся в $\varepsilon$-окрестностях $X$ и $Y$ соответственно. Тогда начиная с позднего из этих моментов, $x_n > X - \varepsilon = Y + \varepsilon > y_n$, т.е. $\{x_n\}_{n=0}^\infty \succ \{y_n\}_{n=0}^\infty$.
    \end{proof}

    \begin{statement}[леммма о двух полицейских]\label{stupid_seq_statement_3}
        Если
        \[\{x_n\}_{n=0}^\infty \succcurlyeq \{y_n\}_{n=0}^\infty \succcurlyeq \{z_n\}_{n=0}^\infty\]
        и
        \[\lim \{x_n\}_{n=0}^\infty = \lim \{z_n\}_{n=0}^\infty = A,\]
        то предел $\{y_n\}_{n=0}^\infty$ определён и равен $A$.
    \end{statement}

    \begin{proof}
        Для каждого $\varepsilon > 0$ есть $N, M \in \NN$, что
        \[\forall n > N\; |x_n - A| < \varepsilon \quad \wedge \quad \forall m > M\; |z_n - A| < \varepsilon,\]
        значит
        \[\forall n > \max(N, M)\quad A + \varepsilon > x_n \geqslant y_n \geqslant z_n > A - \varepsilon \quad \text{т.е. } |y_n - A| < \varepsilon,\]
        что означает, что $\{y_n\}_{n=0}^\infty$ сходится и сходится к $A$.
    \end{proof}

    \begin{statement}
        Если $\{x_n\}_{n=0}^\infty \succcurlyeq \{y_n\}_{n=0}^\infty$, $\lim \{x_n\}_{n=0}^\infty = A$, а $\{y_n\}_{n=0}^\infty$, не убывает (с некоторого момента), то предел $\{y_n\}_{n=0}^\infty$ существует и не превосходит $A$.
    \end{statement}

    \begin{proof}
        Если последовательность $\{y_n\}_{n=0}^\infty$ возрастает не с самого начала, то отрежем её начало с до момента начала возрастания. Заметим, что она ограничена сверху (из-за последовательности $\{x_n\}_{n=0}^\infty$), тогда определим $B := \sup(\{y_n\}_{n=0}^\infty)$. Тогда $\forall \varepsilon > 0\; \exists N \in \NN:\quad |B-x_N| < \varepsilon$, тогда $\forall n > N\quad |B-x_n| < \varepsilon$, что означает, что $\{y_n\}_{n=0}^\infty$ сходится и сходится к $B$. По утверждению \ref{stupid_seq_statement_1} $A \geqslant B$.
    \end{proof}

    \begin{definition}
        Сумма ряда $\{a_k\}_{k=0}^\infty$ есть значение $\sum_{k=0}^\infty a_k := \lim \left\{\sum_{i=0}^k\right\}_{k=0}^\infty$. Частичной же суммой $s_k$ этого ряда называется просто $\sum_{i=0}^k a_i$.
    \end{definition}

    \begin{definition}
        Ряд $\sum_{i=0}^\infty a_i$ \emph{сильно сходится}, если $\sum_{i=0}^\infty |a_i|$ сходится.
    \end{definition}

    \begin{theorem}
        Если ряд сильно сходится сходится, то он сходится.
    \end{theorem}

    \begin{proof}
        \begin{thlemma}\label{lemma_sum_of_suffix}
            Пусть ряд $\sum_{i=0}^\infty a_i$ сходится, тогда сходится любой его ``хвост'' (суффикс), и для любого $\varepsilon > 0$ есть такой хвост, сумма которого меньше $\varepsilon$.
        \end{thlemma}

        \begin{proof}
            Пусть $A = \sum_{i=0}^\infty a_i$. Это значит, что для каждого $\varepsilon > 0$ существует $N \in \NN$, что для всех $n \geqslant N$ верно, что $\sum_{i=0}^n |a_i| \in U_\varepsilon(A)$. Тогда заметим, что
            \[\sum_{i=N+1}^\infty |a_i| = \lim_{n \to \infty} \sum_{i=N+1}^n |a_i| = \lim_{n \to \infty} \left(\sum_{i=0}^n |a_i| - \sum_{i=0}^N |a_i|\right) = \lim_{n \to \infty} \sum_{i=0}^n |a_i| - \sum_{i=0}^N |a_i| = A - \sum_{i=0}^N |a_i| \in U_\varepsilon(0)\]
            Это и означает, что любой хвост сходится. И так мы для каждого $\varepsilon$ нашли такой хвост, что его сумма меньше $\varepsilon$.
        \end{proof}

        Пусть дан сильно сходящийся ряд $\sum_{i=0}^\infty a_i$. Пусть $\varepsilon_n := \sum_{i=n}^\infty |a_i|$. Несложно видеть, что $\{\varepsilon_n\}_{n=0}^\infty$ монотонно уменьшается, сходясь к 0 (последнее следует из леммы \ref{lemma_sum_of_suffix}). Также несложно видеть по рассуждениям леммы \ref{lemma_sum_of_suffix}, что $\varepsilon_n - \varepsilon_{n+1} = |a_n|$. Тогда определим
        \[S_n := \overline{U}_{\varepsilon_{n+1}}(\sum_{i=0}^n a_i),\]
        где $\overline{U}_\varepsilon(x)$ --- закрытая $\varepsilon$-окрестность точки $x$. Тогда несложно видеть, что
        \[\left|\sum_{i=0}^{n+m} a_i - \sum_{i=0}^{n} a_i \right| = \left|\sum_{i=n+1}^{n+m} a_i \right| \leqslant \sum_{i=n+1}^{n+m} |a_i| \leqslant \varepsilon_{n+1}\]
        Тем самым сумма любого префикса длины хотя бы $n+1$ лежит в $\overline{U}_{\varepsilon_{n+1}}(\sum_{i=0}^{n} a_i) = S_n$. Также несложно видеть, что $S_{n+1} \subseteq S_n$. А также понятно, что $S_i$ замкнуто и ограничено (``компактно'').

        Пусть $A := \bigcap_{i=0}^\infty S_i$ (поскольку диаметры шаров сходятся к нулю, то в пересечении лежит не более одной точки). Тогда мы видим, что $|\sum_{i=0}^n a_i - A| \leqslant \varepsilon_{n+1} \to 0$, поэтому $\sum_{i=0}^n a_i$ сходится и сходится к $A$.
    \end{proof}

    \begin{corollary}
        Если $\{b_i\}_{i=0}^\infty \succcurlyeq \{|a_i|\}_{i=0}^n$ и $\sum_{i=0}^\infty |b_i|$ существует, то и $\sum_{i=0}^\infty a_i$ существует.
    \end{corollary}

    \begin{theorem}[признак Лейбница]
        Пусть дана последовательность $\{a_n\}$, монотонно сверху сходящаяся к $0$. Тогда ряд $\sum_{i=0}^\infty (-1)^i a_i$ сходится.
    \end{theorem}

    \begin{proof}
        Рассмотрим последовательности 
        \begin{align*}
            \{P_n\}_{n=0}^\infty &:= \{S_{2n}\}_{n=0}^\infty = \left\{\sum_{i=0}^{2n} (-1)^i a_i\right\}_{n=0}^\infty&
            \{Q_n\}_{n=0}^\infty &:= \{S_{2n + 1}\}_{n=0}^\infty = \left\{\sum_{i=0}^{2n + 1} (-1)^i a_i\right\}_{n=0}^\infty
        \end{align*}
        Несложно видеть, что 
        \begin{align*}
            P_{n+1} - P_n &= - a_{2n+1} + a_{2n+2} \leqslant 0&
            Q_{n+1} - Q_n &= a_{2n+2} - a_{2n-3} \geqslant 0\\
            Q_{n} - P_{n} &= - a_{2n+1} \leqslant 0&
            P_{n+1} - Q_{n} &= a_{2n+2} \geqslant 0
        \end{align*}
        Тогда имеем, что $\{P_n\}_{n=0}^\infty$ монотонно убывает, $\{Q_n\}_{n=0}^\infty$ монотонно возрастает, а также
        \[\{P_n\}_{n=0}^\infty \geqslant \{Q_n\}_{n=0}^\infty.\]
        Тогда последовательности $\{P_n\}_{n=0}^\infty$ и $\{Q_n\}_{n=0}^\infty$ сходятся и сходятся к $P$ и $Q$ соответственно. При этом последовательность
        \[\{P_n\}_{n=0}^\infty - \{Q_n\}_{n=0}^\infty = \{P_n - Q_n\}_{n=0}^\infty = a_{2n+1}\]
        тоже сходится по условию и сходится к $0$. Поэтому
        \[P - Q = \lim \{P_n\}_{n=0}^\infty - \lim \{Q_n\}_{n=0}^\infty = 0\]
        значит $P=Q$. Значит и последовательность префиксных сумм тоже сходится к $P=Q$.
    \end{proof}

    \begin{lemma}[преобразование Абеля]
        \[\sum_{k=0}^n a_k b_k = \sum_{k=0}^{n-1} (a_k - a_{k+1})B_k + a_n B_n\]
        где $B_n := \sum_{i=0}^n b_i$.
    \end{lemma}

    \begin{theorem}[признак Дирихле]
        Если даны $\{a_i\}_{i=0}^\infty$ и $\{b_i\}_{i=0}^\infty$, что $\{a_i\}_{i=0}^\infty \searrow 0$, а $\{B_n\}_{n=0}^\infty = \{\sum_{i=0}^n b_i\}_{i=0}^\infty$ ограничена, то ряд $\sum_{i=0}^\infty a_i b_i$ сходится.
    \end{theorem}

    \begin{proof}
        \[S_n = \sum_{i=0}^n a_k b_k = \sum_{i=0}^n (a_k - a_{k+1}) B_k + a_n B_n\]
        Пусть $|B_n| < C$ для всех $n$. Несложно видеть, что 
        \[\lim_{n \to \infty} |a_n B_n| \leqslant \lim a_n C = C \lim a_n = 0,\]
        поэтому $\lim a_n B_n = 0$. Также
        \[|(a_k-a_{k+1}) B_k| < C |a_k - a_{k+1}| = C(a_k - a_{k+1}),\]
        поэтому
        \[|S_n - a_n B_n| \leqslant \sum_{k=0}^{n-1} |(a_k - a_{k+1})B_k| < C \sum_{k=0}^{n-1} (a_k - a_{k+1}) = C(a_1 - a_{n+1}),\]
        что тоже сходится. Поэтому $\{S_n\}_{n=0}^\infty$ сходится, т.е. и ряд сходится.
    \end{proof}

    \subsection{Топология}

    \begin{definition}
        \emph{$\varepsilon$-окрестность} точки $x$ (для $\varepsilon > 0$) --- $(x - \varepsilon; x+ \varepsilon)$. Обозначение: $U_\varepsilon(x)$.

        \emph{Проколотая $\varepsilon$-окрестность} точки $x$ --- $(x - \varepsilon; x) \cup (x; x + \varepsilon)$. Обозначение: $V_\varepsilon(x)$.
    \end{definition}

    \begin{definition}
        Пусть дано некоторое множество $X \subseteq \RR$. Тогда точка $x \in X$ называется \emph{внутренней точкой множества} $X$, если она содержится в $X$ вместе со своей окрестностью.
        
        Само множество $X$ называется \emph{открытым}, если все его точки внутренние.
    \end{definition}

    \begin{example}
        Следующие множества открыты:
        \begin{itemize}
            \begin{multicols}{4}
                \item $(a; b)$;
                \item $(a; +\infty)$;
                \item $\RR$;
                \item $\varnothing$;
            \end{multicols}
            \item $\bigcup_{i=0}^\infty (a_i; b_i)$ (интервалы не обязательно не должны пересекаться).
        \end{itemize}
    \end{example}

    \begin{definition}
        Пусть дано множество $X\subseteq \RR$. Точка $x \in \RR$ называется \emph{предельной точкой} множества, если в любой проколотой окрестности $x$ будет какая-либо точка $X$.
        
        Множество предельных точек $X$ называется \emph{производным множеством} множества $X$.

        Множество $X$ называется замкнутым, если содержит как подмножество своё производное множество.
    \end{definition}

    \begin{definition}
        Пусть дано множество $X\subseteq \RR$. Если у любой последовательности его точек есть предельная точка из самого множества $X$, то $X$ называется \emph{компактным}.
    \end{definition}

    \begin{theorem}
        Подмножество $\RR$ компактно тогда и только тогда, когда замкнуто и ограничено.
    \end{theorem}

    \begin{proof}\ 
        \begin{enumerate}
            \item Пусть $X \subseteq \RR$ компактно. Если $X$ неограниченно, то несложно построить последовательность элементов $X$, которая монотонно возрастает или убывает, а разность между членами не меньше любой фиксированной константы (например, не меньше $1$); такая последовательность не имеет предельных точек, что противоречит определению $X$, а значит $X$ ограничено. Если $X$ не замкнуто, то можно рассмотреть предельную точку $x$, не лежащую в $X$, и построить последовательность, сходящуюся к ней, а значит никаких других точек у последовательности быть не может, а значит опять получаем противоречие с определением $X$; значит $X$ ещё и замкнуто.
            \item Пусть $X$ замкнуто и ограничено. Пусть также дана некоторая последовательность $\{x_n\}_{n=0}^\infty$ элементов $X$. Поскольку $X$ ограничено, то значит лежит внутри некоторого отрезка $I_0$. Определим последовательность $\{I_n\}_{n=0}^\infty$ рекуррентно следующим образом. Пусть $I_n$ определено; разделим $I_n$ на две половины и определим $I_{n+1}$ как любую из половин, в которой находится бесконечное количество членов последовательности $\{x_n\}_{n=0}^\infty$. после этого определим последовательность $\{y_n\}_{n=0}^\infty$ как подпоследовательность $\{x_n\}_{n=0}^\infty$, что $y_n \in I_n$ для любого $n \in \NN$ (это можно сделать рекуррентно: если определён член $y_n$, то найдётся ещё бесконечное количество членов начальной последовательности в $I_{n+1}$, которые идут после $y_n$, так как отброшено конечное количество, а значит можно взять любой). Несложно видеть, что $\lim_{n \to \infty} y_n = \bigcap_{n \in \NN} I_n =: y$. Из-за замкнутости $y \in X$, а значит $y$ --- предельная точка $\{x_n\}_{n=0}^\infty$ --- лежит в $X$ и доказывает компактность $X$.
        \end{enumerate}
    \end{proof}

    \begin{lemma}\label{segment_edged_subcover_great_lemma}
        Пусть $\Sigma$ --- семейство интервалов длины больше некоторого $d > 0$, покрывающее отрезок $[a; b]$. Тогда у $\Sigma$ есть конечное подсемейство $\Sigma'$, покрывающее $[a; b]$.
    \end{lemma}
    
    \begin{proof}
        Давайте вести индукцию по $\lceil (b-a)/d \rceil$.

        \textbf{База.} $\lceil (b-a)/d \rceil = 0$. В таком случае $a = b$, а значит, можно взять любой интервал, покрывающий единственную точку и получить всё искомое семейство $\Sigma'$.

        \textbf{Шаг.} Рассмотрим $\Omega := \{I \in \Sigma \mid a \in I\}$. Заметим, что если у правых концов интервалов из $\Omega$ нет верхних граней (т.е. их множество не ограничено сверху), то значит найдётся интервал, покрывающий и $a$, и $b$, а значит его как единственный элемент семейства $\Sigma'$ будет достаточно. Иначе определим $a'$ как супремум правых концов интервалов из $\Omega$.
        
        Тогда мы имеем, что есть интервалы из $\Omega$, подбирающиеся сколь угодно близко к $a'$, а также что все интервалы из $\Sigma$, покрывающие $a'$ не покрывают $a$. Если $a' > b$, то можно опять же взять интервал, который покроет весь $[a; b]$, и остановится. Иначе рассмотрим любой интервал $I$, покрывающий $a'$ и любой интервал $J$ из $\Omega$, перекрывающийся с $I$. Пусть $a''$ --- правый конец $J$.

        Заметим, что $I$ и $J$ покрывают $[a; a'')$. При этом $a < J < a''$, значит $a'' - a \geqslant \osc(J) > d$. Если $a'' > b$, то $\Sigma = \{I, J\}$ будет достаточно. Иначе заметим, что
        \[
            \left\lceil \frac{b-a''}{d} \right\rceil =
            \left\lceil \frac{b-a}{d} - \frac{a''-a}{d} \right\rceil \leqslant
            \left\lceil \frac{b-a}{d} - 1 \right\rceil =
            \left\lceil \frac{b-a}{d} \right\rceil - 1 <
            \left\lceil \frac{b-a}{d} \right\rceil
        \]
        Тогда по предположению индукции есть конечное подпокрытие $\Sigma''$ покрытия $\Sigma$ отрезка $[a''; b]$. Значит $\Sigma' := \Sigma'' \cup \{I, J\}$ является конечным подпокрытием покрытия $\Sigma$ множества $[a; b]$.
    \end{proof}

    \begin{lemma}\label{edged_subcover_great_lemma}
        Пусть $\Sigma$ --- семейство интервалов длины больше некоторого $d > 0$. Тогда найдётся не более чем счётное подсемейство $\Sigma'$, имеющее такое же объединение, т.е. $|\Sigma'| \leqslant |\NN|$, а $\bigcup \Sigma = \bigcup \Sigma'$.
    \end{lemma}

    \begin{proof}
        Несложно видеть, что $A := \bigcup \Sigma$ представляется в виде дизъюнктного объединения интервалов. Каждый из них можно представить как объединение не более чем счётного отрезков. Итого мы получим не более чем счётное семейство $\Omega$ отрезков, что $\bigcup \Omega = A$. Для каждого отрезка из $\Omega$ построим по лемме \ref{segment_edged_subcover_great_lemma} конечное подпокрытие покрытия $\Sigma$, а затем объединив их, получим не более чем счётное семейство $\Sigma'$, покрывающее любой из них, а значит и $\bigcup \Omega = A = \bigcup \Sigma$. С другой стороны $\Sigma'$ --- подмножество $\Sigma$, значит и $\bigcup \Sigma'$ --- подмножество $\bigcup \Sigma$.

        В итоге $\bigcup \Sigma' = \bigcup \Sigma$, и при этом $\Sigma'$ --- не более чем счётное подмножество $\Sigma$.
    \end{proof}

    \begin{lemma}
        Пусть дано семейство $\Sigma$ интервалов. Тогда из него можно выделить не более чем счётное подсемейство $\Sigma'$ с тем же объединением, т.е. $|\Sigma'| \leqslant |\NN|$, а $\bigcup \Sigma = \bigcup \Sigma'$.
    \end{lemma}

    \begin{proof}
        Рассмотрим для каждого $n \in \ZZ$ семейство
        \[\Sigma_n = \{I \in \Sigma \mid \osc(I) \in [2^n; 2^{n+1})\}\]
        Применим лемму к $\Sigma_n$ и получим $\Sigma'_n$. Тогда $\Sigma' := \bigcup_{n \in \ZZ} \Sigma'_n$ является подмножеством $\Sigma$, даёт в объединении то же, что и $\Sigma$, и при этом имеет мощность не более $|\NN \times \NN| = |\NN|$.
    \end{proof}

    \begin{theorem}
        Подмножество $\RR$ компактно тогда и только тогда, когда из любого его покрытия интервалами можно выделить конечное подпокрытие.
    \end{theorem}

    \begin{proof}
        \begin{enumerate}
            \item Пусть $X$ компактно, а $\Sigma$ --- некоторое его покрытие интервалами. Определим для каждого $d > 0$
                \[\Sigma_d := \{I \in \Sigma\mid \osc(I) > d\}\]
                Если никакое из $\Sigma_d$ не является подпокрытием множества $X$, то рассмотрим последовательность $\{x_n\}_{n=0}^\infty$, где $x_n$ --- любой элемент $X \setminus \Sigma_{1/2^n}$. У $\{x_n\}_{n=0}^\infty$ есть предельная точка $x \in X$. Значит должен быть интервал, покрывающий $x$, но тогда он же покрывает весь некоторый хвост нашей последовательности, а сам лежит в некотором $\Sigma_{1/2^n}$ --- противоречие. Значит некоторое $\Sigma_d$ является подпокрытие, а значит далее можно рассматривать его в качестве $\Sigma$.

                $\bigcup \Sigma$ --- открытое множество, поэтому является дизъюнктным объединением семейства $\Omega$ интервалов. Поскольку в $\Sigma$ длины всех интервалов больше $d$, то в $\Omega$ тоже. Но также $X$ ограничено, поэтому $\Omega$ конечно, да и все интервалы в нём ограничены. Заметим, что $X \cap I$, где $I$ --- любой интервал из $\Omega$, является замкнутым множеством, поэтому его можно накрыть некоторым отрезком $S \subseteq I$ (для этого можно взять отрезок $[\inf(X \cap I); \sup(X \cap I)]$). Значит из накрытия $\Sigma$ выделить $|\Omega|$ конечных подпокрытий для каждого отрезка (по лемме \ref{edged_subcover_great_lemma}), а их объединение даст конечное покрытие $X$.

            \item Пусть $X$ таково, что из любого покрытия можно выбрать конечное подпокрытие.
            
                Если $X$ неограниченно, то тогда несложно будет видеть, что покрытие $\{(n; n+2) \mid n \in \ZZ\}$ нельзя уменьшить до конечного. Значит $X$ ограничено.

                Если $X$ не замкнуто, то значит есть точка $x \notin X$, что в любой окрестности $x$ будет точка. Тогда рассмотрим покрытие $\{(x + 2^n; x^{n+2}) \mid n \in \ZZ\} \cup \{(x - 2^{n+2}; x^n) \mid n \in \ZZ\}$. Несложно видеть, что если взять любое конечное подсемейство интервалов, то оно не накроет некоторую окрестность $x$, а значит и $X$. Значит $X$ замкнуто.

                Итого получаем, что $X$ компактно.
        \end{enumerate}
    \end{proof}

    \subsection{Пределы функций, непрерывность}

    \begin{definition}[по Коши]
        \emph{Предел} функции $f: X \to \RR$ в точке $x$ --- такое значение $y$, что
        \[\forall \varepsilon > 0\, \exists \delta > 0: f(V_\delta(x) \cap X) = U_\varepsilon(y)\]
        Обозначение: $\lim\limits_{t \to x} f(t) = y$.
    \end{definition}

    \begin{definition}[по Гейне]
        \emph{Предел} функции $f: X \to \RR$ в точке $x$ --- такое значение $y$, что для любой последовательность $\{x_n\}_{n=0}^\infty$ элементов $X \setminus \{x\}$ последовательность $\{f(x_n)\}_{n=0}^\infty$ сходится к $y$. Обозначение: $\lim\limits_{t \to x} f(t) = y$.
    \end{definition}

    \begin{theorem}
        Определения пределов по Коши и по Гейне равносильны.
    \end{theorem}

    \begin{proof}
        Будем доказывать равносильность отрицаний утверждений, ставимых в определениях.
        \begin{enumerate}
            \item Пусть функция $f: X \to \RR$ не сходится по Коши в $x$ к значению $y$. Значит есть такое $\varepsilon > 0$, что в любой проколотой окрестности $x$ (в множестве $X$) есть точка, значение $f$ в которой не лежит в $\varepsilon$-окрестности. Рассмотрев любую такую проколотую окрестность $I_0 = V_{\delta_0}(x)$, берём в ней любую такую точку $x_0$. Далее рассмотрев $I_1 = V_{\delta_1}(x)$, где $\delta_1 = \min(\delta_0/2, |x-x_0|)$, берём там любую точку $x_1$, где значение $f$ вылетает вне $\varepsilon$-окрестности $y$. Так далее строим последовательность $\{x_n\}_{n=0}^\infty$, сходящуюся к $x$, значения $f$ в которой не лежат в $\varepsilon$-окрестности $y$, что означает, что $\{f(x_n)\}_{n=0}^\infty$ не сходится к $y$, что означает, что $f$ не сходится по Гейне в $x$ к значению $y$.
            \item Пусть функция $f: X \to \RR$ не сходится по Гейне в $x$ к значению $y$. Значит есть последовательность $\{x_n\}_{n=0}^\infty$, сходящаяся к $x$, что последовательность её значений не сходится к $y$. Значит есть $\varepsilon > 0$, что после любого момента в последовательности будет член, значение в котором вылезает вне $\varepsilon$-окрестности $y$. Поскольку для любой проколотой окрестности $x$ есть момент, начиная с которого вся последовательность лежит в этой окрестности, то в любой проколотой окрестности $x$ есть член, значение которого вылезает вне $\varepsilon$-окрестности $y$, что означает, что $f$ не сходится по Коши в $x$ к $y$.
        \end{enumerate}
    \end{proof}

    \begin{statement}
        Функция $f: X \to \RR$ имеет в $x$ предел тогда и только тогда, когда
        \[\forall \varepsilon > 0\; \exists \delta > 0:\; \forall x_1, x_2 \in V_\delta(x)\quad |f(x_1) - f(x_2)| < \varepsilon\]
    \end{statement}

    \begin{proof}
        Такое же как для последовательностей: см. теорему \ref{fundamental_seq_theorem}.
    \end{proof}

    \begin{statement}
        Для функций $f: \RR \to \RR$ и $g: \RR \to \RR$ верно, что
        \begin{enumerate}
            \item $\lim\limits_{x \to a} f(x) + \lim\limits_{x \to a} g(x) = \lim\limits_{x \to a} (f + g)(x)$
            \item $\lim\limits_{x \to a} (-f)(x) = -\lim\limits_{x \to a} f(x)$
            \item $\lim\limits_{x \to a} f(x) \cdot \lim\limits_{x \to a} g(x) = \lim (f \cdot g)(x)$
            \item $\frac{1}{\lim\limits_{x \to a} f(x)} = \lim\limits_{x \to a} (\frac{1}{f})(x)$ (если $\lim\limits_{x \to a} f(x) \neq 0$)
            \item $\lim\limits_{y \to \lim\limits_{x \to a} g(x)} f(y) = \lim\limits_{x \to a} (f \circ g)(x)$
        \end{enumerate}
        и всегда, когда определена левая сторона определена, правая тоже определена.
    \end{statement}

    \begin{remark}
        Утверждения \ref{stupid_seq_statement_1}, \ref{stupid_seq_statement_2} и \ref{stupid_seq_statement_3} верны, если заменить последовательности на функции, пределы последовательностей на пределы функций в некоторой точке $x$, а асимптотические неравенства на неравенства на окрестности $x$.
    \end{remark}

    \begin{definition}
        \emph{Верхним пределом} функции $f$ в точке $x_0$ называется
        \[\varlimsup\limits_{x \to x_0} f(x) = \inf_{\delta > 0} (\sup_{V_\delta(x_0)} f)\]
        \emph{Нижним пределом} функции $f$ в точке $x_0$ называется
        \[\varliminf\limits_{x \to x_0} f(x) = \sup_{\delta > 0} (\inf_{V_\delta(x_0)} f)\]
    \end{definition}

    \begin{statement}
        Функция $f: X \to \RR$ имеет в $x$ предел тогда и только тогда, когда $\varlimsup\limits_{t \to x} f(t) = \varliminf\limits_{t \to x} f(t)$.
    \end{statement}

    \begin{definition}
        Функция $f: X \to \RR$ называется \emph{непрерывной в точке} $x$, если $\lim\limits_{t \to x} f(t) = f(x)$. В изолированных точках $f$ всегда непрерывна.
    \end{definition}

    \begin{definition}
        Функция $f: X \to \RR$ называется \emph{непрерывной на множестве} $Y \subseteq X$, если она непрерывна во всех точках $Y$.
    \end{definition}

    \begin{statement}
        Для непрерывных на $X$ функций $f$ и $g$ верно, что
        \begin{itemize}
            \item $f+g$ непрерывна на $X$;
            \item $fg$ непрерывна на $X$;
            \item $\frac{1}{f}$ непрерывна на $X$ (если $f \neq 0$).
        \end{itemize}
    \end{statement}

    \begin{statement}
        Для $f$, непрерывной в $x_0$, и $g$, непрерывной в $f(x_0)$, $g\circ f$ непрерывна в $x_0$.
    \end{statement}

    \begin{theorem}[Вейерштрасса]
        Непрерывная функция на компакте ограничена на нём и принимает на нём свои минимум и максимум.
    \end{theorem}

    \begin{proof}
        Докажем утверждение для ограниченности сверху и максимума; для ограниченности снизу и минимума рассуждения аналогичны.

        Пусть множество неограниченно сверху. Тогда есть $\{x_n\}_{n=0}^\infty$, что $\{f(x_n)\}_{n=0}^\infty \to +\infty$. Тогда рассмотрим подпоследовательность $\{y_n\}_{n=0}^\infty$ последовательности $\{x_n\}_{n=0}^\infty$, сходящуюся к $y$. Тогда
        \[f(y) = \lim_{n \to \infty}\limits f(y_n) = +\infty\]
        --- противоречие.

        Тогда существует последовательность $\{x_n\}_{n=0}^\infty$, что $\{f(x_n)\}_{n=0}^\infty$ сходится к супремуму $S$ функции. Рассмотрим подпоследовательность $\{y_n\}_{n=0}^\infty$ последовательности $\{x_n\}_{n=0}^\infty$, сходящуюся к $y$. Тогда
        \[f(y) = \lim_{n \to \infty} f(y_n) = S\]
    \end{proof}

    \begin{corollary}
        Так как отрезок компактен, то любая непрерывная на нём функция ограничена и принимает на нём свои максимум и минимум.
    \end{corollary}

    \begin{theorem}[о промежуточном значении]
        Пусть $f$ непрерывна на $[a; b]$, а $f(a) < f(b)$. Тогда $\forall y \in [f(a); f(b)]$ найдётся $c \in [a; b]$, что $f(c) = y$.
    \end{theorem}

    \begin{proof}
        Рассмотрим последовательность $\{(a_n; b_n)\}_{n=0}^\infty$, что $(a; b) = (a_0; b_0)$, а следующие пары определяются так: если $f(\frac{a_n+b_n}{2}) < y$, то $(a_{n+1}; b_{n+1}) = (\frac{a_n+b_n}{2}; b_n)$, иначе $(a_{n+1}; b_{n+1}) = (a_n; \frac{a_n+b_n}{2})$. Тогда $c = \lim \{a_n\}_{n=0}^\infty = \lim \{b_n\}_{n=0}^\infty$. Тогда
        \[f(c) = \lim \{f(a_n)\}_{n=0}^\infty = \lim \{f(b_n)\}_{n=0}^\infty,\]
        откуда получаем, что $f(c) \geqslant y$ и $f(c) \leqslant y$, т.е. $f(c) = y$.
    \end{proof}

    \begin{definition}
        Функция $f$ \emph{равномерно непрерывна} на $X$, если
        \[\forall \varepsilon > 0\; \exists \delta > 0:\; \forall x \in X\quad f(U_\delta(x)) \subseteq U_\varepsilon(f(x))\]
    \end{definition}

    \begin{theorem}[Кантор]
        Непрерывная на компакте функция равномерно непрерывна.
    \end{theorem}

    \begin{proof}
        Предположим противное. Тогда
        \[\exists \varepsilon > 0: \forall \delta > 0\; \exists x, y:\quad |x - y| < \delta \wedge |f(x) - f(y)| > \varepsilon\]
        Тогда рассмотрим последовательность пар $x$ и $y$ построенных так для $\delta$, сходящихся к $0$. Из неё выделим подпоследовательность, что $x$ сходится к некоторому $a$. Тогда $y$ сойдутся к нему же. Тогда в любой окрестности $a$ будет пара точек $(x'; y')$, что $|f(x') - f(y')| > \varepsilon$, значит будет в любой окрестности $x$ будет точка, выбивающаяся из $\varepsilon/2$-окрестности --- противоречие с непрерывностью.
    \end{proof}

    \begin{definition}
        Пусть есть функции $f$ и $g$, что $|f| \leqslant C|g|$ в окрестности $x$ для некоторого $C \in \RR$, тогда пишут, что $f = O(g)$ (при $t \to x$).
        
        Если же $\forall \varepsilon > 0$ будет такая окрестность $x_0$, что $|f| \leqslant \varepsilon |g|$ в этой окрестности, тогда пишут, что $f = o(g)$ (при $t \to x$).
    \end{definition}

    \subsection{Гладкость (дифференцируемость)}

    \begin{definition}\label{def_derivative_1}
        Функция $f$ называется \emph{гладкой (дифференцируемой)} в $x$, если $f(x + \delta) = f(x) + A \delta + o(\delta)$ для некоторого $A \in \RR$. В таком случае $A$ называется \emph{дифференциалом (производной)} $f$ в точке $x$.

        Обозначение: $f'(x) = A$.
    \end{definition}

    \begin{definition}\label{def_derivative_2}
        Функция $f$ называется \emph{гладкой (дифференцируемой)} в $x$, если предел
        \[\lim\limits_{\delta \to 0} \frac{f(x+\delta) - f(x)}{\delta}\]
        определён. В таком случае его значение называется \emph{дифференциалом (производной)} $f$ в точке $x$.
    \end{definition}

    \begin{statement}
        Определения \ref{def_derivative_1} и \ref{def_derivative_2} равносильны.
    \end{statement}

    \begin{statement}
        Дифференцируемая в некоторой точке функция там же непрерывна.
    \end{statement}

    \begin{definition}  
        Функция, значения которой равны производным функции $f$ в тех же точках называется \emph{производной функцией} (или просто \emph{производной}) функции $f$. Обозначение: $f'$.
    \end{definition}

    \begin{lemma}
        Для дифференцируемых в $x$ функций $f$ и $g$
        \begin{enumerate}
            \item $(f \pm g)'(x) = f'(x) \pm g'(x)$;
            \item $(f \cdot g)'(x) = f'(x) g(x) + f(x) g'(x)$ (правило Лейбница);
            \item $(\frac{1}{f})'(x) = \frac{-f'(x)}{f(x)^2}$;
            \item $(f \circ g)'(x) = f'(g(x))\cdot g'(x)$.
        \end{enumerate}
    \end{lemma}

    \begin{lemma}
        Пусть дана $f: [a; b] \to \RR$ --- непрерывная монотонно возрастающая (убывающая) функция. Тогда существует $g: [f(a); f(b)] \to \RR$ --- непрерывная монотонно возрастающая (убывающая) функция, что $g \circ f = Id$.
    \end{lemma}

    \begin{proof}
        Заметим, что $f$ --- монотонно возрастающая (убывающая) биекция из $[a; b]$ в $[f(a); f(b)]$. Тогда существует монотонно возрастающая (убывающая) биекция $g: [f(a); f(b)] \to [a; b]$, что $g \circ f = id$. Осталось показать, что $g$ непрерывна.

        Предположим противное, тогда в любой окрестности некоторой точки $f(x)$ из $[f(a); f(b)]$ есть точки вылетающие вне $\varepsilon$-окрестности. Значит все точки из либо $(x - \varepsilon; x)$, либо $(x; x + \varepsilon)$ не принимаются, значит $g$ не биекция --- противоречие. Значит $g$ непрерывна.
    \end{proof}

    \begin{lemma}
        \[(f^{-1})' = \frac{1}{f' \circ f^{-1}}\]
    \end{lemma}

    \begin{proof}
        Пусть $g := f^{-1}$. Тогда
        \[1 = Id' = (f \circ g)' = f' \circ g \cdot g'\]
        Откуда следует, что
        \[(f^{-1})' = g' = \frac{1}{f' \circ g} = \frac{1}{f' \circ f^{-1}}\]
    \end{proof}

    \begin{definition}
        Функция $f$ \emph{возрастает в точке $y$}, если есть $\varepsilon > 0$, что $f(x) \leqslant f(y)$ для любого $x \in (y-\varepsilon; y)$ и $f(x) \geqslant f(y)$ для любого $x \in (y; y+\varepsilon)$.

        Аналогично определяется убываемость функции в точке.
    \end{definition}

    \begin{lemma}
        Если $f$ возрастает в любой точке на $[a;b]$, то $f(a) \leqslant f(b)$.
    \end{lemma}

    \begin{proof}
        \begin{enumerate}\ 
            \item Можно рассмотреть для каждой точки $[a; b]$ окрестность, для которой верна её возрастаемость, и из покрытия, ими образуемого, выделить конечное. А тогда перебираясь между общими точками окрестностей, получим искомое.
            \item Также можно предположить противное, рассмотреть последовательность вложенных отрезков, у которых левый конец выше правого, и тогда для точки пересечения отрезков будет противоречие.
        \end{enumerate}
    \end{proof}

    \begin{corollary}
        $f$ возрастает на всём отрезке.
    \end{corollary}

    \begin{theorem}
        Если $f$ гладка, а $f'$ положительна на $[a; b]$, то $f$ строго возрастает на $[a; b]$.
    \end{theorem}

    \begin{proof}
        Несложно видеть, что в любой точке на $[a; b]$ у функции есть окрестность, где она строго возрастает, так как если $t \in [a; b]$, а $f'(t) = \lambda > 0$, то в некоторой окрестности
        \begin{align*}
            \frac{f(x) - f(t)}{x - t} &\in (0; 2\lambda)&
            &\Longrightarrow&
            f(x) \in (f(t); f(t) + 2\lambda(x-t))
        \end{align*}
        что значит, что эта окрестность --- подтверждение для возрастания $f$ в $t$. Тогда по предыдущему следствию $f$ возрастает на $[a; b]$. Если вдруг функция возрастает нестрого, то тогда найдётся подотрезок на $[a;b]$, на котором функция константа, а значит на интервале с теми же концами производная тождественна равна нулю.
    \end{proof}

    \begin{theorem}
        Если $f$ возрастает, то $f'$ в своей области определения неотрицательно.
    \end{theorem}

    \begin{proof}
        Если функция в точке $t$ равна $\lambda < 0$, то в некоторой окрестности $t$
        \begin{align*}
            \frac{f(x)-f(t)}{x-t} &\in \left(\frac{3}{2}\lambda; \frac{1}{2}\lambda\right)&
            &\Longrightarrow&
            f(x) &\in \left(f(t) + \frac{3}{2}\lambda(x-t); f(t) + \frac{1}{2}\lambda(x-t)\right)
        \end{align*}
        что значит, что $f$ в точке $t$ ``строго'' убывает --- противоречие. Значит $f'(t) \geqslant 0$.
    \end{proof}

    \begin{definition}
        \emph{$f$ имеет локальный максимум в $x$}, если для некоторого $\varepsilon > 0$ верно, что $f(x) \geqslant f(y)$ для любого $y \in (x - \varepsilon; x + \varepsilon)$.

        Аналогично определяется точка локального минимума.
    \end{definition}

    \begin{theorem}
        В точках локальных максимумов и минимумов функции $f$ функция $f'$ принимает нули (если определена).
    \end{theorem}

    \begin{proof}
        Слева от точки максимума функция возрастает в данной точке, значит производная в данной точке $\geqslant 0$, а справа --- убывает, значит производная $\leqslant 0$, значит производная равна $0$. Аналогично для точки минимума.
    \end{proof}

    \begin{theorem}[Ролль]
        Если $f$ --- гладкая функция на $[a; b]$, и $f(a) = f(b)$, то существует $c \in (a; b)$, что $f'(c) = 0$.
    \end{theorem}

    \begin{proof}
        В точке максимума или минимума $f$ на $[a;b]$ достигается ноль производной. Если они обе совпадают с концами отрезка, то значит функция константа, а тогда в любой точке отрезка производная равна нулю.
    \end{proof}

    \begin{theorem}
        Если $f$ и $g$ непрерывные на $[a; b]$ и гладкие на $(a; b)$ функции, а $g' \neq 0$, то существует $c \in (a; b)$, что
        \[\frac{f(a) - f(b)}{g(a) - g(b)} = \frac{f'(c)}{g'(c)}\]
    \end{theorem}

    \begin{proof}
        Пусть
        \[\lambda := \frac{f(a) - f(b)}{g(a) - g(b)}\]
        а $\tau(x) := f(x) - \lambda g(x)$. В таком случае
        \[\frac{\tau(a) - \tau(b)}{g(a) - g(b)} = \frac{(f(a) - f(b) - \lambda (g(a) - g(b)))}{g(a) - g(b)} = \lambda - \lambda = 0\]
        значит $\tau(a) = \tau(b)$, значит есть $c \in [a; b]$, что $\tau'(c) = 0$. Тогда
        \[\frac{f'(c)}{g'(c)} = \frac{(\tau + \lambda g)'(c)}{g'(c)} = \frac{\tau'(c)}{g'(c)} + \lambda = \lambda = \frac{f(a) - f(b)}{g(a) - g(b)}\]
    \end{proof}

    \begin{theorem}[Лагранж]\label{Lagrange-theorem}
        Если $f$ непрерывна на $[a; b]$ и гладка на $(a; b)$, то существует $c \in (a; b)$, что
        \[\frac{f(a) - f(b)}{a - b} = f'(c)\]
    \end{theorem}

    \begin{proof}
        Очевидно следует из предыдущей теоремы с помощью подстановки $g(x) = x$.
    \end{proof}

    \begin{theorem}
        Пусть $f$ --- гладкая на $(a; b)$ функция.
        \begin{enumerate}
            \item Если $f' \geqslant 0$, то $f$ возрастающая функция.
            \item Если $f' > 0$, то $f$ строго возрастающая функция.
            \item Если $f$ возрастающая функция, то $f' \geqslant 0$.
        \end{enumerate}
    \end{theorem}

    \begin{theorem}
        Пусть $f$ --- гладкая на $[a; b]$ функция. Если $f'(x) = 0$ для всех $x \in [a; b]$, то $f \equiv const$ на том же отрезке.
    \end{theorem}

    \begin{remark}
        Функция $f(x) := x^2 \sin(1/x)$ (доопределённая в нуле) имеет производную $f'(x) = 2x\sin(1/x) - \cos(1/x)$ в случае ненулевых $x$ и производную $f'(0) = 0$. При этом легко видно, что $f'$ не является непрерывной функцией (она имеет разрыв в том же нуле).
    \end{remark}

    \begin{theorem}
        Если $f$ гладка на $(a; b)$, а $f'$ не равна нулю, то $f'$ либо положительна, либо отрицательна.
    \end{theorem}

    \begin{proof}
        $f$ не принимает никакое значение на $(a; b)$ дважды (т.к. иначе у производной был бы корень), значит она либо строго возрастает, либо строго убывает, а значит $f'$ либо неотрицательна, либо неположительна соответственно. Но ноль принимать не может, поэтому последнее утверждение равносильно тому, что $f$ либо строго положительна, либо строго отрицательна.
    \end{proof}

    \begin{theorem}
        Пусть $f$ гладка на $(a; b)$ и для некоторых $u, v \in (a; b)$ верно, что $f'(u) < \alpha < f'(v)$. Тогда существует $c \in (u; v)$, что $f'(c) = \alpha$.
    \end{theorem}

    \begin{proof}
        Пусть $g(x) := f(x) - \alpha x$. Тогда $g'(u) < 0 < g'(v)$, значит $g$ не может строго возрастать или убывать на $(u; v)$, значит $\exists c \in (u; v)$, что $g'(c) = 0$, а значит $f'(c)=\alpha$.
    \end{proof}

    \begin{remark}
        Данная теорема по сути является теоремой о промежуточном значении для производной.
    \end{remark}

    \begin{theorem}
        Пусть $f$ непрерывна на $[a; b)$ и гладка на $(a; b)$. Пусть также $\lim_{x \to a^+} f'(x)$ существует и равен $d$. Тогда $f'(a)$ тоже существует и равна $d$.
    \end{theorem}

    \begin{proof}
        Есть несколько способов:
        \begin{enumerate}
            \item Несложно видеть, что для любого $\varepsilon > 0$ есть некоторая правая окрестность $a$, в которой функция $f'$ лежит в $\varepsilon$-окрестности $d$. Тогда $f(x) - (d-\varepsilon)x$ возрастает в данной окрестности, а $f(x) - (d+\varepsilon)x$ убывает, значит $f(x) - f(a) \in ((d - \varepsilon)(x-a); (d + \varepsilon)(x-a))$. В таком случае $f'(a)$ определена и равна $d$.
            \item По теореме Лагранжа для любого $x \in [a; b)$ найдётся $\xi \in (a; x)$, что
                \[\frac{f(x) - f(a)}{x - a} = f'(\xi)\]
                Значит
                \[\lim_{x \to a^+} \frac{f(x) - f(a)}{x - a} = \lim_{x \to a^+} f'(\xi) = d\]
                что буквально значит, что $f'(a) = d$.
        \end{enumerate}
    \end{proof}

    \begin{theorem}[правило Лопиталя]
        Пусть $\lim_{x \to a^+} f(x) = \lim_{x \to a^+} g(x) = 0$. Пусть также $f$ и $g$ гладки и $g' \neq 0$ на $(a; b)$. Тогда
        \[\lim_{x \to a^+} \frac{f(x)}{g(x)} = \lim_{x \to a^+} \frac{f'(x)}{g'(x)}\]
        если второй предел определён.
    \end{theorem}

    \begin{proof}
        Пусть дано $\varepsilon > 0$, а
        \[d := \lim_{x \to a^+} \frac{f'(x)}{g'(x)}.\]
        Тогда есть $\delta > 0$, что для любого $t \in (a; a + \delta)$ значение $f'(t)/g'(t)$ лежит в $U_\varepsilon(d)$. Легко видеть, что для любых $x, y \in (a; a + \delta)$ существует $\xi \in (x; y) \subseteq (a; a + \delta)$, что
        \[\frac{f(x) - f(y)}{g(x) - g(y)} = f'(\xi) \in U_\varepsilon(d)\]
        Устремляя $x$ к $a$, получаем, что $f(y)/g(y)$ тоже лежит в $U_\varepsilon(d)$. Тогда по определению предела
        \[\lim_{x \to a^+} \frac{f(x)}{g(x)} = d = \lim_{x \to a^+} \frac{f'(x)}{g'(x)}\]
    \end{proof}

    \begin{definition}
        $f''$ --- вторая производная $f$, т.е. $(f')'$, а $f^{(n)}$ --- $n$-ая производная $f$, т.е. $f^{(n)} := (f^{(n-1)})'$, $f^{(0)} := f$.
    \end{definition}

    \begin{definition}
        $P(x)$ --- полином Тейлора степени $n$ функции $f$, если $\deg(P) \leqslant n$, а
        \[f(x) - P(x) = o((x-a)^n),\quad x \to a\]
    \end{definition}

    \begin{theorem}
        Если $P_1$ и $P_2$ --- полиномы Тейлора степени $n$ функции $f$, то $P_1 = P_2$.
    \end{theorem}

    \begin{theorem}
        Пусть $f: (a; b) \to \RR$, $f^{(1)}$, \dots, $f^{(n-1)}$ определены на $(t-\delta; t+\delta)$ для некоторого $\delta > 0$ и определена $f^{(n)}(t)$. Тогда для всякого $x \in U_\delta(t)$
        \[f(x) = f(t) + \frac{f^{(1)}(t)}{1!}(x-t) + \dots + \frac{f^{(n)}(t)}{n!}(x-t)^n + o((x-t)^n)\]
    \end{theorem}

    \begin{proof}
        Рассмотрим $g(x) := f(x) - f(t)/0! \cdot (x-t)^0 - \dots - f^{(n)}(t)/n! \cdot (x-t)^n$. Тогда задача сведена к следующей лемме.

        \begin{thlemma}
            Если $g^{(1)}$, \dots, $g^{(n-1)}$ определены на $(t-\delta; t+\delta)$ для некоторого $\delta > 0$ и
            \[g(t) = g^{(1)}(t) = \dots = g^{(n)}(t) = 0.\]
            Тогда $g(x) = o((x-t)^n)$.
        \end{thlemma}

        \begin{proof}
            Докажем по индукции по $n$.

            \textbf{База.} Пусть $n = 1$. Тогда очевидно, что $f(x) = f(t) + f'(t)(x-t) + o(x-t) = o(x-t)$.

            \textbf{Шаг.} По предположению индукции $f'(x) = o((x-t)^n)$. Тогда мы имеем, что
            \[f(x) = f(x) - f(t) = f'(\xi) (x - t)\]
            для некоторого $\xi \in (x, t)$. Тогда
            \[\frac{f(x) - f(t)}{(x-t)^n} = \frac{f'(\xi)}{(x-t)^{n-1}} = \frac{o((\xi-t)^{n-1})}{(x-t)^{n-1}} = o(1) \frac{(\xi - t)^{n-1}}{(x-t)^{n-1}} = o(1)\]
        \end{proof}
    \end{proof}


    \begin{theorem}
        Пусть $f(t) = f^{(1)}(t) = \dots = f^{(n)}(t) = 0$, а $f^{(n+1)} \neq 0$. Если $n$ чётно, то $t$ --- не экстремальные точка функции $f$, иначе $t$ --- экстремальная точка функции $f$.
    \end{theorem}

    \begin{theorem}\label{finite_Teylor_series_theorem_engineers_variation}
        Пусть $f: (a; b) \to \RR$, $f^{(1)}$, \dots, $f^{(n+1)}$ определены на $(t-\delta; t+\delta)$ для некоторого $\delta > 0$. Тогда для всякого $x \in U_\delta(t)$ существует $\xi \in (x; t)$, что
        \[f(x) = f(t) + \frac{f^{(1)}(t)}{1!}(x-t) + \dots + \frac{f^{(n)}(t)}{n!}(x-t)^n + \frac{f^{(n+1)}(\xi)}{(n+1)!}(x-t)^{n+1}\]
    \end{theorem}

    \begin{proof}
        Точно так же сведём $f$ к $g$, что $g(t) = \dots g^{(n)}(t) = 0$. Тогда требуется показать, что $g(x) = g^{(n+1)}(\xi)/(n+1)! \cdot (x-t)^{n+1}$ для некоторого $\xi \in (x, t)$. Докажем это по индукции.

        \textbf{База.} $n=0$. Теорема Лагранжа.

        \textbf{Шаг.}
        \[\frac{f(x)}{(x-t)^{n+1}} = \frac{f(x) - f(t)}{(x-t)^{n+1} - (t-t)^{n+1}} = \frac{f'(\xi)}{(n+1)(\xi - t)^{n}} = \frac{f^{(n+1)}(\eta)}{(n+1)!}\]
        где $\xi \in (x, t)$ (существует по теореме Лагранжа), а $\eta \in (\xi, t) \subseteq (x, t)$ (существует по предположению индукции для $f'$ и $\xi$). Отсюда следует искомое утверждение.
    \end{proof}

    \subsection{Стандартные функции, ряды Тейлора и их сходимость}

    \todo[inline]{Тут нужно рассказать про функции $\exp$, $\sin$, $\cos$ и $(1+x)^\alpha$ и их ряды}

    \begin{definition}
        $f$ является \emph{(поточечным) пределом} $\{f_n\}_{n=0}^\infty$ на $E$, если $\lim \{f_n(x)\}_{n=0}^\infty = f(x)$ для любого $x \in E$.
    \end{definition}

    \begin{definition}
        $f$ является \emph{равномерным пределом} $\{f_n\}_{n=0}^\infty$ на $E$, если для любого $\varepsilon > 0$ найдётся $N \in \NN$, что $|f_n(x) - f(x)| < \varepsilon$ для всех $n > N$ и $x \in E$.
    \end{definition}

    \begin{theorem}[Стокс, Зейдель]\label{Stokes_Zaidel_theorem}
        Пусть $\{f_n\}_{n=0}^\infty$ --- последовательность непрерывных функций, и $f_n \to f$ равномерно на $E$. Тогда $f$ непрерывна.
    \end{theorem}

    \begin{proof}
        Для любого $\varepsilon > 0$ есть такое $n \in \NN$, что $|f_n(x) - f(x)| < \varepsilon/3$ для всех $x \in E$. Тогда существует $\delta > 0$, что $f_n(U_\delta(t)) \subseteq U_{\varepsilon/3}(f_n(t))$ для данного $t$. Тогда
        \[f(U_\delta(t)) \subseteq U_{\varepsilon/3}(f_n(U_\delta(t))) \subseteq U_{2\varepsilon/3}(f_n(t)) \subseteq U_\varepsilon(f(t)).\]
    \end{proof}

    \begin{theorem}[Коши]
        TFAE (the following are equivalent):
        \begin{enumerate}
            \item $f_n \to f$ равномерно сходится на $E$.
            \item Для любого $\varepsilon > 0$ существует $N \in \NN$, что $|f_k(x) - f_l(x)| < \varepsilon$ для любых $k, l > N$ и $x \in E$.
        \end{enumerate}
    \end{theorem}

    \begin{theorem}[Вейерштрасс]\label{Weierstrass_uniform_convergence_theorem}
        Пусть $\{u_n\}_{n=0}^\infty$ --- последовательность непрерывных функций, что есть последовательность чисел $\{d_n\}_{n=0}^\infty$, для которой верно, что $|u_n| < d_n$ для всех $n \in \NN$, и $\sum_{n=0}^\infty d_n$ сходится. Тогда $\sum_{n=0}^\infty u_n$ равномерно сходится.
    \end{theorem}

    \begin{theorem}
        Пусть $f_n \to f$ на $E$ и $\{f_n\}_{n=0}^\infty$ гладкие. Если $f_n' \to g$ равномерно, то $f$ тогда тоже гладка и $f' = g$.
    \end{theorem}

    \begin{proof}
        Для любого $\varepsilon > 0$ существует $N \in \NN$, что $|f'_k - f'_l| < \varepsilon/3$ для всех $k, l > N$. Тогда имеем, что
        \[\left|\frac{f_k(x) - f_k(y)}{x - y} - \frac{f_l(x) - f_l(y)}{x - y}\right| = \left| \frac{(f_k - f_l)(x) - (f_k - f_l)(y)}{x - y} \right| = |(f_k - f_l)'(\xi)| < \varepsilon/3 \]
        Устремляя $l$ к бесконечности получаем, что
        \[\left|\frac{f_k(x) - f_k(y)}{x - y} - \frac{f(x) - f(y)}{x - y}\right| \leqslant \varepsilon/3\]
        Также имеем, что есть такое $\delta > 0$, что для всех $y \in U_\delta(x)$
        \[\left|\frac{f_k(x) - f_k(y)}{x - y} - f'_k(x)\right| < \varepsilon/3\]
        Также есть $M \in \NN$, что $|f'_k - g| < \varepsilon/3$ для любого $k > M$. Складывая всё вместе, получаем, что для всех $k > \max(N, M)$ и $y \in U_\delta(x)$
        \[\left|\frac{f(x) - f(y)}{x - y} - g(x)\right| < \varepsilon\]
        Значит $f$ гладка и $f' = g$.
    \end{proof}

    \begin{corollary}
        Если $\{f^{(0)}\}$, \dots, $\{f^{(n-1)}\}$ сходятся, а $f^{(n)}$ равномерно сходится. Тогда то же верно и про первые $n$ производных.
    \end{corollary}

    \begin{corollary}
        Если ряд Тейлора сходится, то функция бесконечно гладкая.
    \end{corollary}

    \section{Примеры и контрпримеры}
    \todo[inline]{Название раздела?}

    \begin{theorem}
        Существует непрерывная функция $f$ на отрезке $[a; b]$, которая не имеет производной ни в какой точке на отрезке $[a; b]$
    \end{theorem}

    \begin{proof}
        Можно привести примеры данной функции $f$.
        \begin{enumerate}
            \item (функция Вейерштрасса) Определим
                \begin{align*}
                    f_0(x) &:= \frac{1}{2} - \left|x - \lfloor x \rfloor - \frac{1}{2}\right|&
                    f_n(x) &:= \frac{f_0(4^n x)}{4^n}&
                    f(x) &:= \sum_{i = 0}^\infty f_i(x)\\
                \end{align*}
                \todo{Картиночки!}
                Поскольку $|f_n| = 1/4^n$, а $\sum_{i = 0}^\infty 1/4^i$ сходится, то по \hyperref[Weierstrass_uniform_convergence_theorem]{теореме Вейерштрасса} ряд равномерно сходится к $f$, а поскольку каждая $f_n$ непрерывна, то по \hyperref[Stokes_Zaidel_theorem]{теореме Стокса-Зейделя} функция $f$ непрерывна. Теперь осталось показать, что у $f$ нет производных.

                Пусть $a$ --- произвольная точка из $\RR$. Заметим, что для всяких $m$ и $n$, что $m \geqslant n$, период $f_m$ равен $1/4^m$, значит $1/4^m \mid 1/4^n$, а тогда $f_m(a \pm 1/4^n) = f_m(a)$. Значит для всякого $n \in \NN \cup \{0\}$
                \[f(a \pm 1/4^n) - f(a) = \sum_{i=0}^{n-1} f_i(a \pm 1/4^n) - f_i(a)\]
                Заметим, что $a$ находится на отрезке монотонности функции $f_{n-1}$ длины $1/(2 \cdot 4^{n-1})=2/4^n$, который также является отрезком монотонности каждой функции из $f_0$, \dots, $f_{n-2}$. Поскольку $1/4^n$ в два раза меньше, то либо $a + 1/4^n$, либо $a - 1/4^n$ лежит на том же отрезке монотонности; пусть это будет точка $b_n$. Тогда имеем, что
                \[
                    \left|\frac{f_0(b_n) - f_0(a)}{b_n - a}\right|
                    = \left|\frac{f_1(b_n) - f_1(a)}{b_n - a}\right|
                    = \dots
                    = \left|\frac{f_{n-1}(b_n) - f_{n-1}(a)}{b_n - a}\right|
                    = 1\]
                Следовательно
                \[
                    \frac{f(b_n) - f(a)}{b_n - a}
                    = \sum_{i=0}^\infty \frac{f_i(b_n) - f_i(a)}{b_n - a}
                    = \sum_{i=0}^{n-1} \frac{f_i(b_n) - f_i(a)}{b_n - a}
                \]
                --- целое число, совпадающее по чётности с $n$. Если $f'(a)$ определено, то $\lim_{x \to a} \frac{f(x) - f(a)}{x-a}$ сходится, а значит должен сойтись и
                \[\lim_{n \to \infty} \frac{f(b_n) - f(a)}{b_n - a};\]
                но это последовательность целых значений, значит с какого-то момента она должна быть тождественно равна $0$, но это не так, так как нечётных членов бесконечно много в этой последовательности.
            \item (пример Глеба Минаева) Рассмотрим $f_0(x) := x$. Представим её как бесконечную ломанную $\dots \leftrightarrow (-2, -2) \leftrightarrow (-1, -1) \leftrightarrow (0, 0) \leftrightarrow (1, 1) \leftrightarrow (2, 2) \leftrightarrow ...$. Далее будем получать $f_{n+1}$ из $f_n$ следующим образом.
                \todo{Тем более картиночки!!!}

                $f_n$ будет некоторой бесконечной в обе стороны ломанной, при этом всегда $f_n(x) = f_n(x + 1)$. Следующая функция будет получаться заменой ребра $(a_1, b_1) \leftrightarrow (a_2, b_2)$ на три ребра:
                \[
                    (a_1, b_1)
                    \quad \longleftrightarrow \quad
                    \left(\frac{a_1 + 2a_2}{3}, \frac{2b_1 + b_2}{3}\right)
                    \quad \longleftrightarrow \quad
                    \left(\frac{2a_1 + a_2}{3}, \frac{b_1 + 2b_2}{3}\right)
                    \quad \longleftrightarrow \quad
                    (a_2, b_2)
                \]
                Так мы получим $f_{n+1}$. Рассматриваемой же функцией будет $f := \lim_{n \to \infty} f_n$.

                Несложно видеть, что звено высоты $h$ каждый раз заменяется на три ребра: два высоты $2h/3$ и одно высоты $h/3$. При этом описанный прямоугольник любого ребра содержит описанные прямоугольники рёбер, на которые он был заменён, а значит, окажись точка на ребре, из его описанного прямоугольника больше не вылезет. Таким образом после функции $f_n$ разброс положений $f_i(x)$ не более $1/3^n$, поэтому поточечный предел определён.
                
                При этом значения в точках $k/3^m$ с некоторого момента неподвижны: после функции $f_n$ значения во всех точках $k/3^n$ не меняются. Таким образом мы имеем, что во всякой окрестности будут точки вида $k/3^n$, $(3k+1)/3^{n+1}$, $(3k+2)/3^{n+1}$ и $(k+1)/3^n$, а они ломают монотонность функции на данном интервале. Таким образом $f$ нигде не монотонна.

                Также предположим в точке $a$ есть производная. Рассмотрим для каждого $n \in \NN \cup \{0\}$ пару $(p_n, q_n)$, что $p_n$ и $q_n$ --- абсциссы концов звена на котором лежит $(a, f_n(a))$ в ломаной функции $f_n$ ($q_n > p_n$). Тогда заметим, что $q_n-p_n = 1/3^n$, $f_n(p_n) = f(p_n)$, $f_n(q_n) = f(q_n)$, а тогда
                \[
                    \frac{f_n(q_n) - f_n(p_n)}{q_n - p_n}
                    = \frac{f(q_n) - f(p_n)}{q_n - p_n}
                    = \frac{f(q_n) - f(a)}{q_n - a} \cdot \frac{q_n - a}{q_n - p_n} + \frac{f(a) - f(p_n)}{a - p_n} \cdot \frac{a - p_n}{q_n - p_n}
                \]
                Следовательно значение $\frac{f_n(q_n) - f_n(p_n)}{q_n - p_n}$ лежит на отрезке между $\frac{f(q_n) - f(a)}{q_n - a}$ и $\frac{f(p_n) - f(a)}{p_n - a}$; при этом оно является коэффициентом наклона звена $(p_n, f(p_n)) \leftrightarrow (q_n, f(q_n))$.

                Заметим, что звено $(p_n, f(p_n)) \leftrightarrow (q_n, f(q_n))$ будет заменено на три, среди которых будет и $(p_{n+1}, f(p_{n+1})) \leftrightarrow (q_{n+1}, f(q_{n+1}))$. Значит коэффициент наклона $(p_{n+1}, f(p_{n+1})) \leftrightarrow (q_{n+1}, f(q_{n+1}))$ можно получить из коэффициента наклона $(p_n, f(p_n)) \leftrightarrow (q_n, f(q_n))$ домножением либо на $2$, либо на $-1$.

                Таким образом мы имеем, что последовательность
                \[\left(\frac{f_n(q_n) - f_n(p_n)}{q_n - p_n}\right)_{n=0}^\infty\]
                либо расходится по модулю, либо с некоторого момента не меняет модуль, но знакочередуется. При этом если $f'(a)$ определена, то в некоторой окрестности $a$ значение
                \[\frac{f(x) - f(a)}{x-a}\]
                несильно отличается от $f'(a)$ (чем меньше окрестность, тем меньше отличается). Но если мы будем рассматривать точки $p_n$ и $q_n$, то для одной из них (обозначим её за $x_n$) верно, что
                \begin{align*}
                    \left|\frac{f(x_n) - f(a)}{x_n-a}\right| &\geqslant \left|\frac{f_n(q_n) - f_n(p_n)}{q_n - p_n}\right|&
                    \sign\left(\frac{f(x_n) - f(a)}{x_n-a}\right) &= \sign\left(\frac{f_n(q_n) - f_n(p_n)}{q_n - p_n}\right)
                \end{align*}
                Тогда про последовательность
                \[\left(\frac{f_n(x_n) - f_n(a)}{x_n - a}\right)_{n=0}^\infty\]
                с одной стороны можно сказать, что она сходится к $f'(a)$ (т.к. $|p_n - a|$ и $|q_n - a|$ не более $1/3^n$, а следовательно и $|x_n - a|$); с другой же стороны эта последовательность либо неограниченно растёт по модулю, либо с некоторого момента знакочередуется без уменьшения модуля, а значит навряд ли сходится --- противоречие. Значит ни в какой точке $f'$ не определена.
        \end{enumerate}
    \end{proof}

    \section{Интегрирование}

    \subsection{Первообразная}

    \begin{definition}
        $g$ --- \emph{первообразная} функции $f$, если на области определения $f$ верно, что $g' = f$.
    \end{definition}

    \begin{theorem}
        Если $g_1$ и $g_2$ --- первообразные $f$ на отрезке $[a; b]$, то $g_1 - g_2 = \const$ на том же отрезке.
    \end{theorem}

    \begin{proof}
        Очевидно, что $(g_1 - g_2)' = f' - f' = 0$ на отрезке $[a; b]$. Если $g_1 - g_2$ не константна, то есть две точки на отрезке $[a; b]$, в которых принимаются разные значения, а тогда по теореме Лагранжа будет точка строго между ними (а значит и на отрезке), где производная не равна нулю --- противоречие. Следовательно $g_1 - g_2$ является константой.
    \end{proof}

    \begin{remark}
        Для несвязного множества утверждение неверно. Например, если областью определения $f$ будут два отрезка, то $g_1 - g_2$ будет константной на каждом отрезке, но константы могут быть различны.
    \end{remark}

    \begin{definition}
        Семейство первообразных функции $f$ обозначается как
        \[\int f\]
    \end{definition}

    \begin{definition}
        \emph{Линейная форма} --- линейная однородная функция ($f(x) = \alpha x$).
    \end{definition}

    \begin{theorem}\ 
        \begin{multicols}{2}
            \begin{enumerate}
                \item \[\int \alpha f = \alpha\int f + C\]
                \item \[\int f + g = \int f + \int g\]
                \item \[\int f\, dg = fg - \int g\, df\]
                \item \[\int f(\varphi(x))\varphi'(x)dx = \left(\int f\right) \circ \varphi\]
            \end{enumerate}
        \end{multicols}
    \end{theorem}

    \begin{proof}
        \begin{enumerate}
            \item Продифференцируем обе части:
                \[\left(\int \alpha f\right)' = \alpha f = \alpha \left(\int f\right)' = \left(\alpha \int f\right)'\]
                Таким образом обе стороны отличаются на константу: её корректность гарантирует $+ C$.
            
            \item Продифференцируем обе части:
                \[\left(\int f + g\right)' = f + g = \left(\int f\right)' + \left(\int g'\right) = \left(\int f + \int g\right)\]
                Таким образом обе стороны отличаются на константу; эта константа поглощается первообразными слева и справа (так как это семейства функций).
            
            \item Продифференцируем обе части:
                \[\left(\int f\, dg\right)' = f\cdot g' = (fg)' - g\cdot f' = \left(fg - \int g\, df\right)'\]
                Таким образом обе стороны отличаются на константу; эта константа поглощается первообразными слева и справа (так как это семейства функций).
            
            \item Продифференцируем обе части:
                \[\left(\int f(\varphi(x))\varphi'(x)dx\right)' = (f \circ \varphi) \cdot \varphi' = \left(\left(\int f\right) \circ \varphi\right)'\]
                Таким образом обе стороны отличаются на константу; эта константа поглощается первообразными слева и справа (так как это семейства функций).
        \end{enumerate}
    \end{proof}

    \subsection{Суммы Дарбу и интеграл Римана}

    \begin{definition}
        \emph{Разбиение} отрезка $[a; b]$ --- такое семейство $\Sigma := \{I_k\}_{k=1}^n$ отрезков (ненулевой длины), что $[a; b] = \bigcup_{k=1}^n I_k$, и все отрезки из $\Sigma$ попарно пересекаются не более, чем по одной точке.

        Пусть дана функция $f: E \to \RR$, где $E \supseteq [a; b]$, и некоторое разбиение $\Sigma$ отрезка $[a; b]$. Тогда \emph{верхняя и нижняя суммы Дарбу функции $f$ при разбиении $\Sigma$} есть выражения
        \begin{align*}
            S^+(f, \Sigma) &:= \sum_{I \in \Sigma} |I| \cdot \sup_{x \in I} f(x)&
            S^-(f, \Sigma) &:= \sum_{I \in \Sigma} |I| \cdot \inf_{x \in I} f(x)
        \end{align*}
        соответственно. (При этом $\sup$ и $\inf$ могут принимать значения $+\infty$ и $-\infty$ соответственно; и в таких случаях соответствующие суммы Дарбу тоже будут принимать значения $\pm \infty$.)
    \end{definition}

    \begin{example}\ 
        \begin{itemize}
            \item Пусть $f(x) := x^\alpha$, $\alpha > 0$, $[a; b] := [0; 1]$, а $\Sigma := \{[\frac{k-1}{n}; \frac{k}{n}]\}_{k=1}^n$. Тогда
                \begin{gather*}
                    S^+(f, \Sigma) = \sum_{I \in \Sigma} |I| \cdot \sup_{x \in I} f(x) = \sum_{k=1}^n \frac{1}{n} \cdot f\left(\frac{k}{n}\right) = \frac{\sum_{k=1}^n k^\alpha}{n^{\alpha + 1}}\\
                    S^-(f, \Sigma) = \sum_{I \in \Sigma} |I| \cdot \inf_{x \in I} f(x) = \sum_{k=0}^{n-1} \frac{1}{n} \cdot f\left(\frac{k}{n}\right) = \frac{\sum_{k=1}^{n-1} k^\alpha}{n^{\alpha + 1}}
                \end{gather*}

            \item Пусть $f$ --- функция Дирихле, отрезок $[a; b]$ --- любой, и его разбиение $\Sigma$ --- любое. Тогда
                \begin{gather*}
                    S^+(f, \Sigma) = \sum_{I \in \Sigma} |I| \cdot \sup_{x \in I} f(x) = \sum_{I \in \Sigma} |I| \cdot 1 = b - a\\
                    S^-(f, \Sigma) = \sum_{I \in \Sigma} |I| \cdot \inf_{x \in I} f(x) = \sum_{I \in \Sigma} |I| \cdot 0 = 0
                \end{gather*}
        \end{itemize}
    \end{example}

    \begin{lemma}
        Пусть даны функция $f$, отрезка $[a; b]$ и его разбиение $\Sigma$. Назовём его \emph{подразбиением} семейство отрезков $\Sigma'$, которое является объединением разбиений отрезков из $\Sigma$ (иначе говоря, множество концов отрезков $\Sigma$ является подмножеством концов отрезков $\Sigma'$). Тогда верны неравенства
        \begin{align*}
            S^+(f, \Sigma) &\geqslant S^+(f, \Sigma')&
            S^-(f, \Sigma) &\leqslant S^-(f, \Sigma')
        \end{align*}
    \end{lemma}

    \begin{proof}
        Покажем это для верхних сумм Дарбу; для нижних доказательство аналогично.

        Пусть $\{\Lambda_I\}_{I \in \Sigma}$ --- набор разбиений каждого отрезка $I$ из $\Sigma$, что $\Sigma' = \bigcup_{I \in \Sigma} \Lambda_I$. Тогда мы имеем, что для всяких $I \in \Sigma$ и $J \in \Lambda_I$ верно, что
        \[\sup_{x \in I} f(x) \geqslant \sup_{x \in J} f(x)\]
        Следовательно
        \[
            \sum_{J \in \Lambda_I} |J| \cdot \sup_{x \in J} f(x)
            \leqslant \sum_{J \in \Lambda_I} |J| \cdot \sup_{x \in I} f(x)
            = \left(\sum_{J \in \Lambda_I} |J|\right) \cdot \sup_{x \in I} f(x)
            = |I| \cdot \sup_{x \in I} f(x)
        \]
        Значит, суммируя обе части по $\Sigma$, получаем, что
        \[
            S^+(f, \Sigma')
            = \sum_{J \in \Sigma'} |J| \cdot \sup_{x \in J} f(x)
            = \sum_{I \in \Sigma} \sum_{J \in \Lambda_I} |J| \cdot \sup_{x \in J} f(x)
            \leqslant \sum_{I \in \Sigma} |I| \cdot \sup_{x \in I} f(x)
            = S^+(f, \Sigma)
        \]
    \end{proof}

    \begin{lemma}
        Пусть даны функция $f$, отрезок $[a; b]$, его разбиения $\Sigma_1$ и $\Sigma_2$. Тогда
        \[S^+(f, \Sigma_1) \geqslant S^-(f, \Sigma_2)\]
    \end{lemma}

    \begin{proof}
        Рассмотрим
        \[\Sigma := \{I \cap J \mid I \in \Sigma_1 \wedge J \in \Sigma_2 \wedge |I \cap J| > 1\}\]
        --- (минимальное) подразбиение $\Sigma_1$ и $\Sigma_2$. Тогда верно, что
        \[S^+(f, \Sigma_1) \geqslant S^+(f, \Sigma) \geqslant S^-(f, \Sigma) \geqslant S^-(f, \Sigma_2)\]
    \end{proof}

    \begin{corollary}
        Пусть фиксированы функция $f$ и отрезок $[a; b]$. Рассмотрим множества
        \begin{align*}
            D^+ &:= \{S^+(f, \Sigma) \mid \text{$\Sigma$ --- разбиение $[a; b]$}\}&
            D^- &:= \{S^-(f, \Sigma) \mid \text{$\Sigma$ --- разбиение $[a; b]$}\}
        \end{align*}
        Тогда $D^+ \geqslant D^-$.
    \end{corollary}

    \begin{definition}
        Пусть фиксированы функция $f$ и отрезок $[a; b]$, разбиения которого рассматриваются. Если
        \[\sup_{\Sigma} S^-(f, \Sigma) = \inf_{\Sigma} S^+(f, \Sigma) = S,\]
        то тогда $f$ называется \emph{интегрируемой по Риману}, а $S$ называют \emph{интегралом Римана функции $f$ на отрезке $[a;b]$}. Обозначение:
        \[\int_a^b f(x) dx := S\]
    \end{definition}

    \begin{lemma}
        Пусть даны функция $f$ и отрезок $[a; b]$. Тогда если для всякого $\varepsilon > 0$ есть разбиение $\Sigma$ отрезка $[a; b]$, что
        \[\forall I \in \Sigma\quad \osc_I f < \varepsilon\]
        то $f$ интегрируема по Риману на $[a; b]$.
    \end{lemma}

    \begin{proof}
        Обозначим для каждого такого $\varepsilon$ разбиение из условия за $\Sigma_\varepsilon$. Тогда мы имеем, что
        \[
            S^+(f, \Sigma_\varepsilon) - S^-(f, \Sigma_\varepsilon)
            = \sum_{I \in \Sigma} |I| \cdot (\sup_I f - \inf_I f)
            = \sum_{I \in \Sigma} |I| \cdot \osc_I f
            < \varepsilon \cdot \sum_{I \in \Sigma} |I|
            = \varepsilon \cdot (b - a)
        \]
        Т.е. для всякого $\varepsilon > 0$ верно, что
        \[
            \inf_{\Sigma} S^+(f, \Sigma) - \sup_{\Sigma} S^-(f, \Sigma)
            \leqslant S^+(f, \Sigma_{\varepsilon / (b - a)}) - S^-(f, \Sigma_{\varepsilon / (b - a)})
            < \frac{\varepsilon}{b - a} \cdot (b - a)
            = \varepsilon
        \]
        Следовательно
        \[\inf_{\Sigma} S^+(f, \Sigma) = \sup_{\Sigma} S^-(f, \Sigma),\]
        что значит, что $f$ интегрируема по Риману.
    \end{proof}

    \begin{lemma}
        Пусть даны функция $f$ и отрезок $[a; b]$. Тогда $f$ интегрируема по Риману на $[a; b]$ тогда и только тогда, когда для всякого $\varepsilon > 0$ существует $\delta > 0$, что для всякого разбиение $\Sigma$ отрезка $[a; b]$, где $\forall I \in \Sigma\; |I| < \delta$, верно, что
        \[\sum_{I \in \Sigma} |I| \cdot \osc_I f < \varepsilon\]
    \end{lemma}

    \begin{proof}\ 
        \begin{itemize}
            \item[($\Rightarrow$)] Пусть $f$ интегрируема по Риману на $[a; b]$. Тогда для всякого $\varepsilon > 0$ есть разбиения $\Sigma_1$ и $\Sigma_2$ отрезка $[a; b]$, что
                \[\{S^+(f, \Sigma_1); S^-(f, \Sigma_2)\} \subseteq U_{\varepsilon/4}\left(\int_a^b f(x) dx\right)\]
                Пусть $\Sigma$ --- общее подразбиение $\Sigma_1$ и $\Sigma_2$ (например, минимальное). Тогда
                \[S^+(f, \Sigma_1) \geqslant S^+(f, \Sigma) \geqslant S^-(f, \Sigma) \geqslant S^-(f, \Sigma_2)\]
                Следовательно,
                \[\{S^+(f, \Sigma); S^-(f, \Sigma)\} \subseteq U_{\varepsilon/4}\left(\int_a^b f(x) dx\right)\]

                Заметим, что в таком случае $\sup_{[a; b]} f$ и $\inf_{[a; b]} f$ ограничены (равны вещественным значениям, а не $\pm \infty$). Поэтому $A := \osc_{[a; b]} f$ является вещественной величиной. Определим также $L := \min_\Sigma |I|$.

                Пусть $\Lambda$ --- некоторое разбиение $[a; b]$, что длина всякого отрезка не больше $L \cdot \alpha$, где
                \[\alpha := \min\left(1, \frac{\varepsilon \cdot |\Sigma|}{2 \cdot A \cdot L}\right) \in (0; 1].\]
                Тогда мы имеем, что всякий отрезок $I$ из $\Lambda$ либо является подотрезком некоторого отрезка $J_I$ из $\Sigma$ (обозначим множество таких $I$ за $\Gamma$), либо является подотрезком объединения двух соседних отрезков $K_1$ и $K_2$ из $\Sigma$ и содержит их общую границу (обозначим множество таких $I$ за $\Theta$). В случае $I$ и $J$ мы имеем, что $\osc_I f \leqslant \osc_J f$; в случае $I$, $K_1$ и $K_2$ мы имеем, что $\osc_I f \leqslant \osc_{K_1 \cup K_2} f \leqslant A$. Следовательно, используя только что оговоренные оценки,
                \begin{multline*}
                    \sum_{I \in \Lambda} |I| \cdot \osc_I f\\
                    = \sum_{I \in \Gamma} |I| \cdot \osc_I f
                        + \sum_{I \in \Theta} |I| \cdot \osc_I f\\
                    \leqslant \sum_{I \in \Gamma} |I| \cdot \osc_{J_I} f
                        + \sum_{I \in \Theta} |I| \cdot \osc_{[a; b]} f\\
                    \leqslant \sum_{I \in \Sigma} |I| \cdot \osc_{I} f
                        + A \cdot \sum_{I \in \Theta} |I|\\
                    \leqslant \sum_{I \in \Sigma} |I| \cdot \osc_{I} f
                        + A \cdot L \cdot \alpha \cdot |\Theta|\\
                    \leqslant S^+(f, \Sigma) - S^-(f, \Sigma) + A \cdot L \cdot \alpha \cdot |\Sigma|\\
                    < \frac{\varepsilon}{2} + \frac{\varepsilon}{2}\\
                    = \varepsilon
                \end{multline*}
                Таким образом $\delta := L \cdot \alpha$.
            
            \item[($\Leftarrow$)] Пусть для всякого $\varepsilon > 0$ существует $\delta > 0$, что для всякого разбиение $\Sigma$ отрезка $[a; b]$, где $\forall I \in \Sigma\; |I| < \delta$, верно, что
                \[\sum_{I \in \Sigma} |I| \cdot \osc_I f < \varepsilon\]
                Тогда
                \[
                    S^+(f, \Sigma) - S^-(f, \Sigma)
                    = \sum_{I \in \Sigma} |I| \cdot (\sup_I f - \inf_I f)
                    = \sum_{I \in \Sigma} |I| \cdot \osc_I f
                    < \varepsilon
                \]
                Т.е. для всякого $\varepsilon > 0$
                \[\inf_{\Sigma} S^+(f, \Sigma) - \sup_{\Sigma} S^-(f, \Sigma) < \varepsilon\]
                Следовательно
                \[\inf_{\Sigma} S^+(f, \Sigma) = \sup_{\Sigma} S^-(f, \Sigma)\]
                т.е. $f$ интегрируема на $[a; b]$ по Риману.
        \end{itemize}
    \end{proof}

    \begin{theorem}
        Пусть $f$ --- непрерывная на $[a; b]$ функция. Тогда она интегрируема по Риману на $[a; b]$.
    \end{theorem}

    \begin{proof}
        Поскольку $f$ непрерывна на компакте $[a; b]$, то она равномерно непрерывна, т.е.
        \[\forall \varepsilon > 0\, \exists \delta > 0:\; \forall x \in [a; b]\qquad f(U_\delta(x)) \subseteq U_\varepsilon(f(x))\]
        Для каждого такого $\varepsilon$ получаемое $\delta$ обозначим за $\delta_\varepsilon$. Тогда для всякого подотрезка $I$ отрезка $[a; b]$ длины менее $\delta_{\varepsilon/ 2}$ верно, что $\osc_I f < \varepsilon$. Следовательно для любого разбиения $\Sigma$ с шагом не более $\delta_{\varepsilon/2}$ (т.е. $\forall I \in \Sigma\; |I| < \delta_{\varepsilon/2}$) мы имеем, что
        \[\sum_{I \in \Sigma} |I| \cdot \osc_I f < [a; b] \cdot \varepsilon\]
        Поэтому $f$ интегрируема по Риману на $[a; b]$.
    \end{proof}

    \begin{theorem}\ 
        \begin{multicols}{2}
            \begin{enumerate}
                \item \[\int_a^b \lambda dx = \lambda(b-a)\]
                \item Если $f$ интегрируема по Риману на $[a; b]$, то
                    \[f \geqslant 0 \Longrightarrow \int_a^b f(x)dx \geqslant 0\]
                \item Если $f$ и $g$ интегрируемы по Риману на $[a; b]$, то
                    \[\int_a^b (f+g)(x)dx = \int_a^b f(x)dx + \int_a^b g(x)dx\]
                \item Если $f$ интегрируема по Риману на $[a; b]$, то
                    \[\int_a^b \lambda f(x)dx = \lambda \int_a^b f(x)dx\]
                \item $f$ интегрируема по Риману на $[a; b]$ и $[b; c]$ тогда и только тогда, когда на $[c; a]$, и во всех случаях
                    \[\int_a^b f(x)dx + \int_b^c f(x)dx = \int_a^c f(x)dx\]
            \end{enumerate}
        \end{multicols}
    \end{theorem}

    \begin{proof}
        \begin{enumerate}
            \item Очевидно, что для всякого разбиения $\Sigma$ верно, что $S^+(f, \Sigma) = S^-(f, \Sigma) = \lambda (b-a)$, следовательно и интеграл Римана равен $\lambda (b-a)$.
            
            \item Очевидно, что для всякого разбиения $\Sigma$ верно, что $S^-(f, \Sigma) \geqslant 0$, следовательно, если интеграл Римана определён, то он неотрицателен.
            
            \item Очевидно, что для всякого $\varepsilon > 0$ есть разбиения $\Sigma_1$ и $\Sigma_2$, что
                \begin{align*}
                    \sum_{I \in \Sigma_1} |I| \cdot \osc_I f &< \frac{\varepsilon}{2}&
                    \sum_{I \in \Sigma_2} |I| \cdot \osc_I g &< \frac{\varepsilon}{2}
                \end{align*}
                Рассмотрим любое подразбиение $\Sigma$ разбиений $\Sigma_1$ и $\Sigma_2$. Тогда
                \begin{multline*}
                    S^+(f+g, \Sigma)\\
                    = \sum_{I \in \Sigma} |I| \cdot \sup_I (f + g)\\
                    \leqslant \sum_{I \in \Sigma} |I| \cdot \sup_I f + \sum_{I \in \Sigma} |I| \cdot \sup_I g\\
                    \leqslant \sum_{I \in \Sigma_1} |I| \cdot \sup_I f + \sum_{I \in \Sigma_2} |I| \cdot \sup_I g\\
                    = S^+(f, \Sigma_1) + S^+(g, \Sigma_2) 
                \end{multline*}
                Аналогично мы имеем, что $S^-(f+g, \Sigma) \geqslant S^-(f, \Sigma_1) + S^-(g, \Sigma_2)$. Таким образом отметим две важные строки неравенств.
                \begin{gather*}
                    S^+(f, \Sigma_1) + S^+(g, \Sigma_2) \geqslant S^+(f+g, \Sigma) \geqslant S^-(f+g, \Sigma) \geqslant S^-(f, \Sigma_1) + S^-(g, \Sigma_2)\\
                    S^+(f, \Sigma_1) + S^+(g, \Sigma_2) \geqslant \int_a^b f(x)dx + \int_a^b g(x)dx \geqslant S^-(f, \Sigma_1) + S^-(g, \Sigma_2)\\
                \end{gather*}
                Так мы получаем, что $S^+(f+g, \Sigma)$, $S^-(f+g, \Sigma)$ и $\int_a^b f(x)dx + \int_a^b g(x)dx$ --- три числа с отрезка
                \[\left[S^-(f, \Sigma_1) + S^-(g, \Sigma_2); S^+(f, \Sigma_1) + S^+(g, \Sigma_2)\right],\]
                длина которого меньше $\varepsilon$. Следовательно $f + g$ интегрируема по Риману на $[a; b]$, и интеграл равен
                \[\int_a^b f(x)dx + \int_a^b g(x)dx\]

            \item Докажем сначала для $\lambda \geqslant 0$. Для всякого $\varepsilon > 0$ есть разбиение $\Sigma$ отрезка $[a; b]$, что
                \[\sum_{I \in \Sigma} |I| \cdot \osc_I f < \varepsilon\]
                Также имеем, что
                \begin{gather*}
                    S^+(\lambda f, \Sigma) = \sum_{I \in \Sigma} |I| \cdot \sup_I \lambda f = \sum_{I \in \Sigma} |I| \cdot \lambda \cdot \sup_I f = \lambda \sum_{I \in \Sigma} |I| \cdot \sup_I f = \lambda S^+(f, \Sigma)\\
                    S^-(\lambda f, \Sigma) = \sum_{I \in \Sigma} |I| \cdot \inf_I \lambda f = \sum_{I \in \Sigma} |I| \cdot \lambda \cdot \inf_I f = \lambda \sum_{I \in \Sigma} |I| \cdot \inf_I f = \lambda S^-(f, \Sigma)\\
                \end{gather*}
                Следовательно
                \begin{gather*}
                    S^+(\lambda f, \Sigma) = \lambda S^+(f, \Sigma) \geqslant \lambda \int_a^b f(x)dx \geqslant \lambda S^-(f, \Sigma) = S^-(\lambda f, \Sigma)\\
                    S^+(\lambda f, \Sigma) - S^-(\lambda f, \Sigma) < \lambda \varepsilon
                \end{gather*}
                Таким образом интеграл $\lambda f$ по Риману на $[a; b]$ определён и равен $\lambda \int_a^b f(x)dx$.

                Теперь покажем для $\lambda = -1$. Заметим, что
                \begin{gather*}
                    S^+(-f, \Sigma) = \sum_{I \in \Sigma} |I| \cdot \sup_I -f = \sum_{I \in \Sigma} |I| \cdot -\inf_I f = -\sum_{I \in \Sigma} |I| \cdot \inf_I f = -S^-(f, \Sigma)\\
                    S^-(-f, \Sigma) = \sum_{I \in \Sigma} |I| \cdot \inf_I -f = \sum_{I \in \Sigma} |I| \cdot -\sup_I f = -\sum_{I \in \Sigma} |I| \cdot \sup_I f = -S^+(f, \Sigma)\\
                \end{gather*}
                Следовательно
                \begin{gather*}
                    S^+(-f, \Sigma) = -S^-(f, \Sigma) \geqslant -\int_a^b f(x)dx \geqslant -S^+(f, \Sigma) = S^-(-f, \Sigma)\\
                    S^+(-f, \Sigma) - S^-(-f, \Sigma) < \varepsilon
                \end{gather*}
                Таким образом интеграл $-f$ по Риману на $[a; b]$ определён и равен $-\int_a^b f(x)dx$.

                Используя доказанные утверждения получаем, что для всякого $\lambda$ верно, что
                \begin{multline*}
                    \int_a^b \lambda f(x)dx\\
                    = \int_a^b \sign(\lambda)\cdot |\lambda| f(x)dx\\
                    = \sign(\lambda) \int_a^b |\lambda| f(x)dx\\
                    = \sign(\lambda)|\lambda| \int_a^b f(x)dx\\
                    = \lambda \int_a^b f(x)dx
                \end{multline*}

            \item Если $f$ интегрируема по Риману на некотором отрезке $I$, то $\sup_I f$ и $\inf_I f$ равны некоторым вещественным значениям (не $\pm\infty$).

                Таким образом пусть $f$ интегрируема по Риману на $[a; b]$ и $[b; c]$. Тогда для всякого $\varepsilon > 0$ есть разбиения $\Sigma_L$ отрезка $[a; b]$ и $\Sigma_R$ отрезка $[b; c]$, что
                \begin{align*}
                    \sum_{I \in \Sigma_L} |I| \osc_I f &< \frac{\varepsilon}{2}&
                    \sum_{I \in \Sigma_R} |I| \osc_I f &< \frac{\varepsilon}{2}
                \end{align*}
                Следовательно, если определить $\Sigma := \Sigma_L \cup \Sigma_R$,
                \[
                    S^+(f, \Sigma)
                    = \sum_{I \in \Sigma} |I| \sup_I f
                    = \sum_{I \in \Sigma_L} |I| \sup_I f + \sum_{I \in \Sigma_R} |I| \sup_I f
                    \geqslant \int_a^b f(x)dx + \int_b^c f(x)dx
                \]
                По аналогии получаем, что
                \[S^+(f, \Sigma) \geqslant \int_a^b f(x)dx + \int_b^c f(x)dx \geqslant S^-(f, \Sigma)\]
                При этом
                \[
                    S^+(f, \Sigma) - S^-(f, \Sigma)
                    = \sum_{I \in \Sigma} |I| \osc_I f
                    = \sum_{I \in \Sigma_L} |I| \osc_I f + \sum_{I \in \Sigma_R} |I| \osc_I f
                    < \varepsilon
                \]
                Таким образом $f$ интегрируема по Риману на $[a; c]$, а интеграл равен $\int_a^b f(x)dx + \int_b^c f(x)dx$.

                Пусть теперь $f$ интегрируема на $[a; c]$. Тогда для всякого разбиения $\Sigma$ отрезка $[a; c]$ мы можем рассмотреть
                \[\Sigma_L := \{I \cap [a; b] \mid I \in \Sigma\}\]
                и тогда
                \[\sum_{I \in \Sigma_L} |I| \cdot \osc_I f < \sum_{I \in \Sigma} |I| \cdot \osc_I f\]
                Следовательно есть разбиения со сколь угодно маленькой осцилляцией $f$ на них, а значит $f$ интегрируема на $[a; b]$; аналогично и на $[b; c]$. А по предыдущим рассуждениям достигается равенство в тождестве интегралов.
        \end{enumerate}
    \end{proof}

    \begin{theorem}
        Пусть дана функция $f$, а $M = \sup_{[a; b]} |f|$. Тогда
        \[\left|\int_a^b f(x)dx\right| \leqslant M(b-a)\]
    \end{theorem}

    \begin{proof}
        Очевидно, что при разбиении $\Sigma := \{[a; b]\}$
        \begin{align*}
            S^+(f, \Sigma) = \sum_{I \in \Sigma} |I| \cdot \sup_I f = (b - a) \cdot \sup_{[a; b]} f\\
            S^-(f, \Sigma) = \sum_{I \in \Sigma} |I| \cdot \inf_I f = (b - a) \cdot \inf_{[a; b]} f
        \end{align*}
        Следовательно
        \[
            M(b-a)
            \geqslant (b-a)\sup_{[a; b]} f
            = S^+(f, \Sigma)
            \geqslant \int_a^b f(x)dx
            \geqslant S^-(f, \Sigma)
            = (b-a)\sup_{[a; b]} f
            \geqslant -M(b-a)
        \]
        откуда следует требуемое.
    \end{proof}

    \begin{theorem}
        Пусть $f: [a; b] \to \RR$ непрерывна. Тогда
        \[F: [a, b] \to \RR, x \mapsto \int_a^x f(t)dt\]
        является первообразной $f$.
    \end{theorem}

    \begin{proof}
        Рассмотрим какие-то $x$ и $y$, что $a \leqslant x < y \leqslant b$. Тогда
        \[F(y) - F(x) = \int_a^y f(t)dt - \int_a^x f(t)dt = \int_x^y f(t)dt\]
        Следовательно, рассматривая $\Sigma := \{[x; y]\}$,
        \begin{gather*}
            \sum_{I \in \Sigma} |I| \cdot \inf_I f \leqslant F(y) - F(x) \leqslant \sum_{I \in \Sigma} |I| \cdot \sup_I f\\
            (y-x) \cdot \inf_{[x; y]} f \leqslant F(y) - F(x) \leqslant (y-x) \cdot \sup_{[x; y]} f\\
            \inf_{[x; y]} f \leqslant \frac{F(y) - F(x)}{y - x} \leqslant \sup_{[x; y]} f
        \end{gather*}
        Немного меняя обозначения, получаем, что для всякого $\varepsilon \in [a - x; b - x] \setminus \{0\}$
        \[\inf_{U_{|\varepsilon|}(x)} f \leqslant \frac{F(x + \varepsilon) - F(x)}{\varepsilon} \leqslant \sup_{U_{|\varepsilon|}(x)} f\]

        Заметим, что по непрерывности $f$
        \[\lim_{\varepsilon \to 0^+} \inf_{U_\varepsilon(x)} f = \lim_{\varepsilon \to 0^+} \sup_{U_\varepsilon(x)} f = f(x)\]
        Следовательно
        \[\lim_{\varepsilon \to 0} \frac{F(x + \varepsilon) - F(x)}{\varepsilon} = f(x)\]
        Иначе говоря $F'(x) = f(x)$. Таким образом $F' = f$.
    \end{proof}

    \begin{corollary}[формула Ньютона-Лейбница]
        Пусть $F$ --- первообразная непрерывной на $[a; b]$ функции $f$. Тогда
        \[\int_a^b f(x)dx = F(b) - F(a)\]
    \end{corollary}

    \begin{proof}
        Заметим, что $G(x) := \int_a^x f(t)dt$ --- первообразная $f$. Следовательно $G(x) - F(x) = C$ на $[a; b]$. Значит
        \[\int_a^b f(x)dx = G(b) = G(b) - G(a) = (F(b) + C) - (F(a) + C) = F(b) - F(a)\]
    \end{proof}

    \begin{theorem}
        Пусть $(f_n)_{n=0}^\infty$ --- последовательность интегрируемых по Риману на $[a; b]$ функций --- равномерно сходится к $f$. Тогда $f$ интегрируема по Риману на $[a; b]$, и
        \[\int_a^b f(x)dx = \lim_{n \to \infty} \int_a^b f_n(x)dx\]
    \end{theorem}

    \begin{proof}
        Заметим, что для всякого $\varepsilon > 0$ есть $N \in \NN \cup \{0\}$, что для всяких $n, m > N$ верно, что
        \[|f_n - f_m| \leqslant \frac{\varepsilon}{3(b-a)};\]
        следовательно для всякого $n > N$ верно, что
        \[|f - f_n| \leqslant \frac{\varepsilon}{3(b-a)}.\]
        При этом существует такое разбиение $\Sigma$ отрезка $[a; b]$, что
        \[S^+(f_{N+1}, \Sigma) - S^-(f_{N+1}, \Sigma) = \sum_{I \in \Sigma} |I| \cdot \osc_I f < \frac{\varepsilon}{3}.\]
        Таким образом для всякого $n > N$ верно, что
        \begin{multline*}
            S^+(f_n, \Sigma)\\
            = \sum_{I \in \Sigma} |I| \cdot \sup_I f_n
            \leqslant \sum_{I \in \Sigma} |I| \cdot \left(\frac{\varepsilon}{3(b-a)} + \sup_I f_{N+1}\right)
            = \frac{\varepsilon}{3} + \sum_{I \in \Sigma} |I| \cdot \sup_I f_{N+1}\\
            = S^+(f_{N+1}, \Sigma) + \frac{\varepsilon}{3};
        \end{multline*}
        аналогично $S^-(f_n, \Sigma) \geqslant S^-(f_{N+1}, \Sigma) - \frac{\varepsilon}{3}$. Аналогично данные утверждения верны и для $f$ (вместо $f_n$).

        Заметим, что
        \begin{gather*}
            S^+(f_{N+1}, \Sigma) + \frac{\varepsilon}{3} \geqslant S^+(f_n, \Sigma) \geqslant \int_a^b f_n(x)dx \geqslant S^-(f_n, \Sigma) \geqslant S^-(f_{N+1}, \Sigma) - \frac{\varepsilon}{3}\\
            S^+(f_{N+1}, \Sigma) + \frac{\varepsilon}{3} \geqslant S^+(f, \Sigma) \geqslant S^-(f, \Sigma) \geqslant S^-(f_{N+1}, \Sigma) - \frac{\varepsilon}{3}\\
        \end{gather*}
        Таким образом
        \[S^+(f, \Sigma) - S^-(f, \Sigma) < \varepsilon,\]
        следовательно $f$ интегрируема по Риману на $[a; b]$. Таким образом мы имеем, что
        \begin{gather*}
            S^+(f_{N+1}, \Sigma) + \frac{\varepsilon}{3} \geqslant \int_a^b f_n(x)dx \geqslant S^-(f_{N+1}, \Sigma) - \frac{\varepsilon}{3}\\
            S^+(f_{N+1}, \Sigma) + \frac{\varepsilon}{3} \geqslant \int_a^b f(x)dx \geqslant S^-(f_{N+1}, \Sigma) - \frac{\varepsilon}{3}\\
        \end{gather*}
        т.е. для всех $n > N$
        \[\left|\int_a^b f_n(x)dx - \int_a^b f(x)dx\right| < \varepsilon\]
        Это значит, что
        \[\int_a^b f(x)dx = \lim_{n \to \infty} \int_a^b f_n(x)dx\]
    \end{proof}

    \begin{lemma}
        Если $f$ и $g$ интегрируемы по Риману на $[a; b]$, то и $f \cdot g$.
    \end{lemma}

    \begin{proof}
        Заметим, что, поскольку $f$ и $g$ интегрируемы по Риману, есть такие константы $C_f > 0$ и $C_g > 0$, что $|f| \leqslant C_f$ и $|g| \geqslant C_g$. Следовательно для всяких $x, y \in [a; b]$
        \begin{multline*}
            |f(x)g(x) - f(y)g(y)|\\
            \leqslant |f(x)g(x) - f(y)g(x)| + |f(y)g(x) - f(y)g(y)|\\
            \leqslant C_g|f(x) - f(y)| + C_f|g(x) - g(y)|
        \end{multline*}
        Значит для всякого отрезка $I$ верно, что
        \[\osc_I f\cdot g \leqslant C_g \osc_I f + C_f \osc_I g\]
        Следовательно для всякого разбиения $\Sigma$ отрезка $[a; b]$
        \[\sum_{I \in \Sigma} |I| \cdot \osc_I f \cdot g \leqslant C_g \sum_{I \in \Sigma} |I| \cdot \osc_I f + C_f \sum_{I \in \Sigma} |I| \cdot \osc_I g\]
        Вспомним, что для всякого $\varepsilon > 0$ есть разбиения $\Sigma_f$ и $\Sigma_g$ отрезка $[a; b]$, что
        \begin{align*}
            \sum_{I \in \Sigma_f} |I| \cdot \osc_I f &< \frac{\varepsilon}{2C_g}&
            \sum_{I \in \Sigma_f} |I| \cdot \osc_I g &< \frac{\varepsilon}{2C_f}
        \end{align*}
        Рассмотрим общее подразбиение $\Sigma$ разбиений $\Sigma_f$ и $\Sigma_g$. Для него верны предыдущие предыдущие неравенства. Следовательно
        \[\sum_{I \in \Sigma} |I| \cdot \osc_I f \cdot g < C_g \frac{\varepsilon}{2C_g} + C_f \frac{\varepsilon}{2C_f} = \varepsilon\]
        Поэтому $f \cdot g$ интегрируема по Риману на $[a; b]$.
    \end{proof}

    \subsection{У чего есть выражаемая первообразная?}

    \begin{lemma}\ 
        \begin{multicols}{2}
            \begin{enumerate}
                \item \[\int 0 = C\]
                \item \[\int a_0 + \dots + a_n x^n = C + a_0 x + \dots + a_n x^{n+1} \]
                \item $\forall \alpha \in \RR \setminus \{0\}, x > 0$
                    \[\int x^\alpha = \frac{x^{\alpha + 1}}{\alpha + 1} + C\]
                \item $\forall x > 0$
                    \[\int \frac{1}{x} = \ln(x) + C\]
                \item \[\int e^x = e^x + C\]
                \item \[\int \sin(x) = -\cos(x) + C\] \[\int \cos(x) = \sin(x) + C\]
                \item \[\int \frac{1}{1+x^2} = \arctan(x) + C\]
                \item \[\int \frac{1}{\sqrt{1-x^2}} = \arcsin(x) + C\]
            \end{enumerate}
        \end{multicols}
    \end{lemma}

    \begin{theorem}
        Следующие виды функций имеют выражаемую первообразную:
        \begin{multicols}{2}
            \begin{enumerate}
                \item рациональные функции;
                \item рациональные функции от $\sin$ и $\cos$;
                \item рациональные функции от $\sinh$ и $\cosh$;
                \item рациональные функции от $x$ и $\sqrt{ax^2 + bx + c}$, где $a \neq 0$.
            \end{enumerate}
        \end{multicols}
    \end{theorem}

    \begin{proof}
        \begin{enumerate}
            \item Каждая рациональная функция представляется в виде суммы полиномов, членов вида $\frac{k}{(x+a)^n}$ и членов вида $\frac{px+q}{(ax^2+bx+c)^n}$. Покажем, что каждый из них имеет выражаемую первообразную.
                \begin{itemize}
                    \item Первообразная многочлена очевидна.
                    \item \[\int \frac{dx}{x+a} = \ln(x+a) + C\]
                    \item Для всякого $n > 1$
                        \[\int \frac{dx}{(x+a)^n} = \frac{1}{(1-n)(x-a)^{n-1}} + C\]
                    \item \[\int \frac{dx}{x^2+1} = \tg^{-1}(x)\]
                    \item \[\int \frac{xdx}{x^2+1} = \frac{1}{2} \ln(x^2+1)\]
                    \item Для всякого $n > 1$
                        \[\int \frac{xdx}{(x^2 + 1)^n} = \frac{1}{2(1-n)(x^2+1)^{n-1}}\]
                    \item Заметим, что
                        \[
                            \left(\frac{x}{(x^2+1)^n}\right)'
                            = \frac{1}{(x^2+1)^n} - 2n \frac{x^2}{(x^2+1)^{n+1}}
                            = \frac{2n}{(x^2+1)^{n+1}} - \frac{2n-1}{(x^2+1)^n}
                        \]
                        Следовательно
                        \[\int \frac{dx}{(x^2+1)^{n+1}} = \frac{x}{2n(x^2+1)^n} + \frac{2n-1}{2n} \int \frac{dx}{(x^2+1)^n}\]
                        Таким образом несложно понять по индукции, что $\int \frac{dx}{(x^2+1)^n}$ для $n > 1$ есть некоторая сумма рациональных функций и $\tg^{-1}$.
                    \item Линейными заменами задача нахождения первообразных у $\frac{1}{(x+a)^n}$ и $\frac{px+q}{(ax^2+bx+c)^n}$ сводится к нахождению первообразных $\frac{1}{x^n}$, $\frac{1}{(x^2+1)^n}$ и $\frac{x}{(x^2+1)^n}$.
                \end{itemize}

            \item Заметим, что
                \begin{align*}
                    \sin(x) &= \frac{2 \tg(x/2)}{1 + \tg(x/2)^2}&
                    \cos(x) &= \frac{1 - \tg(x/2)^2}{1 + \tg(x/2)^2}&
                    dx &= \frac{2d(\tg(x/2))}{1+\tg(x/2)^2}
                \end{align*}
                Следовательно задача сводится к нахождению первообразной рациональной функции при помощи подстановки $t := \tg(x)$.

            \item С одной стороны это можно свести к предыдущей задаче заменой $t := ix$. С другой стороны можно заметить, что
                \begin{align*}
                    \sinh(x) &= \frac{e^x - e^{-x}}{2}&
                    \cosh(x) &= \frac{e^x + e^{-x}}{2}&
                    dx &= \frac{d(e^x)}{e^x}
                \end{align*}
                Следовательно задача сводится к нахождению первообразной рациональной функции при помощи подстановки $t := e^x$.
            
            \item Линейными подстановками можно свести задачу к нахождению первообразной рациональной функции от $y$ и $\sqrt{\pm y^2 \pm 1}$ или только от $y$.
                \begin{itemize}
                    \item Случай рациональной функции только от $y$ уже был разобран.
                    \item Если нам дана рациональная функция от $y$ и $\sqrt{1 - y^2}$, то заменой $t := \sin^{-1}(y)$ она сводится к рациональной функции от $\sin$ и $\cos$.
                    \item Если нам дана рациональная функция от $y$ и $\sqrt{y^2 - 1}$, то заменой $t := \cosh^{-1}(y)$ она сводится к рациональной функции от $\sinh$ и $\cosh$.
                    \item Если нам дана рациональная функция от $y$ и $\sqrt{1 + y^2}$, то заменой $t := \sinh^{-1}(y)$ она сводится к рациональной функции от $\sinh$ и $\cosh$.
                \end{itemize}
        \end{enumerate}
    \end{proof}

    \section{Логарифм? Полезности?? Что???}

    \begin{theorem}
        Пусть дана функция $\varphi: (0; +\infty) \to \RR$, что
        \begin{itemize}
            \item $\forall a, b \in (0; +\infty)\quad \varphi(ab) = \varphi(a) + \varphi(b)$
            \item $\varphi$ монотонна.
        \end{itemize}
        Тогда верны следующие утверждения:
        \begin{enumerate}
            \item $\varphi(1) = 0$;
            \item $\forall a \in (0; +\infty), n \in \NN\quad \varphi(a^n) = n\varphi(a)$;
            \item $\forall a \in (0; +\infty)\quad \varphi(a^{-1}) = -\varphi(a)$;
            \item $\forall a \in (0; +\infty), q \in \QQ\quad \varphi(a^q) = q\varphi(a)$;
            \item $\varphi$ непрерывна;
            \item $\varphi$ бесконечно дифференцируема;
            \item $\varphi'(x) = \frac{C}{x}$ для некоторого $C \in \RR$;
            \item все такие $\phi$ имеют вид $\int_1^x \frac{Cdt}{t}$ для некоторого $C > 0$ и наоборот: любая такая функция удовлетворяет условиям на $\phi$.
        \end{enumerate}
    \end{theorem}

    \begin{proof}\ 
        \begin{enumerate}
            \item \[\varphi(1) = \varphi(1 \cdot 1) - \varphi(1) = \varphi(1) - \varphi(1) = 0.\]

            \item Докажем по индукции по $n$. База при $n=0$ и $n=1$ очевидна. Весь шаг:
                \[\varphi(a^{n+1}) = \varphi(a^n) + \varphi(a) = n\varphi(a) + \varphi(a) = (n+1)\varphi(a).\]

            \item \[\varphi(a^{-1}) = \varphi(a \cdot a^{-1}) - \varphi(a) = \varphi(1) - \varphi(a) = -\varphi(a)\]

            \item Пусть $q = \frac{kn}{m}$, где $n, m \in \NN \setminus \{0\}$, а $k = \pm 1$. Тогда
                \[m\varphi(a^q) = \varphi(a^{mq}) = \varphi(a^{kn}) = k\varphi(a^n) = kn\varphi(a) = qm\varphi(a)\]
                Следовательно
                \[\varphi(a^q) = q\varphi(a)\]

            \item Заметим, что $\lim_{x \to 1^+} \varphi(x)$ в связи с монотонностью и ограниченностью (например, значением $\varphi(1/2)$) функции $\varphi$ определён, значит равен некоторому $b$. Тогда
                \[2b = \lim_{x \to 1^+} 2\varphi(x) = \lim_{x \to 1^+} \varphi(x^2) = \lim_{y \to 1^+} \varphi(y) = b\]
                значит $b = 0$. Следовательно
                \[\lim_{x \to 1^-} \varphi(x) = - \lim_{x \to 1^-} \varphi(x^{-1}) = - \lim_{y \to 1^+} \varphi(y) = 0\]
                Таким образом $\varphi$ непрерывна в $1$. Следовательно
                \[\lim_{x \to y} \varphi(x) = \varphi(y) + \lim_{x \to y} \varphi\left(\frac{x}{y}\right) = \varphi(y) + \lim_{\alpha \to 1} \varphi(\alpha)\]
                т.е. $\varphi$ непрерывна во всех точках $(0; +\infty)$.

            \item Рассмотрим
                \[\Phi := (0; +\infty) \to \RR, x \mapsto \int_1^x \varphi(t)dt\]
                Тогда мы имеем, что $\Phi$ --- первообразная, поскольку $\varphi$ непрерывна. А тогда если $\varphi$ имеет $n \in \NN \cup \{0\}$ производных, то $\Phi$ имеет $n+1$ производную. Заметим, что
                \[
                    \Phi(2x) - \Phi(x)
                    = \int_x^{2x}\varphi(t)dt
                    = x\int_x^{2x}\varphi\left(\frac{t}{x}\right)d\frac{t}{x} + x\int_x^{2x}\varphi(x)d\frac{t}{x}
                    = Cx + \varphi(x)x
                \]
                где
                \[C := \int_1^2 \varphi(t)dt\]
                Следовательно
                \[\varphi(x) = \frac{\Phi(2x) - \Phi(x)}{x} - C\]
                Таким образом, если $\Phi$ имеет $n \in \NN \cup \{0\}$ производных, то $\varphi$ тоже. Значит $\Phi$ и $\phi$ бесконечно дифференцируемы.

            \item Пусть фиксировано некоторое $y > 0$. Следовательно
                \[y\varphi'(xy) = (\varphi(xy))' = (\varphi(x) + \varphi(y))' = \varphi'(x)\]
                а значит, если подставить $y = x^{-1}$
                \[\varphi'(x) = \frac{\varphi'(1)}{x}\]
                Таким образом определяя $C := \varphi'(1)$ имеем, что
                \[\varphi'(x) = \frac{C}{x}\]
            
            \item Действительно, если есть некоторое $\phi$, то $\phi$ и $\int_1^x \frac{\phi'(1)dt}{t}$ являются первообразными $\frac{\phi'(1)}{x}$, значит отличаются на константу. При этом в $1$ они обе равны $0$, значит функции совпадают.

                Теперь же покажем, что $\psi(x) := \int_1^x \frac{Cdt}{t}$ является корнем функционального уравнения.
                \begin{itemize}
                    \item Поскольку $\frac{C}{x}$ --- функция одного знака, то $\psi$ монотонна.
                    \item
                        \begin{align*}
                            \psi(xy)
                            &= \int_1^{xy} \frac{Cdt}{t}&
                            &= \int_1^x \frac{Cdt}{t} + \int_x^{xy} \frac{Cdt}{t}\\
                            &= \int_1^x \frac{Cdt}{t} + \int_x^{xy} \frac{Cd(t/x)}{(t/x)}&
                            &= \int_1^x \frac{Cdt}{t} + \int_1^{y} \frac{Cds}{s}&
                            &= \psi(x) + \psi(y)
                        \end{align*}
                \end{itemize}
        \end{enumerate}
    \end{proof}

    \begin{definition}
        \emph{Натуральный логарифм} --- функция
        \[\ln: (0; +\infty) \to \RR, x \mapsto \int_1^x \frac{dt}{t}\]

        \emph{Экспонента} --- функция
        \[\exp: \RR \to (0; +\infty), x \mapsto \ln^{-1}(x)\]
    \end{definition}

    \begin{theorem}\ 
        \begin{enumerate}
            \item $\exp$ корректно определена;
            \item $\exp$ непрерывна;
            \item $\exp$ бесконечно дифференцируема, и каждая производная $\exp$ равна $\exp$;
            \item $\exp(0) = 1$;
            \item $\exp(a + b) = \exp(a) \cdot \exp(b)$;
            \item \[\exp(x) = \sum_{n=0}^\infty \frac{x^n}{n!};\]
        \end{enumerate}
    \end{theorem}

    \begin{proof}\ 
        \begin{enumerate}
            \item Поскольку $\ln$ монотонна, то всякое значение из области значений $\ln$ --- всё $\RR$ --- принимается единожды. Следовательно $\exp$ корректно определена.
            \item Поскольку всякая монотонная биекция из интервала в интервал является непрерывной функцией, то и $\exp$ непрерывна на всяком интервале.
            \item По свойству дифференцирования
                \[\exp'(x) = \frac{1}{\ln'(\exp(x))} = \frac{1}{1/\exp(x)} = \exp(x)\]
                Таким образом $\exp$ дифференцируема раз, и при дифференцировании не меняется. Следовательно $\exp$ бесконечно дифференцируема.
            \item Следует из того, что $\ln(1) = 0$.
            \item Следует из того, что $\ln(xy) = \ln(x) + \ln(y)$, подстановкой $x := \ln^{-1}(a)$ и $y := \ln^{-1}(b)$.
            \item Вспомним, что по теореме \ref{finite_Teylor_series_theorem_engineers_variation} для всякого $x \in \RR$ и $n \in \NN \cup \{0\}$ есть $\xi_n \in (0; x)$, что
                \[
                    \exp(x)
                    = \sum_{k=0}^n \frac{\exp^{(k)}(0)}{k!}(x-0)^k + \frac{\exp^{(n+1)}(\xi_n)}{(n+1)!}(x-0)^{n+1}
                    = \sum_{k=0}^n \frac{x^k}{k!} + \frac{\exp(\xi_n)x^{n+1}}{(n+1)!}
                \]
                Вспомним также, что
                \[
                    \sum_{k=0}^\infty \frac{x^k}{k!} \eqdef \lim \left(\sum_{k=0}^n \frac{x^k}{k!}\right)_{n=0}^\infty
                \]
                Чтобы показать, что предел этой последовательности реально совпадает с $\exp(x)$, покажем, что
                \[\lim \left(\exp(x) - \sum_{k=0}^n \frac{x^k}{k!}\right)_{n=0}^\infty = 0\]
                Действительно,
                \[
                    \left(\left|\exp(x) - \sum_{k=0}^n \frac{x^k}{k!}\right|\right)_{n=0}^\infty
                    = \left(\left|\frac{\exp(\xi_n)x^{n+1}}{(n+1)!}\right|\right)_{n=0}^\infty
                    \leqslant \exp(|x|) \left(\frac{|x|^{n+1}}{(n+1)!}\right)_{n=0}^\infty
                \]
                Пусть $N = \lceil 2|x| \rceil$. Тогда для всякого $n \geqslant N$ имеем, что
                \[
                    \frac{|x|^{n+1}}{(n+1)!}
                    = \frac{|x|^N}{N!} \prod_{k=N+1}^{n+1} \frac{|x|}{k}
                    < \frac{|x|^N}{N!} \prod_{k=N+1}^{n+1} \frac{1}{2}
                    = \frac{|x|^N\cdot 2^{N-1}}{N!} \cdot \frac{1}{2^n}
                \]
                Следовательно, с момента $N$ последовательность
                \[\left(\frac{|x|^{n+1}}{(n+1)!}\right)_{n=0}^\infty\]
                сходится к $0$ немедленнее, чем геометрическая прогрессия, а тогда и
                \[\lim \left(\exp(x) - \sum_{k=0}^n \frac{x^k}{k!}\right)_{n=0}^\infty = 0\]
        \end{enumerate}
    \end{proof}

    \begin{theorem}
        \begin{multicols}{2}
            \begin{enumerate}
                \item $(a^x)' = \ln(a)a^x$
                \item $(x^a)' = a x^{a-1}$
            \end{enumerate}
        \end{multicols}
    \end{theorem}

    \begin{proof}\ 
        \begin{enumerate}
            \item \[(a^x)' = \exp(x \ln(a))' = (x \ln(a))' a^x = \ln(a) a^x\]
            \item \[(x^a)' = \exp(a \ln(x))' = (a \ln(x))' x^a = \frac{a}{x} x^a = a x^{a-1}\]
        \end{enumerate}
    \end{proof}

    \begin{theorem}
        Пусть $f: (a; b) \to \RR$, $f^{(1)}$, \dots, $f^{(n+1)}$ определены на $(t-\delta; t+\delta)$ для некоторого $\delta > 0$. Тогда для всякого $x \in U_\delta(t)$
        \[f(x) = \sum_{k=0}^n \frac{f^{(k)}(t)}{k!}(x-t)^k + \frac{1}{n!} \int_t^x f^{(n+1)}(s)(x-s)^n ds\]
    \end{theorem}

    \begin{proof}
        Рассмотрим функцию
        \[g(x) := f(x) - \sum_{k=0}^n \frac{f^{(k)}(t)}{k!}(x-t)^k\]
        Тогда мы имеем, что $g(t) = g'(t) = g^{(2)}(t) = \dots = g^{(n)}(t) = 0$, а $g^{(n+1)}(t) = f^{(n+1)}(t)$. Тогда нужно показать, что
        \[g(x) = \frac{1}{n!} \int_t^x f^{(n+1)}(s)(x-s)^n ds\]
        Докажем это по индукции по $n$.

        \textbf{База.} $n=0$. Тогда
        \[g(x) = g(t) + \int_t^x g'(s)ds = \frac{1}{n!} \int_t^x g^{(n+1)}(s) (x-s)^n ds\]

        \textbf{Шаг.} Пусть утверждение верно для $n$ докажем для $n+1$.
        \begin{align*}
            g(x)
            &= \frac{1}{n!} \int_t^x g^{(n+1)}(s) (x-s)^n ds\\
            &= \left. \frac{-g^{(n+1)}(s) (x-s)^{(n+1)}}{(n+1)!} \right|_x^t
                + \frac{1}{(n+1)!}\int_t^x g^{(n+1)}(s)(x-s)^{(n+1)} ds\\
            &= \frac{1}{(n+1)!}\int_t^x g^{(n+1)}(s)(x-s)^{(n+1)} ds
        \end{align*}
    \end{proof}

    \subsection{Формулы Валлиса и Стирлинга}

    \begin{theorem}[формула Валлиса]
        \[
            \frac{\pi}{2}
            = \lim_{n \to \infty} \left(\frac{(2n)!!}{(2n-1)!!}\right)^2 \cdot \frac{1}{2n+1}
            = \frac{2}{1} \cdot \frac{2}{3} \cdot \frac{4}{3} \cdot \frac{4}{5} \cdot \frac{6}{5} \cdot \cdots
        \]
    \end{theorem}

    \begin{proof}
        Для всякого $n \in \NN \cup \{0\}$ определим
        \[I_n := \int_0^{\pi/2} \sin(x)^n dx\]
        Заметим, что $\sin(x)^{n+1} < \sin(x)^n$ на $(0; \frac{\pi}{2})$, следовательно $I_n > I_{n+1}$. Также
        \begin{align*}
            I_{n+2}
            &= \int_0^{\pi/2} \sin(x)^{n+2} dx\\
            &= \left. -\sin(x)^{n+1}\cos(x) \right|_0^{\pi/2} + (n+1)\int_0^{\pi/2} \sin(x)^n \cos(x)^2 dx\\
            &= (n+1)\int_0^{\pi/2} \sin(x)^n (1 - \sin(x)^2) dx\\
            &= (n+1)\int_0^{\pi/2} \sin(x)^n dx - (n+1)\int_0^{\pi/2} \sin(x)^{n+2} dx\\
            &= (n+1) I_n - (n+1) I_{n+2}
        \end{align*}
        Следовательно $I_{n+2} = \frac{n+1}{n+2} I_n$. При этом понятно, что $I_0 = \frac{\pi}{2}$, а $I_1 = 1$. Таким образом для всякого $n \in \NN \cup \{0\}$
        \begin{align*}
            &I_{2n}&
            &= \frac{2n-1}{2n} \cdot \frac{2n-3}{2n-2} \cdot \cdots \cdot \frac{1}{2} \cdot I_0&
            &= \frac{(2n-1)!!}{(2n)!!} \frac{\pi}{2}\\
            &I_{2n+1}&
            &= \frac{2n}{2n+1} \cdot \frac{2n-2}{2n-1} \cdot \cdots \cdot \frac{2}{3} \cdot I_1&
            &= \frac{(2n)!!}{(2n+1)!!}
        \end{align*}
        Вспомним, что $I_{2n+1} < I_{2n} < I_{2n-1}$. Следовательно
        \begin{gather*}
            \frac{(2n)!!}{(2n+1)!!} < \frac{\pi}{2} \cdot \frac{(2n-1)!!}{(2n)!!} < \frac{(2n-2)!!}{(2n-1)!!}\\
            \frac{(2n)!! \cdot (2n)!!}{(2n-1)!! \cdot (2n+1)!!} < \frac{\pi}{2} < \frac{(2n)!! \cdot (2n-2)!!}{(2n-1)!! \cdot (2n-1)!!}\\
            \left(\frac{(2n)!!}{(2n-1)!!}\right)^2 \frac{1}{2n+1} < \frac{\pi}{2} < \left(\frac{(2n)!!}{(2n-1)!!}\right)^2 \frac{1}{2n}\\
        \end{gather*}
        Заметим, что в последнем неравенстве отношение значений слева и справа сходится к $1$, значит
        \[\lim_{n \to \infty} \left(\frac{(2n)!!}{(2n-1)!!}\right)^2 \frac{1}{2n+1} = \frac{\pi}{2}\]
    \end{proof}

    \begin{theorem}[формула Стирлинга]
        \[n! \sim \sqrt{2\pi n} \left(\frac{n}{e}\right)^n\]
    \end{theorem}

    \begin{proof}
        Вспомним, что для $x \in (-1; 1)$
        \begin{align*}
            \ln(1+x) &= x - \frac{x^2}{2} + \frac{x^3}{3} - \frac{x^4}{4} + \cdots&
            \ln(1-x) &= -x - \frac{x^2}{2} - \frac{x^3}{3} - \frac{x^4}{4} - \cdots&
        \end{align*}
        Следовательно
        \[
            \ln\left(\frac{1+x}{1-x}\right)
            = \ln(1+x) - \ln(1-x) = 2x + \frac{2x^3}{3} + \frac{2x^5}{5} + \cdots
            = 2x \left(1 + \frac{x^2}{3} + \frac{x^4}{5} + \cdots \right)
        \]
        Пусть $n \in \NN \setminus \{0\}$. Подставим $x = \frac{1}{2n+1}$. Тогда
        \begin{multline*}
            \left(n + \frac{1}{2}\right)\ln\left(1 + \frac{1}{n}\right)
            = \frac{1}{2x} \ln\left(\frac{1+x}{1-x}\right)\\
            = 1 + \frac{x^2}{3} + \frac{x^4}{5} + \cdots
            \in \left(1; 1 + \frac{1}{3} \cdot \frac{x^2}{1 - x^2}\right)
            = \left(1; 1 + \frac{1}{12n(n+1)}\right)
        \end{multline*}

        Рассмотрим последовательность $(x_n)_{n=1}^\infty := \left(\frac{n! \cdot e^n}{n^{n+1/2}}\right)_{n=1}^\infty$. Заметим, что
        \[
            \ln\left(\frac{x_{n+1}}{x_n}\right)
            = \ln\left(\frac{(n+1) \cdot e}{(n+1)^{n+3/2} / n^{n+1/2}}\right)
            = \ln\left(\frac{e}{(1 + \frac{1}{n})^{n + 1/2}}\right)
            = 1 - \left(n + \frac{1}{2}\right)\ln\left(1 + \frac{1}{n}\right)
        \]
        Таким образом $\ln(x_{n+1}/x_n) \in (0; \frac{-1}{12n(n+1)})$. Следовательно $\ln(x_n) < \ln(x_1)$ и
        \begin{align*}
            \ln(x_n) - \ln(x_1)
            &> \frac{-1}{12n(n-1)} + \frac{-1}{12(n-1)(n-2)} + \cdots + \frac{-1}{12\cdot 2 \cdot 1}\\
            &= \frac{1}{12}\left(\frac{1}{n} - \frac{1}{n-1} + \frac{1}{n-1} - \frac{1}{n-2} + \cdots + \frac{1}{2} - \frac{1}{1}\right)\\
            &= \frac{1}{12}\left(\frac{1}{n} - 1\right)
        \end{align*}
        Значит $\lim_{n \to \infty} \ln(x_n) \geqslant \frac{-1}{12}$ (предел убывающей ограниченной последовательности), а тогда $\lim_{n \to \infty} x_n$ определён и равен $\alpha > 0$. Значит
        \[n! \sim \alpha \sqrt{n} \left(\frac{n}{e}\right)^n\]

        Теперь нужно показать, что $\alpha = \sqrt{2 \pi}$. По формуле Валлиса
        \begin{align*}
            \sqrt{2\pi}
            &\sim 2 \frac{(2n)!!}{(2n-1)!!} \cdot \frac{1}{\sqrt{2n+1}}&
            &= 2 \frac{((2n)!!)^2}{(2n)!} \cdot \frac{1}{\sqrt{2n+1}}&
            &= 2 \frac{2^{2n}(n!)^2}{(2n)!} \cdot \frac{1}{\sqrt{2n+1}}\\
            &\sim 2^{2n+1} \frac{\alpha^2 n \left(\frac{n}{e}\right)^{2n}}{\alpha \sqrt{2n} \left(\frac{2n}{e}\right)^{2n}} \cdot \frac{1}{\sqrt{2n}}&
            &= \frac{2^{2n+1} \alpha^2 n}{\alpha (2n) 2^{2n}} = \alpha
        \end{align*}
        Таким образом $\alpha = \sqrt{2 \pi}$.
    \end{proof}

    \begin{remark}
        Из оценки $\ln(x_n) - \ln(x_1) > \frac{1}{12} (\frac{1}{n} - 1)$ следует, что
        \begin{multline*}
            \ln(x_n) - \ln(\alpha)
            = \lim_{m \to \infty} \ln(x_n) - \ln(x_m)
            = \sum_{k=n}^\infty \ln(x_k) - \ln(x_{k+1})\\
            < \sum_{k=n}^\infty \frac{1}{12k(k+1)}
            = \frac{1}{12} \sum_{k=n}^\infty \frac{1}{n} - \frac{1}{n+1}
            = \frac{1}{12n}
        \end{multline*}
        Таким образом $x_n = \alpha (1 + O(\frac{1}{n}))$. А значит
        \[n! = \sqrt{2 \pi n} \left(\frac{n}{e}\right)^n \left(1 + O\left(\frac{1}{n}\right)\right)\]
    \end{remark}

    \begin{lemma}
        Пусть дана функция $f \geqslant 0$, невозрастающая на $[0; +\infty)$. Тогда $\sum_{n=0}^\infty f(n)$ сходится тогда и только тогда, когда $\int_0^\infty f(x)dx$ сходится.
    \end{lemma}

    \begin{proof}
        \begin{itemize}
            \item[($\Rightarrow$)] \[\int_0^N f(x)dx = \sum_{k=0}^{N-1} \int_k^{k+1} f(x)dx \leqslant \sum_{k=0}^{N-1} f(k)\]
                Следовательно, поскольку $\int_0^A f(x)dx$ возрастает по $A$, но ограничена сверху значением $\sum_{n=0}^\infty f(n)$, то $\int_0^{+\infty} f(x)dx$ сходится.
            \item[($\Leftarrow$)] \[\sum_{k=0}^N f(x) \leqslant f(0) + \sum_{k=0}^{N-1} \int_k^{k+1} f(x)dx = f(0) + \int_0^N f(x)dx\]
                Следовательно, поскольку $\sum_0^N f(x)dx$ возрастает по $N$, но ограничена сверху значением $f(0) + \int_0^{+\infty} f(x)dx$, то $\sum_{n=0}^\infty f(n)$ сходится.
        \end{itemize}
    \end{proof}

    \begin{theorem}
        \[\sum_{k=1}^n \frac{1}{k} = \ln(n) + \gamma + o(1)\]
        для некоторой константы $\gamma$.
    \end{theorem}

    \begin{definition}
        Константа $\gamma$ из прошлой теоремы называется \emph{константой Эйлера} или \emph{константой Эйлера-Маскерони}.
    \end{definition}

    \begin{proof}
        \[\sum_{k=1}^n \frac{1}{k} - \ln(n) = 1 + \sum_{k=2}^n \frac{1}{k} - \ln(k) + \ln(k-1)\]
        Заметим, что
        \[\ln(k-1) - \ln(k) = \ln\left(\frac{k-1}{k}\right) = \ln\left(1-\frac{1}{k}\right) = -\frac{1}{k} - \frac{1}{2k^2} - \frac{1}{3k^3} - \cdots\]
        Следовательно
        \[\sum_{k=1}^n \frac{1}{k} - \ln(n) = 1 - \sum_{k=2}^n \left(\frac{1}{2k^2} + \frac{1}{3k^3} + \frac{1}{4k^4} + \cdots\right)\]
        Поскольку
        \[\frac{1}{2k^2} + \frac{1}{3k^3} + \cdots < \frac{1}{2k^2} \left(1 + \frac{1}{k} + \frac{1}{k^2} + \cdots\right) = \frac{1}{2k(k-1)} = \frac{1}{2(k-1)} - \frac{1}{2k}\]
        то
        \[\sum_{k=2}^n \left(\frac{1}{2k^2} + \frac{1}{3k^3} + \frac{1}{4k^4} + \cdots\right) \leqslant \sum_{k=2}^n \frac{1}{2(k-1)} - \frac{1}{2k} = \frac{1}{2} - \frac{1}{2n}\]
        Значит
        \[\sum_{k=2}^\infty \left(\frac{1}{2k^2} + \frac{1}{3k^3} + \frac{1}{4k^4} + \cdots\right)\]
        --- ряд положительных значений, ограниченный сверху значением $1/2$, следовательно сходится; пусть к некоторой константе $\lambda$. Значит мы получаем, что
        \[\sum_{k=2}^n \left(\frac{1}{2k^2} + \frac{1}{3k^3} + \frac{1}{4k^4} + \cdots\right) = \lambda - o(1)\]
        и следовательно
        \[\sum_{k=1}^n \frac{1}{k} - \ln(n) = 1 - \lambda + o(1) = \gamma + o(1)\]
    \end{proof}

    \begin{remark}
        Таким рассуждением мы получаем, что ряд
        \[\sum_{k, l \geqslant 2} \frac{1}{l \cdot k^l}\]
        сильно сходится и равен $1 - \gamma$. Следовательно
        \[1 - \gamma = \sum_{l=2}^\infty \frac{\zeta(l) - 1}{l}\]
    \end{remark}

    \subsection{Бернулли обернули}

    \begin{definition}
        Определим последовательность чисел Бернулли $(B_n)_{n=0}^\infty$ как последовательность, чья экспоненциальная производящая функция есть $\frac{x}{\exp(x) - 1}$, т.е. на уровне формальных степенных рядов верно, что
        \[\sum_{n=0}^\infty \frac{B_n x^n}{n!} = \frac{x}{\exp(x) - 1}\]

        \begin{table}[H]
            \centering
            \begin{tabular}{c|c|c|c|c|c|c|c|c|c|c|c}
                $B_0$ & $B_1$ & $B_2$ & $B_3$ & $B_4$ & $B_5$ & $B_6$ & $B_7$ & $B_8$ & $B_9$ & $B_{10}$ & $\cdots$\\
                \hline
                \rule[-10pt]{0pt}{30pt} $1$ & $-\dfrac{1}{2}$ & $\dfrac{1}{6}$ & $0$ & $-\dfrac{1}{30}$ & $0$ & $\dfrac{1}{42}$ & $0$ & $-\dfrac{1}{30}$ & $0$ & $\dfrac{5}{66}$ & $\cdots$
            \end{tabular}
        \end{table}
    \end{definition}

    \begin{lemma}
        \begin{align*}
            &B_0 = 1&
            &\sum_{k=0}^n B_k \binom{n+1}{k} = 0
        \end{align*}
    \end{lemma}

    \begin{proof}
        На уровне формальных рядов
        \[\frac{\exp(x) - 1}{x} = \sum_{k=0}^\infty \frac{x^k}{(k+1)!}\]
        Следовательно
        \[1 = \left(\sum_{k=0}^\infty \frac{1}{(k+1)!} x^k\right) \cdot \left(\sum_{k=0}^\infty \frac{B_k}{k!}x^k\right)\]
        Значит, рассматривая коэффициенты при степенях $x$, получаем, что
        \begin{align*}
            &B_0 = 1&
            &\sum_{k=0}^n \frac{B_k}{k!(n-k+1)!} = 0
        \end{align*}
        Домножая последнее равенство на $(n+1)!$, получаем, что
        \[\sum_{k=0}^n B_k \binom{n+1}{k} = 0\]
    \end{proof}

    \begin{lemma}
        Ряд Тейлора $\frac{x}{\exp(x) - 1}$ при $x = 0$ равен $\sum_{k=0}^\infty \frac{B_k}{k!}x^k$ (если доопределить правильно функцию в нуле).
    \end{lemma}

    \begin{proof}
        Определим
        \begin{align*}
            &f(x) := \begin{cases}
                1& \text{ если $x = 0$}\\
                \frac{\exp(x) - 1}{x}& \text{ иначе}
            \end{cases}&
            &g(x) = \frac{1}{f(x)}
        \end{align*}
        Заметим, что $f$ просто задаётся рядом $\sum_{k=0}^\infty \frac{x^k}{(k+1)!}$ и всюду положительна, поэтому $g$ определена корректно.

        Тогда очевидно равенство $f \cdot g = 1$. Продифференцируем его $n \in \NN \setminus \{0\}$ раз:
        \[0 = (f \cdot g)^{(n)} = \sum_{k=0}^n \binom{n}{k} f^{(k)} \cdot g^{(n-k)}\]
        Подставляя в последнее $0$ получаем, что
        \begin{align*}
            &g^{(0)}(0) = 1&
            &\frac{1}{n+1}\sum_{k=0}^\infty g^{(k)}(0) \binom{n+1}{k} = \sum_{k=0}^\infty g^{(k)}(0) \binom{n}{n-k} \frac{1}{n-k+1} = 0
        \end{align*}
        Тем самым последовательность $(g^{(n)}(0))_{n=0}^\infty$ удовлетворяет тому же рекуррентному соотношению, что и $(B_n)_{n=0}^\infty$, значит они совпадают. А это значит, что ряд Тейлора $g$ есть
        \[\sum_{k=0}^\infty \frac{g^{(k)}(0)}{k!} x^k = \sum_{k=0}^\infty \frac{B_k}{k!} x^k\]
    \end{proof}

    \begin{lemma}
        Для всякого $n \in \NN \setminus \{0\}$ верно, что $B_{2n+1} = 0$.
    \end{lemma}

    \begin{proof}
        Заметим, что
        \[\frac{x}{\exp(x) - 1} + \frac{x}{2} = \frac{x}{2} \cdot \frac{\exp(x) + 1}{\exp(x) - 1} = \frac{x}{2} \cdot \frac{\exp(x/2) + \exp(-x/2)}{\exp(x/2) - \exp(-x/2)} = \frac{x}{2} \cdot \coth(x/2)\]
        При этом $\frac{x}{2}\cth(x/2)$ является чётной функцией, значит производные всех нечётных степеней равны $0$, откуда и получаем, что $B_{2n+1} = 0$.\footnote{Но для $B_1$ мы получаем равенство $B_1 + \frac{1}{2} = 0$, поэтому только для $n=0$ рассуждение неверно.}
    \end{proof}

    \begin{definition}
        Многочлены Бернулли --- такая последовательность многочленов $(B_n(t))_{n=0}^\infty$, что на уровне формальных рядов (теперь от $x$ и $y$)
        \[\frac{x \exp(yx)}{\exp(x) - 1} = \sum_{n=0}^\infty \frac{B_n(y) x^n}{n!}\]
    \end{definition}

    \begin{remark*}
        Определение корректно, поскольку данный формальный ряд по сути является произведением рядов $\sum_{n=0}^\infty \frac{B_n}{n!} x^n$ и $\exp(yx)$, что значит, что в каждом мономе степень $x$ не менее степени $y$, значит формальные ряды при каждой степени $x$ в разложении $\frac{x \exp(yx)}{\exp(x) - 1}$ --- ряды $B_n(y)$ --- получаются конечными, т.е. являются просто многочленами.
    \end{remark*}

    \begin{corollary}
        $B_n(0) = B_n$.
    \end{corollary}

    \begin{lemma}
        \[\sum_{k=0}^n \binom{n+1}{k} B_k(y) = (n+1) y^n\]
    \end{lemma}

    \begin{proof}
        По определению
        \[\left(\sum_{k=0}^\infty \frac{(xy)^k}{k!}\right) = \left(\sum_{l=0}^\infty \frac{x^l}{(l+1)!}\right) \left(\sum_{m=0}^\infty \frac{B_m(y) x^m}{m!}\right)\]
        Рассматривая коэффициенты при степенях $x$ получаем, что
        \[\frac{y^n}{n!} = \sum_{k=0}^n \frac{1}{(n-k+1)!} \cdot \frac{B_k(y)}{k!} = \frac{1}{(n+1)!} \sum_{k=0}^n \binom{n+1}{k} B_k(y)\]
        Откуда мы и получаем требуемое равенство.
    \end{proof}

    \begin{corollary}
        $\deg(B_n) = n$.
    \end{corollary}

    \begin{lemma}
        $B_{n+1}' = (n+1) B_{n}$.
    \end{lemma}

    \begin{proof}
        Давайте продифференцируем по $y$ равенство (на уровне формальных рядов)
        \[\frac{x \exp(yx)}{\exp(x) - 1} = \sum_{n=0}^\infty \frac{B_n(y)}{n!} x^n\]
        Получаем, что
        \[\sum_{n=1}^\infty \frac{B_{n-1}(y)}{(n-1)!} x^n = x \sum_{n=0}^\infty \frac{B_n(y)}{n!} x^n = \frac{x^2 \exp(yx)}{\exp(x) - 1} = \sum_{n=1}^\infty \frac{B'_n(y)}{n!} x^n\]
        Следовательно $B'_n = n B_{n-1}$.
    \end{proof}

    \begin{corollary}
        $B_n(y) = \sum_{k=0}^n \binom{n}{k} B_{n-k} y^k$.
    \end{corollary}

    \begin{proof}
        \[B_n(y) = \sum_{k=0}^n \frac{B_n^{(k)}(0)}{k!} x^k = \sum_{k=0}^n \frac{B_{n-k}(0) n!}{k! (n-k)!} x^k = \sum_{k=0}^n \binom{n}{k} B_{n-k} x^k\]
    \end{proof}

    \begin{lemma}
        $B_n(y) = B_n(1-y) (-1)^n$.
    \end{lemma}

    \begin{proof}
        Действительно,
        \begin{multline*}
            \sum_{n=0}^\infty \frac{B_n(1-y) x^n}{n!}
            = \frac{x \exp((1-y)x)}{\exp(x) - 1}
            = \frac{x \exp(-yx)}{1 - \exp(-x)}\\
            = \frac{-x \exp(y(-x))}{\exp(-x) - 1}
            = \sum_{n=0}^\infty \frac{B_n(y) (-x)^n}{n!}
            = \sum_{n=0}^\infty \frac{(-1)^n B_n(y) x^n}{n!}
        \end{multline*}
        Следовательно, выделяя полиномы от $y$ при степенях $x$, получаем искомое равенство.
    \end{proof}

    \begin{corollary}
        $\int_0^1 B_n(y) dy = 0$
    \end{corollary}

    \begin{proof}
        \[\int_0^1 B_n(y) dy = \left.\frac{B_{n+1}(y)}{n+1}\right|_0^1 = \frac{B_{n+1}(1) - B_{n+1}(0)}{n+1} = 0\]
    \end{proof}

    \begin{theorem}[формула Эйлера-Маклорена]
        Пусть даны целые $a$ и $b$ и функция $f$, которая имеет $m$ ($m \in \NN \setminus \{0\}$) производных на $[a; b]$. Тогда
        \begin{align*}
            &\sum_{k=a}^{b-1} f(k) = \int_{a}^b f(x)dx + \sum_{k=1}^m \left.\frac{B_k}{k!} f^{(k-1)}(x)\right|_a^b + R_m&
            &R_m = (-1)^{m+1} \int_a^b \frac{B_m(\{x\})}{m!} f^{(m)}(x)dx
        \end{align*}
    \end{theorem}

    \begin{proof}
        Заметим, что достаточно доказать формулу для $a = 0$ и $b = 1$, а $\{x\}$ можно заменить на $x$. Также будем доказывать её по индукции по $m$.

        \textbf{База.} $m=1$. Тогда $B_1(x) = x - \frac{1}{2}$. Следовательно по интегрированию по частям (по функциям $f$ и $B_1$)
        \[\frac{f(1) + f(0)}{2} = \left.f(x)\left(x - \frac{1}{2}\right)\right|_0^1 = \int_0^1 f(x)dx + \int_0^1 \left(x - \frac{1}{2}\right)f'(x)dx\]
        Таким образом
        \[f(0) = \int_0^1 f(x)dx + \frac{-1/2}{1!} \left.f(x)\right|_0^1 + R_1\]

        \textbf{Шаг.} Пусть утверждение для $m$ верно; покажем верность для $m+1$. Заметим, что нужно показать, что
        \[R_m = \left.\frac{B_{m+1}}{(m+1)!} f^{(m)}(x)\right|_0^1 + R_{m+1}\]
        Интегрируя по частям по функциям $f^{(m)}(x)$ и $B_{m+1}(x)/(m+1)!$, получаем, что
        \begin{align*}
            (-1)^{m+1}\int_0^1 \frac{B'_{m+1}(x)}{(m+1)!}f^{(m)}(x)dx
            &= (-1)^{m+1} \left.\frac{B_{m+1}(x)}{(m+1)!} f^{(m)}(x) \right|_0^1 + (-1)^{m+2} \int_0^1 \frac{B_{m+1}(x)}{(m+1)!}f^{(m+1)}(x)dx\\
            &= (-1)^{m+1} \left.\frac{B_{m+1}(x)}{(m+1)!} f^{(m)}(x) \right|_0^1 + R_{m+1}
        \end{align*}
        Поскольку $B'_{m+1}(x) = (m+1) B_m(x)$, то получаем
        \[R_m = (-1)^{m+1} \left.\frac{B_{m+1}(x)}{(m+1)!} f^{(m)}(x) \right|_0^1 + R_{m+1}\]
        Следовательно осталось показать, что $(-1)^{m+1}B_{m+1} = B_{m+1}(0) = B_{m+1}(1)$. Заметим, что уже есть $B_{m+1} = B_{m+1}(0) = (-1)^{m+1} B_{m+1}(1)$. Осталось заметить, что при нечётных $m$ мы имеем $(-1)^{m+1} = 1$, а при чётных --- $B_{m+1} = 0$, так как $m+1 \geqslant 2$. Отсюда следует искомое.
    \end{proof}

    \begin{example}
        Давайте посчитаем $\sum_{k=1}^{n-1} k^d$. Для этого подставим в формулу Эйлера-Маклорена функцию $f(x) := x^d$, отрезок $[a; b] := [0; n]$ и $m = d+1$:
        \begin{align*}
            \sum_{k=1}^{n-1} k^d
            &= \sum_{k=0}^{n-1} f(k)\\
            &=
                \int_0^n f(x) dx
                + \sum_{k=1}^m \left.\frac{B_k}{k!} f^{(k-1)}(x)\right|_0^n
                + (-1)^{m+1} \int_0^n \frac{B_m(\{x\})}{m!} f^{(m)}(x) dx\\
            &=
                \left.\frac{x^{d+1}}{d+1}\right|_0^n
                + \sum_{k=1}^m \left.\frac{B_k}{k!} \frac{d!}{(d-k+1)!} x^{d-k+1}\right|_0^n
                + (-1)^{m+1} \int_0^n \frac{B_m(\{x\})}{m!} \cdot 0 \cdot dx\\
            &=
                \frac{n^{d+1}}{d+1}
                + \sum_{k=1}^{d+1} B_k \frac{d!}{k! (d+1-k)!} n^{d+1-k}\\
            &= \frac{1}{d+1} \sum_{k=0}^{d+1} B_k \binom{d+1}{k} n^{d+1-k}
        \end{align*}
    \end{example}

    \subsection{Некоторые методы интегрирования и их результаты}

    Рассмотрим неформальные примеры и докажем теоремы, их формализующие.

    \begin{example}
        Несложно понять, что
        \[K := \int_0^{+\infty} e^{-x^2} dx\]
        сходится. Заметим также, что для всякого $t > 0$
        \[
            K
            = \int_0^{+\infty} e^{-x^2} dx
            = \int_0^{+\infty} e^{-(ty)^2} d(ty)
            = \int_0^{+\infty} t e^{-y^2 t^2} dy
        \]
        Следовательно
        \begin{align*}
            K^2
            &= K \cdot \int_0^{+\infty} e^{-t^2} dt&
            &= \int_0^{+\infty} e^{-t^2} \cdot K \cdot dt\\
            &= \int_0^{+\infty} e^{-t^2} \left(\int_0^{+\infty} t e^{-t^2y^2} dy\right) dt&
            &= \int_0^{+\infty} \left(\int_0^{+\infty} t e^{-t^2(y^2+1)} dy\right) dt\\
            &= \int_0^{+\infty} \left(\int_0^{+\infty} t e^{-t^2(y^2+1)} dt\right) dy&
            &= \int_0^{+\infty} \left(\int_0^{+\infty} e^{-t^2(y^2+1)} \frac{d(t^2)}{2}\right) dy\\
            &= \int_0^{+\infty} \frac{1}{2} \left(\int_0^{+\infty} e^{-v(y^2+1)} dv\right) dy&
            &= \frac{1}{2} \int_0^{+\infty} \left.\frac{e^{-v(y^2+1)}}{-(y^2+1)}\right|_0^{+\infty} dy\\
            &= \frac{1}{2} \int_0^{+\infty} \frac{dy}{y^2+1}&
            &= \frac{1}{2} \left. \arctan(y) \right|_0^{+\infty} = \frac{\pi}{4}&
        \end{align*}
        откуда $K = \frac{\sqrt{\pi}}{2}$.
    \end{example}

    \begin{example}
        Рассмотрим функцию
        \[I(a) := \int_0^{+\infty} e^{-ax} \frac{\sin(x)}{x} dx\]
        Тогда
        \[
            I'(a)
            = \int_0^{+\infty} (-x) e^{-ax} \frac{\sin(x)}{x} dx
            = \int_0^{+\infty} -e^{-ax} \sin(x) dx
            = \left.\frac{e^{-ax}(a \sin(x) + \cos(x))}{a^2 + 1}\right|_0^{+\infty}
            = -\frac{1}{a^2 + 1}
        \]
        Значит $I(a) = C - \arctan(a)$. Но поскольку
        \[
            \lim_{a \to \infty} I(a) + \arctan(a)
            = \lim_{a \to \infty} \int_0^{+\infty} e^{-ax} \frac{\sin(x)}{x} dx + \arctan(a)
            = 0 + \frac{\pi}{2}
        \]
        то $C = \frac{\pi}{2}$, а значит
        \[\int_0^{+\infty} \frac{\sin(x)}{x} dx = I(0) = \frac{\pi}{2} - \arctan(0) = \frac{\pi}{2}\]
    \end{example}

    \begin{example}
        \begin{align*}
            \int_0^1 \frac{x^b - x^a}{\ln(x)} dx
            &= \int_0^1 \left(\int_a^b x^y dy\right) dx&
            &= \int_a^b \left(\int_0^1 x^y dx\right) dy\\
            &= \int_a^b \frac{dy}{y+1}&
            &= \ln(b+1) - \ln(a+1)\\
            &= \ln\left(\frac{b+1}{a+1}\right)
        \end{align*}
    \end{example}

    \begin{example}
        Заметим, что
        \[
            \int_1^{+\infty} \frac{x^2 - y^2}{(x^2 + y^2)^2} dy
            = \left. \frac{y}{x^2 + y^2} \right|_1^{+\infty}
            = - \frac{1}{x^2 + 1}
        \]
        Таким образом
        \begin{align*}
            &\int_1^{+\infty} \left(\int_1^{+\infty} \frac{x^2 - y^2}{(x^2 + y^2)^2} dy\right) dx = -\frac{\pi}{4}&
            &\text{ но }&
            &\int_1^{+\infty} \left(\int_1^{+\infty} \frac{x^2 - y^2}{(x^2 + y^2)^2} dx\right) dy = \frac{\pi}{4}
        \end{align*}
    \end{example}

    \begin{remark*}
        Этот пример говорит о том, что не всегда можно переставлять интегралы местами.
    \end{remark*}

    \begin{theorem}
        Пусть даны непрерывные функции $a$ и $b$ на $[x_0; x_1]$. Пусть также дана непрерывная функция $f(x, t)$ на $\{(x, t) \mid t \in [a(x); b(x)] \wedge x \in [x_0; x_1]\}$. Тогда $\int_{a(x)}^{b(x)} f(x, t) dt$ непрерывна.
    \end{theorem}

    \begin{proof}
        \[
            \lim_{y \to x} \int_{a(y)}^{b(y)} f(y, t) dt
            = \lim_{y \to x} \int_{a(y)}^{a(x)} f(y, t) dt
                + \lim_{y \to x} \int_{b(x)}^{b(y)} f(y, t) dt
                + \lim_{y \to x} \int_{a(x)}^{b(x)} f(y, t) dt
        \]

        \begin{thlemma}
            \[\lim_{y \to x} \int_{b(x)}^{b(y)} f(y, t) dt = 0\]
        \end{thlemma}

        \begin{proof}
            Заметим, что
            \[
                \left|\int_{b(x)}^{b(y)} f(y, t) dt \right|
                \leqslant |b(y) - b(x)| \cdot \max_{t \in [b(x); b(y)]} |f(y, t)|
            \]
            Заметим, что из непрерывности $f$ следует, что
            \[
                \max_{t \in [b(x); b(y)]} |f(y, t)|
                \leqslant \max_{\substack{y \in [x - \varepsilon; x + \varepsilon]\\ t \in [b(x); b(y)]}} |f(y, t)|
            \]
            Но при этом $\lim_{y \to x} |b(y) - b(x)| = 0$, следовательно
            \[\lim_{y \to x} \left|\int_{b(x)}^{b(y)} f(y, t) dt \right| = 0\]
            откуда и получается требуемое.
        \end{proof}

        \begin{thlemma}
            \[\lim_{y \to x} \int_{a(x)}^{b(x)} f(y, t) dt = \int_{a(x)}^{b(x)} f(x, t) dt\]
        \end{thlemma}

        \begin{proof}
            Поскольку $f$ непрерывна, то непрерывна и $f(y, t) - f(x, t)$. Значит
            \begin{multline*}
                \lim_{y \to x} \int_{a(x)}^{b(x)} f(y, t) dt - \int_{a(x)}^{b(x)} f(x, t) dt
                = \lim_{y \to x} \int_{a(x)}^{b(x)} (f(y, t) - f(x, t)) dt\\
                \leqslant \lim_{y \to x} |b(x) - a(x)| \max_{t \in [a(x); b(x)]} |f(y, t) - f(x, t)|
                \leqslant |b(x) - a(x)| \lim_{\varepsilon \to 0} \max_{\substack{y \in [x - \varepsilon; x + \varepsilon]\\ t \in [a(x); b(x)]}} |f(y, t) - f(x, t)| = 0
            \end{multline*}
        \end{proof}

        Объединяя всё вышесказанное, получаем требуемое.        
    \end{proof}

    \begin{theorem}[интегральное правило Лейбница, ``дифференцирование под знаком интеграла'']
        Пусть даны функции $a$ и $b$ на $[x_0; x_1]$ с непрерывными производными. Пусть также дана функция $f(x, t)$, что $f$ и $\frac{\partial}{\partial x}f$ непрерывны на множестве $\{(x, t) \mid t \in [a(x); b(x)] \wedge x \in [x_0; x_1]\}$. Тогда для всякого $x \in [x_0; x_1]$
        \[
            \frac{d}{dx} \int_{a(x)}^{b(x)} f(x, t) dt
            = f(x, b(x)) \cdot \frac{d}{dx} b(x)
            - f(x, a(x)) \cdot \frac{d}{dx} a(x)
            + \int_{a(x)}^{b(x)} \frac{\partial}{\partial x} f(x, t) dt
        \]
    \end{theorem}

    \begin{proof}
        \begin{align*}
            \frac{d}{dx} \int_{a(x)}^{b(x)} f(x, t) dt
            &\eqdef \lim_{\delta \to 0} \frac{\int_{a(x + \delta)}^{b(x + \delta)} f(x + \delta, t) dt - \int_{a(x)}^{b(x)} f(x, t) dt}{\delta}\\
            &= \lim_{\delta \to 0} \left(
                \frac{\int_{a(x + \delta)}^{a(x)} f(x + \delta, t) dt}{\delta}
                + \frac{\int_{b(x)}^{b(x + \delta)} f(x + \delta, t) dt}{\delta}
                + \frac{\int_{a(x)}^{b(x)} (f(x + \delta, t) - f(x, t)) dt}{\delta}
            \right)
        \end{align*}
        
        \begin{thlemma}
            \[\lim_{\delta \to 0} \frac{\int_{b(x)}^{b(x + \delta)} f(x + \delta, t) dt}{\delta} = f(x, b(x)) \cdot \frac{d}{dx} b(x)\]
        \end{thlemma}

        \begin{proof}
            \begin{align*}
                \lim_{\delta \to 0} \frac{\int_{b(x)}^{b(x + \delta)} f(x + \delta, t) dt}{\delta}
                &= \lim_{\delta \to 0} \frac{b(x + \delta) - b(x)}{\delta} \cdot \frac{\int_{b(x)}^{b(x + \delta)} f(x + \delta, t) dt}{b(x + \delta) - b(x)}\\
                &= \frac{d}{dx} b(x) \cdot \lim_{\delta \to 0} \frac{\int_{b(x)}^{b(x + \delta)} f(x + \delta, t) dt}{b(x + \delta) - b(x)}\\
                % &= f(x, b(x)) \cdot \frac{d}{dx} b(x)
            \end{align*}

            Заметим, что
            \[
                \min_{t \in [b(x); b(x + \delta)]} f(x + \delta, t)
                \leqslant \frac{\int_{b(x)}^{b(x + \delta)} f(x + \delta, t) dt}{b(x + \delta) - b(x)}
                \leqslant \max_{t \in [b(x); b(x + \delta)]} f(x + \delta, t)
            \]
            По непрерывности $f$ предыдущие минимум и максимум определены и
            \[
                \lim_{\delta \to 0} \min_{t \in [b(x); b(x + \delta)]} f(x + \delta, t)
                = \lim_{\delta \to 0} \max_{t \in [b(x); b(x + \delta)]} f(x + \delta, t)
                = f(x, b(x))
            \]
            Тогда 
            \[
                \lim_{\delta \to 0} \frac{\int_{b(x)}^{b(x + \delta)} f(x + \delta, t) dt}{b(x + \delta) - b(x)}
                = f(x, b(x))
            \]
            Отсюда следует требуемое.
        \end{proof}

        \begin{thlemma}
            \[
                \lim_{\delta \to 0} \frac{\int_{a(x)}^{b(x)} (f(x + \delta, t) - f(x, t)) dt}{\delta}
                = \int_{a(x)}^{b(x)} \frac{\partial}{\partial x} f(x, t) dt
            \]
        \end{thlemma}

        \begin{proof}
            Заметим, что для всяких $\delta$ и $t \in [a(x); b(x)]$ есть $\gamma_t(\delta) \in (0; \delta)$, что
            \[\frac{f(x + \delta, t) - f(x, t)}{\delta} = \frac{\partial}{\partial x} f(x +  \gamma_t(\delta), t)\]
            Тогда
            \[
                \frac{\int_{a(x)}^{b(x)} (f(x + \delta, t) - f(x, t)) dt}{\delta}
                = \int_{a(x)}^{b(x)} \frac{\partial}{\partial x} f(x + \gamma_t(\delta), t) dt
            \]
            Заметим, что
            \begin{align*}
                &\left|\int_{a(x)}^{b(x)} \frac{\partial}{\partial x} f(x + \gamma_t(\delta), t) dt - \int_{a(x)}^{b(x)} \frac{\partial}{\partial x} f(x, t) dt\right|\\
                \leqslant& \int_{a(x)}^{b(x)} \left|\frac{\partial}{\partial x} f(x + \gamma_t(\delta), t) - \frac{\partial}{\partial x} f(x, t)\right| dt\\
                \leqslant& \int_{a(x)}^{b(x)} \max_{y \in [x; x + \delta]} \left|\frac{\partial}{\partial x} f(y, t) - \frac{\partial}{\partial x} f(x, t)\right| dt\\
                \leqslant& (b(x) - a(x)) \max_{\substack{y \in [x; x + \delta]\\ t \in [a(x); b(x)]}} \left|\frac{\partial}{\partial x} f(y, t) - \frac{\partial}{\partial x} f(x, t)\right|\\
            \end{align*}
            Следовательно так как $\frac{\partial}{\partial x} f$ непрерывна, то $\frac{\partial}{\partial x} f(y, t) - \frac{\partial}{\partial x} f(x, t)$ непрерывна, а поэтому
            \[\lim_{\delta \to 0} \max_{\substack{y \in [x; x + \delta]\\ t \in [a(x); b(x)]}} \left|\frac{\partial}{\partial x} f(y, t) - \frac{\partial}{\partial x} f(x, t)\right| = 0\]
            и тогда
            \[
                \lim_{\delta \to 0} \int_{a(x)}^{b(x)} \frac{\partial}{\partial x} f(x + \gamma_t(\delta), t) dt
                = \int_{a(x)}^{b(x)} \frac{\partial}{\partial x} f(x, t) dt
            \]
            Таким образом получаем требуемое.
        \end{proof}

        Объединяя всё вышесказанное, получаем требуемое.
    \end{proof}

    \begin{corollary}
        Если взять функции $a$ и $b$ константными, то будет лишь условие на непрерывность $f$ и $\frac{\partial}{\partial x} f(x, t)$ на прямоугольнике $[x_0; x_1] \times [a; b]$, а мы получим, что
        \[\frac{d}{dx} \int_a^b f(x, t) dt = \int_a^b \frac{\partial}{\partial x} f(x, t) dt\]
    \end{corollary}

    \begin{theorem}
        Пусть дана непрерывная функция $f(x, y)$ на $[a; b] \times [c; d]$. Тогда интегралы
        \begin{align*}
            &\int_a^b \left(\int_c^d f(x, y) dy\right) dx&
            &\text{ и }&
            &\int_c^d \left(\int_a^b f(x, y) dx\right) dy
        \end{align*}
        определены и равны.
    \end{theorem}

    \begin{proof}
        Заметим, что $\int_a^t f(x, y) dx$ и $\int_c^s f(x, y) dy$ являются непрерывными функциями от $y$ и $x$ соответственно. Следовательно интегралы
        \begin{align*}
            &F(t, s) := \int_a^t \left(\int_c^s f(x, y) dy\right) dx&
            &\text{ и }&
            &G(t, s) := \int_c^s \left(\int_a^t f(x, y) dx\right) dy
        \end{align*}
        определены. При этом
        \[\frac{\partial}{\partial t} F(t, s) = \int_c^s f(t, y) dy\]
        и
        \[
            \frac{\partial}{\partial t} G(t, s)
            = \frac{\partial}{\partial t} \int_c^s \left(\int_a^t f(x, y) dx\right) dy
            = \int_c^s \frac{\partial}{\partial t} \left(\int_a^t f(x, y) dx\right) dy
            = \int_c^s f(t, y) dy
        \]
        Т.е. $\frac{\partial}{\partial t} F = \frac{\partial}{\partial t} G$.

        При этом несложно видеть, что $F(a, s) = G(a, s) = 0$, следовательно
        \[
            F(t, s)
            = \int_a^t \frac{\partial}{\partial t} F(x, s) dx + F(a, s)
            = \int_a^t \frac{\partial}{\partial t} G(x, s) dx + G(a, s)
            = G(t, s)
        \]
    \end{proof}

    % \begin{theorem}
    %     Пусть дана непрерывная функция $f$ на $[a; +\infty) \times [c; + \infty)$ константного знака. Пусть также
    %     \begin{align*}
    %         I_x(y) &:= \int_a^\infty f(x, y) dx&
    %         I_y(x) &:= \int_c^\infty f(x, y) dy
    %     \end{align*}
    %     определены при всех $y \in [c; + \infty)$ и $x \in [a; +\infty)$ и непрерывны там. Тогда
    %     \[
    %         \int_c^\infty \left(\int_a^\infty f(x, y) dx\right) dy
    %         = \int_a^\infty \left(\int_c^\infty f(x, y) dy\right) dx
    %     \]
    % \end{theorem}

    % \begin{theorem}
    %     Пусть дана непрерывная функция $f$ на $[a; +\infty) \times [c; + \infty)$. Пусть также
    %     \begin{align*}
    %         I_x(y) &:= \int_a^\infty f(x, y) dx&
    %         I_y(x) &:= \int_c^\infty f(x, y) dy
    %     \end{align*}
    %     определены при всех $y \in [c; + \infty)$ и $x \in [a; +\infty)$ и равномерно непрерывны на всяких отрезках $[a; b]$ и $[c; d]$ Соответственно. Тогда
    %     \[
    %         \int_c^\infty \left(\int_a^\infty f(x, y) dx\right) dy
    %         = \int_a^\infty \left(\int_c^\infty f(x, y) dy\right) dx
    %     \]
    % \end{theorem}

    \subsection{Кривые}

    \begin{definition}
        \emph{Кривая} --- непрерывное отображение отрезка $[0; 1]$ в любое топологическое пространство (например, $\RR^n$). 
    \end{definition}

    \todo[inline]{Кривая Пеано, тра-ля-ля...}

    \begin{definition}
        \emph{Длина кривой} $\tau$ --- значение
        \[\sup \left\{\sum_{k=1}^n d(\tau(x_{k-1}), \tau(x_k)) \mid n \in \NN \setminus \{0\} \wedge x_0 = 0 \wedge x_n = 1\right\}\]
    \end{definition}

    \begin{statement}
        Если дана кривая $\tau$ в $\RR^n$ и она дифференцируема по всем координатам, то её длина равна
        \[
            \int_0^1 \sqrt{\left(\frac{\partial}{\partial x_1} \tau(t)\right)^2 + \dots + \left(\frac{\partial}{\partial x_n} \tau(t)\right)^2} dt
            = \int_0^1 |\grad(\tau(t))| dt
        \]
    \end{statement}

    \section{Кривые}

    \begin{definition}
        \emph{$n$-мерная кривая} --- непрерывное отображение $f: [a; b] \to \RR^n$.
    \end{definition}

    \begin{definition}
        \emph{Вариация} функции $f: S \to \RR^n$ ($S \subseteq \RR$) на отрезке $[a; b] \subseteq S$ --- величина
        \[V_f([a; b]) := \sup_\Sigma \sum_{k=1}^{m} |f(x_k) - f(x_{k-1})|,\]
        где нахождение супремума производится во всем разбиениям $\Sigma = \{[x_k; x_{k-1}]\}_{k=1}^m$ отрезка $[a; b]$, а $|X - Y|$ --- евклидово расстояние между точками $\RR^n$ ($X - Y$ --- поточечная разница, а $|X|$ --- евклидов модуль вектора).
    \end{definition}

    \begin{remark*}
        Неформально говоря, $V_f([a; b])$ --- длина кривой $f|_{[a; b]}$.
    \end{remark*}

    \begin{lemma}\ 
        \begin{enumerate}
            \item Если $f: \RR \to \RR$ монотонна, то $V_f([a; b]) = |f(a) - f(b)|$.
            \item $V_f([a; b]) = 0$ тогда и только тогда, когда $f|_{[a; b]} \equiv \const$.
            \item $V_{f+g} \leqslant V_f + V_g$.
            \item Для всяких $a \leqslant b \leqslant c$ верно $V_f([a; c]) = V_f([a; b]) + V_f([b; c])$.
        \end{enumerate}
    \end{lemma}

    \begin{lemma}
        Будем рассматривать функции $[a; b] \to \RR$.
        \begin{enumerate}
            \item Функция, представимая в виде разницы двух монотонных функций, имеет конечную вариацию.
            \item Функция, имеющая конечную вариацию, представима в виде разницы двух монотонных функций.
        \end{enumerate}
        Таким образом мы получаем, что функция имеет конечную вариацию тогда и только тогда, когда представима в виде разницы двух ограниценных функций.
    \end{lemma}

    \begin{proof}\ 
        \begin{enumerate}
            \item Так как $f_1$ и $-f_2$ имеют ограниченные вариации, то вариация их суммы, ограниченная сверху суммой их вариаций, тоже ограничена.
            \item Рассмотрим функции
                \[\varphi(x) := V_f([a; x]) \qquad \text{ и } \qquad h := \varphi - f.\]
                Понятно, что тогда $f = \varphi - h$, а $\varphi$ не убывает. При этом для всяких $x \leqslant y \in [a; b]$
                \[
                    f(y) - f(x) \leqslant V_f([x; y]) = \varphi(y) - \varphi(x)
                    \qquad \Longrightarrow \qquad
                    h(x) = \varphi(x) - f(x) \leqslant \varphi(y) - f(y) = h(y),
                \]
                т.е. $h$ тоже не убывает.
        \end{enumerate}
    \end{proof}

    \begin{lemma}
        Пусть $g: [a; b] \to [c; d]$ --- непрерывная биекция (следовательно строго монотонная). Тогда для всякой функции $f$
        \[V_f([c; d]) = V_{f \circ g}([a; b]).\]
    \end{lemma}

    \begin{lemma}
        Пусть $f$ --- гладкая функция $[a; b] \to \RR^n$ (т.е. $f = (f_i)_{i=1}^n$, где каждая $f_i$ гладка). Тогда
        \[V_f([a; b]) = \int_a^b \sqrt{\sum_{i=1}^n f_i'(x)^2} dx.\]
    \end{lemma}

    \begin{proof}
        Понятно, что
        \[
            V_f([a; b])
            = \sup_\Sigma \sum_{k=1}^m \sqrt{\sum_{i=1}^n (f_i(x_k) - f_i(x_{k-1}))^2}
        \]
        где $\Sigma = \{[x_k; x_{k-1}]\}_{k=1}^m$ --- разбиение $[a; b]$. Следовательно есть последовательность разбиений $\{\Sigma_l\}_{l=0}^\infty$, что супремум совпадает с пределом по этой последовательности (того же выражения). При этом понятно, что при замене разбиения на подразбиение выражение не уменьшается. Следовательно можно считать, что $\Sigma_{l+1}$ --- подразбиение $\Sigma_l$, а длины отрезков в разбиении $\Sigma_l$ не больше $1/2^l$. При этом
        \[
            \lim_{\{\Sigma\}_{l=0}^\infty} \sum_{k=1}^m \sqrt{\sum_{i=1}^n (f_i(x_k) - f_i(x_{k-1}))^2}
            = \lim_{\{\Sigma\}_{l=0}^\infty} \sum_{k=1}^m (x_k - x_{k-1}) \sqrt{\sum_{i=1}^n f'_i(\xi_{i, k})^2}
        \]
        где для разбиения $\Sigma_l$ для всяких $x_k$, $x_{k-1}$ и $f_i$ строится $\xi_{i, k} \in [x_{k-1}; x_k]$ по теореме \ref{Lagrange-theorem}. Таким образом, если описанный интеграл сходится, то последний предел с ним совпадает по определению интеграла Римана.

        Ну а интеграл сходится, так как подинтегральная функция непрерывна.
    \end{proof}

    \begin{definition}
        Пусть дана непрерывная функция $f: [a; b] \to \RR^n$. \emph{Естественной параметризацией} $f$ называется функция $f \circ \psi$, где $\psi: [0; \alpha] \to [a; b]$ --- возрастающая биекция, а
        \[V_{f \circ \psi}([0; x]) = x.\]
    \end{definition}

    \begin{definition}
        Непрерывная функция $f: [a; b] \to \RR^n$ называется \emph{путём без остановок}, если $f$ не константна ни на каком интервале.
    \end{definition}

    \begin{lemma}
        Путь с ограниченной вариацией $f: [a; b] \to \RR^n$ не имеет остановок тогда и только тогда, когда обратима функция
        \[\varphi: [a; b] \to \RR, x \mapsto V_f([a; x]).\] 
    \end{lemma}

    \begin{theorem}
        У пути $f: [a; b] \to \RR^n$ имеется естественная параметризация тогда и только тогда, когда $f$ имеет конечную вариацию и не имеет остановок.
    \end{theorem}

    \begin{proof}
        Из существования естественной параметризации очевидным образом выходит конечность вариации и отсутствие остановок. Если $f$ имеет конечную вариацию, то функция
        \[\varphi: [a; b] \to \RR, x \mapsto V_f([a; x])\]
        корректно определена (и монотонна). А из отсутствия остановок следует, что $\varphi$ --- биекция $[a; b] \to [0; \alpha]$ для некоторого $\alpha$. Пусть $\psi := \varphi^{-1}$. Тогда
        \[V_{f \circ \psi}([0; x]) = V_f([a; \psi(x)]) = \varphi(\psi(x)) = x,\]
        т.е. $f \circ \psi$ --- естественная параметризация $f$.
    \end{proof}

    \begin{remark*}
        Если $g$ --- естественная параметризация $f$, то для всяких $0 \leqslant c \leqslant d$
        \[V_g([c; d]) = d - c.\]
        В таком случае $|g'| = 1$.
    \end{remark*}

    \section{Тригонометрия}

    \begin{theorem}
        Рассмотрим функцию $\Gamma: \RR \to S^1 = \{z \in \CC \mid |z| = 1\}$, что
        \begin{itemize}
            \item $\Gamma(0) = 1$,
            \item $\Gamma \in C^1$ и $|\Gamma'| = 1$,
            \item $\Gamma'(0) = i$.
        \end{itemize}
        \begin{enumerate}
            \item Такая функция не более чем единственна.
            \item Такая функция существует.
            \item Такая функция является естественной параметризацией кривой.
        \end{enumerate}
    \end{theorem}

    \begin{proof}
        Пусть дана $\Gamma$, удовлетворяющая данному условию. Заметим, что $\Gamma(t) \in S^1$ тогда и только тогда, когда $\Gamma(t) \overline{\Gamma}(t) = 1$. Дифференцируя последнее, получаем
        \[
            \Gamma'(t) \overline{\Gamma}(t) + \Gamma(t) \overline{\Gamma}'(t) = 0,
            \qquad \text{т.е.} \qquad
            2\Re(\overline{\Gamma}'(t)\Gamma(t)) = 0.
        \]
        Следовательно $\Gamma(t)\overline{\Gamma}'(t) = i h(t)$, где $h(t) \in \RR$. Вспоминая, что $|\Gamma| = |\Gamma'| = 1$, получаем, что $h(t) \equiv \pm 1$. При этом $h(0) = \Gamma(0)\overline{\Gamma}'(0)/i = -1$. Следовательно
        \[\Gamma'(t) = i \Gamma(t).\]
        Таким образом всякое решение удовлетворяет полученному дифференциальному уравнению, а следовательно бесконечно дифференцируема: $\Gamma^{(n)} = i^n \Gamma$.
        
        \begin{enumerate}
            \item Пусть есть две функции $\Gamma_1$ и $\Gamma_2$ удовлетворяют условиям на $\Gamma$. Тогда заметим, что
                \[
                    \left(\Gamma_1 \overline{\Gamma_2}\right)'
                    = \Gamma_1' \overline{\Gamma_2} + \Gamma_1 \overline{\Gamma_2}'
                    = i\Gamma_1 \overline{\Gamma_2} + \Gamma_1 \overline{i \Gamma_2}
                    = 0.
                \]
                Таким образом $\Gamma_1 \overline{\Gamma_2} = \const = \Gamma_1(0) \overline{\Gamma_2}(0) = 1$. Следовательно $\Gamma_1 = \Gamma_2$.
            \item Рассмотрим функцию
                \[\Gamma: \RR \to S^1, x \mapsto \exp(xi) = \sum_{k=0}^\infty \frac{(xi)^k}{k!}.\]
                Заметим, что данный ряд абсолютно сходится на всём $\RR$, значит $\Gamma$ бесконечно дифференцируема на всём $\RR$. Теперь заметим следующее.
                \begin{itemize}
                    \item Так как $\exp(-xi) = \exp(\overline{xi}) = \overline{\exp(xi)}$, то
                        \[\Re(\Gamma(x)) = \frac{\exp(xi) + \exp(-xi)}{2}, \qquad \Im(\Gamma(x)) = \frac{\exp(xi) - \exp(-xi)}{2i}.\]
                        Следовательно
                        \begin{align*}
                            |\Gamma(x)|
                            &= \Re(\Gamma(x))^2 + \Im(\Gamma(x))^2\\
                            &= \frac{(\exp(xi) + \exp(-xi))^2}{4} - \frac{(\exp(xi) - \exp(-xi))^2}{4}\\
                            &= \exp(xi)\exp(-xi)\\
                            &= 1.\\
                        \end{align*}
                    \item $\Gamma(0) = \exp(0) = 1$.
                    \item $\Gamma \in C^\infty$ и $\Gamma' = (\exp(xi))' = i\exp'(xi) = i \exp(xi) = i \Gamma$.
                    \item $|\Gamma'| = |i| |\Gamma| = 1$.
                    \item $\Gamma'(0) = i \Gamma(0) = i$.
                \end{itemize}
                Таким оразом данная функция удовлетворяет условиям на $\Gamma$.
            \item Поскольку $|\Gamma'| = 1$, то
                \[V_\Gamma([a; b]) = \int_a^b |\Gamma'(x)|dx = \int_a^b dx = b-a.\]
        \end{enumerate}
    \end{proof}
    
    \begin{definition}
        Рассматривая функцию $\Gamma$ выше, определим
        \[\cos(x) := \Re(\Gamma(x)) \qquad \text{ и } \qquad \cos(x) := \Re(\Gamma(x)).\]
    \end{definition}

    \section{Многомерный анализ}

    \subsection{Дифференцируемость}

    \begin{definition}
        Функция $f: \RR^m \to \RR^n$ называется \emph{дифференцируемой} в точке $x_0$, если есть некоторая линейная отображение (векторных пространств) $L: \RR^m \to \RR^n$, что для всякой точки $x$ верно, что
        \[f(x) = f(x_0) + L(x - x_0) + o(\|x-x_0\|).\]
        $L$ называется \emph{дифференциалом} $f$ в точке $x$ и обозначается $d_{x_0} f$.
    \end{definition}

    \begin{remark}\ 
        \begin{itemize}
            \item Дифференциал не более чем единственен. Действительно, если
                \[f(x) = f(x_0) + L_1(x - x_0) + o(\|x-x_0\|) = f(x_0) + L_2(x - x_0) + o(\|x-x_0\|),\]
                то
                \[(L_1-L_2)(x - x_0) = o(\|x-x_0\|),\]
                что означает тривиальность $L_1 - L_2$, т.е. равенство $L_1 = L_2$.
            \item Дифференциал линеен. Действительно, если $L$ и $M$ --- дифференциалы $f$ и $g$ в точке $x_0$, а $\alpha, \beta \in \RR$, то
                \begin{align*}
                    (\alpha f + \beta g)(x)
                    &= \alpha f(x) + \beta g(x)\\
                    &= \alpha (f(x_0) + L(x - x_0) + o(\|x-x_0\|)) + \beta (g(x_0) + M(x-x_0) + o(\|x-x_0\|))\\
                    &= (\alpha f + \beta g)(x_0) + (\alpha L + \beta M)(x - x_0) + o(\|x-x_0\|)
                \end{align*}
        \end{itemize}
    \end{remark}

    \subsection{Нормирование линейных операторов}

    Попробуем ввести норму на пространстве линейных операторов $\RR^{m \times n}$.

    \begin{definition}
        \emph{Евклидова норма} --- норма, определённая на пространстве операторов $\RR^{m \times n}$ по правилу
        \[\|L\| := \sqrt{\sum_{i=1}^m \sum_{j=1}^n L_{i,j}^2}.\]
    \end{definition}

    \begin{definition}
        \emph{Операторная норма} --- норма определённая на пространстве операторов $\RR^{m \times n}$ по правилу
        \begin{align*}
            \|L\|
            :&= \sup_{\|v\| \leqslant 1} \|L(v)\|&
            &= \sup_{\|v\| < 1} \|L(v)\|&
            &= \sup_{\|v\| = 1} \|L(v)\|\\
            &= \sup_{\|v\| \neq 0} \frac{\|L(v)\|}{\|v\|}&
            &= \inf \{c \geqslant 0 \mid \forall v \in \RR^m \quad \|L(v)\| \leqslant c\|v\|\}
        \end{align*}
        (при этом во всех случаях кроме случая с $\|v\| < 1$ можно заменить $\sup$ и $\inf$ на $\max$ и $\min$ соответственно).
    \end{definition}

    Пока будем рассматривать операторную норму.

    \begin{lemma}
        Пусть даны линейные операторы $A: \RR^m \to \RR^n$ и $B: \RR^k \to \RR^m$. Тогда $\|AB\| \leqslant \|A\| \cdot \|B\|$.
    \end{lemma}

    \begin{proof}
        Действительно,
        \[\forall v \in \RR^k \qquad \|(AB)(v)\| = \|A(B(v))\| \leqslant \|A\| \|B(v)\| \leqslant \|A\| \|B\| \|v\|,\]
        откуда $\|AB\| \leqslant \|A\| \cdot \|B\|$.
    \end{proof}

    \begin{lemma}
        Пусть дан линейный оператор $A: \RR^n \to \RR^m$. TFAE
        \begin{enumerate}
            \item Ядро $A$ тривиально.
            \item Существует $\varepsilon > 0$, что для всякого $v \in \RR^n$
                \[\|A(v)\| \geqslant \varepsilon \|v\|.\]
        \end{enumerate}
    \end{lemma}

    \begin{proof}
        Понятно, что для всякого $\lambda \in \RR$ выполнено
        \[\|A(v)\| \geqslant \varepsilon \|v\| \qquad \Longrightarrow \qquad \|A(\lambda v)\| = \|\lambda A(v)\| = |\lambda| \|A(v)\| \geqslant \lambda \varepsilon \|v\| = \varepsilon \|\lambda v\|.\]
        Значит условие на $\varepsilon$ можно сузить до условий для $v$ с $\|v\| = 1$.

        Множество получившихся $v$ образуют единичную сферу --- компактное множество. Таким образом искомое $\varepsilon$ существует тогда и только тогда, когда существует $\varepsilon > 0$, что для функции
        \[f: \{v \in \RR^n \mid \|v\| = 1\} \to \RR, v \mapsto \frac{\|A(v)\|}{\|v\|} = \|A(v)\|\]
        верно неравенство
        \[f \geqslant \varepsilon.\]
        А так как $f$ непрерывна (так как $A$ и $\|v\|$ непрерывны) и определена на компакте, то принимает на нём минимум. Т.е. есть $v \in \RR^n \setminus \{\vec{0}\}$, что
        \[\frac{\|A(v)\|}{\|v\|} = \min(f).\]
        Таким образом если $\min(f) > 0$, то такое $\varepsilon$, очевидно, существует; в противном случае есть $v \in \RR^n \setminus \{\vec{0}\}$, что $\|A(v)\| = 0$, т.е. $A(v) = \vec{0}$, т.е. $A$ имеет нетривиальное ядро.
    \end{proof}

    \begin{lemma}\label{composition-differential-lemma}
        Пусть даны $f: U \to \RR^m$ и $g: V \to \RR^k$, где $U \subseteq \RR^n$ и $V \subseteq \RR^m$ --- окрестности $x_0$ и $f(x_0)$. Пусть также известно, что $f$ и $g$ дифференцируемы в $x_0$ и $f(x_0)$ и $A$ и $B$ --- их дифференциалы соответственно. Тогда $g \circ f$ дифференцируема в $x_0$, а $BA$ --- её дифференициал в $x_0$.
    \end{lemma}

    \begin{proof}
        Действительно,
        \begin{align*}
            (g \circ f)(x)
            &= g(f(x))\\
            &= g(f(x_0) + A(x-x_0) + o(x-x_0))\\
            &= g(f(x_0)) + B(A(x-x_0) + o(x-x_0)) + o(A(x-x_0) + o(x-x_0))\\
            &= g(f(x_0)) + B(A(x-x_0)) + o(x-x_0) + o(x-x_0)\\
            &= (g \circ f)(x_0) + (B \circ A)(x-x_0) + o(x-x_0)\\
        \end{align*}

        Для завершения уточним лишь, что для всякого линейного оператора $L$
        \[\|L(v)\| \leqslant \|L\| \|v\| = O(v),\]
        и следовательно
        \[\|L(o(v))\| = O(o(v)) = o(v).\]
        И поскольку $o(O(f)) = o(f)$, то
        \[B(A(x-x_0) + o(x-x_0)) = B(A(x-x_0)) + B(o(x-x_0)) = B(A(x-x_0)) + o(x-x_0),\]
        а
        \[o(A(x-x_0) + o(x-x_0)) = o(O(x-x_0) + o(x-x_0)) = o(O(x-x_0)) = o(x-x_0).\]
    \end{proof}

    \begin{lemma}\label{range-degree-reduction-in-differentiability-questions-lemma}
        Функция $f: \RR^n \to \RR^m$ можно покоординатно разложить как $(f_i)_{i=1}^m$. Тогда $f$ дифференцируема в точке $x_0$ тогда и только тогда, когда все $f_i$ дифференцируемы в $x_0$.
    \end{lemma}

    \begin{proof}
        Действительно, если $f$ дифференцируема, то $f_i$ дифференцируема как композиция $f$ и координатной проекции --- линейной функции, т.е. везде одинаково дифференцируемой. Если же все $f_i$ дифференцируемы, то, понятно, дифференцируемы и все $f_i \bar{e}_i$, а значит дифференцируема и
        \[f = \sum_{i=1}^m f_i \bar{e}_i.\]
    \end{proof}

    \begin{definition}
        \emph{Частная производная} $f: \RR^n \to \RR$ по $x_k$ в точке $\bar{x}_0 = (x_{0, i})_{i=1}^n$ ---
        \[\left. \frac{\partial f}{\partial x_k} \right|_{\bar{x}_0} := g'(x_{0, k}),\]
        где
        \[g(t) := f(x_{0, 1}, \dots, x_{0, k-1}, t, x_{0, k+1}, \dots, x_{0, n}).\]
        Если рассматривать частную производную как функцию, то
        \[\frac{\partial f}{\partial x_k} := \frac{d}{dt} f(x_1, \dots, x_{k-1}, t, x_{k+1}, \dots, x_n).\]
    \end{definition}

    \begin{definition}
        \emph{Градиент} функции $f: \RR^n \to \RR$ в точке $\bar{x}_0$ ---
        \[(\grad f)(x_0) := \left(\left. \frac{\partial f}{\partial x_k} \right|_{\bar{x}_0}\right)_{k=1}^n.\]
        Если рассматривать градиент как функцию, то
        \[\grad f := \left(\frac{\partial f}{\partial x_k}\right)_{k=1}^n.\]
    \end{definition}

    \begin{definition}
        Пусть имеется функция $f: \RR^n \to \RR$ и вектор $e \in \RR^n$, что $\|e\| = 1$. $f$ \emph{дифференцируема по направлению $e$} в точке $x_0 \in \RR^n$, если дифференцируема в нуле функция
        \[g(t) := f(x_0 + t e).\]
        При этом \emph{производной} $f$ \emph{по направлению $e$} в точке $\bar{x}_0$ называется $g'(0)$.
    \end{definition}

    \begin{lemma}
        Пусть дана дифференцируемая в $\bar{x}_0$ функция $f: \RR^n \to \RR$.
        \begin{enumerate}
            \item Частные производные $f$ в $\bar{x}_0$ определены по всем координатам.
            \item В точке $\bar{x}_0$ верно, что
                \[df = (\grad f) \cdot dx.\]
            \item Производная $f$ в точке $x_0$ по направлению $e$ равна
                \[(\grad f) \cdot e.\]
            \item
                \[\|df\| = \|\grad(f)\|.\]
        \end{enumerate}
    \end{lemma}

    \begin{proof}
        \begin{enumerate}
            \item Пусть $L$ --- дифференциал $f$ в $\bar{x}_0$. В таком случае
                \begin{align*}
                    \frac{\partial f}{\partial x_k}
                    &= \lim_{\varepsilon \to 0} \frac{f(x_{0, 1}, \dots, x_{0, k-1}, x_{0, k} + \varepsilon, x_{0, k+1}, \dots, x_{0, n}) - f(x_0)}{\varepsilon}\\
                    &= \lim_{\varepsilon \to 0} \frac{f(x_0 + \varepsilon e_k) - f(x_0)}{\varepsilon}\\
                    &= \lim_{\varepsilon \to 0} \frac{L(\varepsilon e_k) + o(\varepsilon e_k)}{\varepsilon}\\
                    &= \lim_{\varepsilon \to 0} \frac{\varepsilon L(e_k) + o(\varepsilon)}{\varepsilon}\\
                    &= \lim_{\varepsilon \to 0} L(e_k) + o(1)
                \end{align*}
                Последний предел по понятным причинам сходится.
            \item Пусть $p_k$ --- проекция на координату $x_k$. Понятно, что
                \[
                    L\left(\sum_{k=1}^n \alpha_k e_k\right)
                    = \sum_{k=1}^n \alpha_k L(e_k)
                    = \sum_{k=1}^n p_k\left(\sum_{i=1}^n \alpha_i e_i\right) L(e_k)
                    = \left(\sum_{k=1}^n L(e_k) p_k\right)\left(\sum_{i=1}^n \alpha_i e_i\right),
                \]
                т.е.
                \[L = \sum_{k=1}^n L(e_k) p_k = \sum_{k=1}^n \left.\frac{\partial f}{\partial x_k}\right|_{\bar{x}_0} p_k.\]
                При этом $L = d_{\bar{x}_0}f$, а $p_k := d_{\bar{x}_0}x_k$, и поэтому
                \[
                    d_{x_0}f
                    = \sum_{k=1}^n \left.\frac{\partial f}{\partial x_k}\right|_{\bar{x}_0} d_{\bar{x}_0}x_k
                    = \left(\left.\frac{\partial f}{\partial x_k}\right|_{\bar{x}_0}\right)_{k=1}^n \cdot (d_{\bar{x}_0}x_k)_{k=1}^n
                    = \left.(\grad f)\right|_{\bar{x}_0} \cdot d_{\bar{x}_0}x.
                \]
                Это в общей форме (не зависимо от $\bar{x}_0$) можно переписать как
                \[df = (\grad f) \cdot dx.\]
            \item Повторим трюк:
                \begin{align*}
                    &\phantom{={}} \lim_{\varepsilon \to 0} \frac{f(x_0 + \varepsilon e) - f(x_0)}{\varepsilon}\\
                    &= \lim_{\varepsilon \to 0} \frac{L(\varepsilon e) + o(\varepsilon e)}{\varepsilon}\\
                    &= \lim_{\varepsilon \to 0} \frac{\varepsilon L(e) + o(\varepsilon)}{\varepsilon}\\
                    &= \lim_{\varepsilon \to 0} L(e) + o(1).
                \end{align*}
                Таким образом искомая производная по направлению равна
                \[L(e) = ((\grad f) \cdot dx)(e) = (\grad f) \cdot dx(e) = (\grad f) \cdot e.\]
            \item Несложно видеть, что
                \[
                    \|d_{\bar{x}_0}f\|
                    = \sup_{|e| = 1} \|d_{\bar{x}_0}f(e)\|
                    = \sup_{|e| = 1} \|(\grad f)|_{\bar{x}_0} \cdot e\|.
                \]
                При этом
                \[
                    \|(\grad f)|_{\bar{x}_0} \cdot e\|
                    \leqslant \|(\grad f)|_{\bar{x}_0}\| \cdot \|e\|
                    = \|(\grad f)|_{\bar{x}_0}\|,
                \]
                а равенство достигается, например, при
                \[e := \frac{(\grad f)|_{\bar{x}_0}}{\|(\grad f)|_{\bar{x}_0}\|}.\]
                Следовательно
                \[
                    \|d_{\bar{x}_0}f\|
                    = \sup_{|e| = 1} \|(\grad f)|_{\bar{x}_0} \cdot e\|
                    = \|(\grad f)|_{\bar{x}_0}\|.
                \]
        \end{enumerate}
    \end{proof}

    \begin{example}
        % При этом существование ``очень правильных'' производных по всем направлениям в некоторой точке (в частности частных производных) не означает дифференцируемость. Например, возьмём
        % \[f(x, y) := \frac{x^4}{x^3 + y^2}, \qquad \bar{x}_0 := (0, 0).\]
        % Тогда если $x = ty$, то
        % \[
        %     \lim_{(x, y) \to (0, 0)} \frac{f(x, y)}{\sqrt{x^2 + y^2}}
        %     = \lim_{y \to 0} \frac{t^4 y^4}{y^2 (1 + t^3 y)} \cdot \frac{1}{y \sqrt{t^2 + 1}}
        %     = \lim_{y \to 0} \frac{t^4 y}{(1 + t^3 y)\sqrt{t^2 + 1}}
        %     = 0,
        % \]
        % если $y = 0$, то
        % \[
        %     \lim_{(x, y) \to (0, 0)} \frac{f(x, y)}{\sqrt{x^2 + y^2}}
        %     = \lim_{x \to 0} \frac{0}{x}
        %     = 0,
        % \]
        % а если $x^2 = ty$, то
        % \[
        %     \lim_{(x, y) \to (0, 0)} \frac{f(x, y)}{\sqrt{x^2 + y^2}}
        %     = \lim_{y \to 0} \frac{t y^2 \sqrt{ty}}{y^2 (1 + t^2)} \frac{1}{\sqrt{ty + y^2}}
        %     = \lim_{y \to 0} \frac{t^{3/2} y}{(1 + t^4 y^2)\sqrt{t^2 + 1}}
        %     = 0,
        % \]
        \todo[inline]{Привести пример, когда в точке есть производные по всем направлениям (и, может, даже в одной плоскости), но нет производной.}
    \end{example}

    \begin{definition}
        \emph{Матрица Якоби} функции $f: \RR^n \to \RR^m$ --- матрица
        \[
            \begin{pmatrix}
                \frac{\partial f_1}{\partial x_1}& \dots& \frac{\partial f_1}{\partial x_n}\\
                \vdots& \ddots& \vdots\\
                \frac{\partial f_m}{\partial x_1}& \dots& \frac{\partial f_m}{\partial x_n}\\
            \end{pmatrix}
        \]
        Поскольку элементы матрицы являются функциями, то вместо просто обозначения матрицы (например, ``$J$'') пишут зависимость от аргумента $f$ (т.е. ``$J(v)$'').
    \end{definition}

    \begin{lemma}\ 
        \begin{enumerate}
            \item Пусть дана функция $f: \RR^n \to \RR^m$, дифференцируемая в точке $\bar{x}_0$, и её матрица Якоби $J$. Тогда
                \[d_{\bar{x}_0}f = J(\bar{x}_0).\]
            \item Пусть даны функции $f: \RR^n \to \RR^m$ и $g: \RR^m \to \RR^l$, дифференцируемые в точках $\bar{x}_0$ и $f(\bar{x_0})$ соответственно, и их матрицы Якоби $J_f$ и $J_g$ соответственно. Тогда для матрицы Якоби функции $g \circ f$ верно, что
                \[J_{g \circ f}(\bar{x_0}) = J_g(f(\bar{x}_0)) J_f(\bar{x}_0).\]
                Как следствие, это означает, что
                \[J_{g \circ f} = (J_g \circ f) \cdot J_f.\]
        \end{enumerate}
    \end{lemma}

    \begin{proof}
        \begin{enumerate}
            \item Повторим, что для каждого $t \in [1; m]$
                \[f_t(\bar{x}) = f_t(\bar{x}_0) + d_{\bar{x}_0}f_t(\bar{x} - \bar{x}_0) + o(\bar{x} - \bar{x}_0).\]
                Отсюда сразу получаем
                \begin{align*}
                    f(\bar{x})
                    &= \begin{pmatrix}
                        f_1(\bar{x})\\
                        \vdots\\
                        f_m(\bar{x})
                    \end{pmatrix}\\
                    &= \begin{pmatrix}
                        f_1(\bar{x}_0)\\
                        \vdots\\
                        f_m(\bar{x}_0)
                    \end{pmatrix}
                    + \begin{pmatrix}
                        d_{\bar{x}_0}f_1(\bar{x}-\bar{x}_0)\\
                        \vdots\\
                        d_{\bar{x}_0}f_m(\bar{x}-\bar{x}_0)
                    \end{pmatrix}
                    + \begin{pmatrix}
                        o(\bar{x}-\bar{x}_0)\\
                        \vdots\\
                        o(\bar{x}-\bar{x}_0)
                    \end{pmatrix}\\
                    &= f(\bar{x}_0)
                    + \begin{pmatrix}
                        (\grad f_1 |_{\bar{x}_0}) \cdot (\bar{x}-\bar{x}_0)\\
                        \vdots\\
                        (\grad f_m |_{\bar{x}_0}) \cdot (\bar{x}-\bar{x}_0)
                    \end{pmatrix}
                    + o(\bar{x}-\bar{x}_0)\\
                    &= f(\bar{x}_0)
                    + \begin{pmatrix}
                        \grad f_1 |_{\bar{x}_0}\\
                        \vdots\\
                        \grad f_m |_{\bar{x}_0}
                    \end{pmatrix}
                    \cdot (\bar{x}-\bar{x}_0) + o(\bar{x}-\bar{x}_0)\\
                    \intertext{(но поскольку матрица, строки которой суть градиенты $f_i$, является матрицей Якоби функции $f$)}
                    &= f(\bar{x}_0) + J(\bar{x}_0) \cdot (\bar{x}-\bar{x}_0) + o(\bar{x}-\bar{x}_0)\\
                \end{align*}
            \item Прямо следует из леммы \ref{composition-differential-lemma}.
        \end{enumerate}
    \end{proof}

    \begin{theorem}
        Пусть дана функция $f: U \to \RR^m$, где $U \subseteq \RR^n$ --- окрестность $\bar{x}_0$. Пусть также все частные производные $f$ определены в $V$ и непрерывны в точке $\bar{x}_0$. Тогда $f$ дифференцируема в $\bar{x_0}$.
    \end{theorem}

    \begin{proof}
        По лемме \ref{range-degree-reduction-in-differentiability-questions-lemma} можно считать $m = 1$. Тогда
        \begin{align*}
            f(\bar{x})
            &= f(x_1, \dots, x_n)\\
            &= f(\bar{x}_0) + \sum_{k=1}^n f(x_{0, 1}, \dots, x_{0, k-1}, x_k, \dots, x_n) - f(x_{0, 1}, \dots, x_{0, k}, x_{k+1}, \dots, x_n);\\
            \intertext{по {\hyperref[Lagrange-theorem]{теореме Лагранжа}} имеем, что для каждой разницы в сумме есть $\xi_k \in (x_k; x_{0, k})$, что}
            &= f(\bar{x}_0) + \sum_{k=1}^n \left. \frac{\partial f}{\partial x_k} \right|_{(x_{0, 1}, \dots, x_{0, k-1}, \xi_k, x_{k+1}, \dots, x_n)} (x_k - x_{0, k});\\
            \intertext{поскольку точки, в которых берутся значения частных производных находятся от $\bar{x}_0$ не дальше, чем $\bar{x}$ от $\bar{x}_0$, то по непрерывности сами значения частных производных приближаются значениями в $\bar{x}_0$ при помощи $o(1)$:}
            &= f(\bar{x}_0) + \sum_{k=1}^n \left(\left. \frac{\partial f}{\partial x_k} \right|_{\bar{x}_0} + o(1)\right) (x_k - x_{0, k})\\
            &= f(\bar{x}_0) + \grad f|_{\bar{x}_0} \cdot (\bar{x} - \bar{x}_0) + o(\bar{x} - \bar{x}_0).\\
        \end{align*}
        Следовательно в качестве искомого дифференциала подойдёт линейный оператор
        \[v \mapsto (\grad f)(\bar{x}_0) \cdot v.\]
    \end{proof}

    \begin{theorem}
        Пусть дана гладкая (т.е. все частные производные (или, что равносильно, дифференциал) определены и непрерывны) $f: U \to \RR$, где $U$ --- некоторое открытое множество. Пусть известно, что $\bar{x}_0 \in U$ --- точка локального минимума (максимума). Тогда $\grad f|_{\bar{x}_0} = 0$.
    \end{theorem}

    \begin{proof}
        Заменой $f$ на $-f$ можно свести задачу максимума к задаче минимума, а заменой $U$ на окрестность $\bar{x}_0$, где достигается локальная минимальность можно получить, что $\bar{x}_0$ --- точка минимума на всём $U$.

        Предположим противное: $\grad f|_{\bar{x}_0} \neq 0$. Рассмотрим направление
        \[e := \frac{\grad f|_{\bar{x}_0}}{\Bigl|\grad f|_{\bar{x}_0}\Bigr|}.\]
        Заметим, что
        \[
            f(\bar{x}_0 + te) - f(\bar{x}_0)
            = d_{\bar{x}_0}f(te) + o(te)
            = (d_{\bar{x}_0}f(e) + o(1))t.
        \]
        При этом
        \[
            d_{\bar{x}_0}f(e)
            = \grad f|_{\bar{x}_0} \cdot e
            = \frac{\Bigl(\grad f|_{\bar{x}_0}\Bigr)^2}{\Bigl|\grad f|_{\bar{x}_0}\Bigr|}
            = \Bigl|\grad f|_{\bar{x}_0}\Bigr|
            > 0,
        \]
        откуда значит, что есть окрестность нуля (по $t$), где $d_{\bar{x}_0}f(e) + o(1) > 0$. Также есть окрестность нуля, в которой $\bar{x}_0 + te \in U$. Значит, беря в пересечении этих окрестностей отрицательное $t$, имеем, что
        \[f(\bar{x}_0 + te) < f(\bar{x}_0),\]
        т.е. $\bar{x}_0$ не является точкой минимума в $U$ --- противоречие.
    \end{proof}

    \begin{theorem}[об обратном отображении]
        Пусть $f: G \to \RR^n$ --- гладкая на $G$ функция, где $G \subseteq \RR^n$ открыто. %Пусть дифференциал $A$ функции $f$ в точке $\bar{x}_0$ невырожден (имеет тривиальное ядро, или же $\det A \neq 0$).
        \begin{enumerate}
            \item У всякой точки $\bar{x}_0 \in G$ есть окрестность, где $f$ липшицева.
            \item У всякой точки $\bar{x}_0 \in G$, в которой дифференциал невырожден (т.е. имеет тривиальное ядро, т.е. $\det d_{\bar{x}_0} f \neq 0$), есть окрестность, где $f$ билипшицева.
            \item Пусть дано открытое $V \subseteq G$, что $f$ на нём билипшицева, а $df$ не вырождается на нём. Тогда для всякой точки $x_0 \in V$ верно, что $f(x_0)$ является внутренней точкой $f(V)$. И следовательно $f(V)$ открыто.
            \item Для всякой точки $\bar{x}_0 \in G$, в которой дифференциал невырожден, существует окрестность $V \subseteq G$ точки $\bar{x}_0$ и функция $g: H \to \RR^n$, что $H \subseteq \RR^n$ открыто, $f(V) \subseteq H$ и
                \[g \circ f|_V = \Id_V.\]
            \item $g$ дифференцируема в $f(\bar{x}_0)$ и дифференциал в этой точке равен $A^{-1}$. Как следствие $g$ дифференцируема на $f(V)$ и
                \[dg = df^{-1} \circ f^{-1}.\]
        \end{enumerate}
    \end{theorem}

    \todo[inline]{Разделить теорему на две: про существование у точки при определённых условиях ``хорошей'' окрестности и про обратимость функции на ``хорошем'' открытом множестве.}

    \todo[inline]{Может попробовать обобщить пункт 4 до ``$f(V)$ есть вложение диска в $\RR^m$ ($m \geqslant n$)''?}

    \begin{proof}
        \begin{thlemma}
            Пусть имеется матрица
            \[
                A(p) =
                \begin{pmatrix}
                    a_{1, 1}(p)& \cdots& a_{1, n}(p)\\
                    \vdots& \ddots& \vdots\\
                    a_{m, 1}(p)& \cdots& a_{m, n}(p)\\
                \end{pmatrix},
            \]
            где всякий её коэффициент $a_{i, j}$ есть непрерывная функция $C \to \RR$, где $C$ --- некоторый компакт в $\RR^k$. Тогда максимальные растяжение и сужение матрицы $A$, т.е. величины
            \[
                \sup_{v \in \RR^n} \frac{\|A(p)v\|}{\|v\|}
                \qquad \text{ и } \qquad
                \inf_{v \in \RR^n} \frac{\|A(p)v\|}{\|v\|},
            \]
            меняются непрерывно по $p$.
        \end{thlemma}

        \begin{proof}
            Вспомним, что эти же величины равны
            \[
                \max_{v \in B_1(\bar{0})} \|A(p)v\|
                \qquad \text{ и } \qquad
                \min_{v \in B_1(\bar{0})} \|A(p)v\|
            \]
            соответственно. Таким образом имеем непрерывную функцию на компакте $C \times B_1(\bar{0})$.

            Заметим также, что $C \times B_1(\bar{0})$ --- компакт в $\RR^{n + k}$. При этом функция $\pi: (p, v) \mapsto A(p)v$ на нём непрерывна, а следовательно равномерно непрерывна. Следовательно для всякого $\varepsilon > 0$ есть $\delta = \delta(\varepsilon) > 0$, что для всякой точки $x \in C \times B_1(\bar{0})$
            \[\pi(U_\delta(x)) \subseteq U_\varepsilon(\pi(x)).\]

            Покажим непрерывность максимума (непрерывность минимума доказывается по аналогии или сводится к максимуму заменой $A$ на $-A$) в точке $p_0 \in C$. Пусть дано $\varepsilon > 0$. Пусть также максимум $M$ в точке $p_0$ достигается при векторе $v_0$. Пусть $p$ --- точка из $\delta(\varepsilon)$-окрестности точки $p_0$. Тогда
            \[\{(p, v)\}_{v \in B_1(\bar{0})} \subseteq U_{\delta(\varepsilon)}(\{(p_0, v)\}_{v \in B_1(\bar{0})}).\]
            Следовательно,
            \begin{multline*}
                \pi(\{(p, v)\}_{v \in B_1(\bar{0})})
                \subseteq \pi(U_{\delta(\varepsilon)}(\{(p_0, v)\}_{v \in B_1(\bar{0})}))
                \subseteq U_{\varepsilon}(\pi(\{(p_0, v)\}_{v \in B_1(\bar{0})}))\\
                \subseteq U_{\varepsilon}((-\infty; M))
                \subseteq (-\infty; M+\varepsilon).
            \end{multline*}
            Так мы получили оценку сверху на максимум в точке $p$. Также заметим, что точка $(p, v_0)$ лежит в $\delta(\varepsilon)$-окрестности $(p_0, v_0)$, а значит $\pi(p, v_0) \in U_\varepsilon(M)$. Отсюда мы получаем оценку снизу на максимум в точке $p$. Итого, максимум в точке $p$ находится в $\varepsilon$-окрестности $M$. Это и означает непрерывность в точке $p_0$.
        \end{proof}

        \begin{enumerate}
            \item У $\bar{x}_0$ есть метрическая окрестность (т.е. окрестность, являющаяся открытым шаром с центром в $\bar{x}_0$) $V$, лежащая в $G$. В ней все частные производные непрерывны. Значит для всяких точек $\bar{x}$ и $\bar{y}$ верно, что если
                \[\bar{e} := \bar{y} - \bar{x}, \qquad g(t) := f((1-t)\bar{x} + t\bar{y}),\]
                то
                \[g'(t) = d_{(1-t)\bar{x} + t\bar{y}}f(e),\]
                откуда
                \[
                    |g'(t)|
                    \leqslant \|d_{(1-t)\bar{x} + t\bar{y}}f(e)\|
                    \leqslant \|d_{(1-t)\bar{x} + t\bar{y}}f\| \cdot \|e\|.
                \]
                Следовательно по {\hyperref[Lagrange-theorem]{теореме Лагранжа}} есть $\xi \in [0; 1]$, что
                \[
                    \|f(\bar{y}) - f(\bar{x})\|
                    = |g(1) - g(0)|
                    = |g'(\xi) \cdot (1 - 0)|
                    = |g'(\xi)|
                    \leqslant \|d_zf\| \cdot \|\bar{y} - \bar{x}\|,
                \]
                где $z := (1-\xi)\bar{x} + \xi\bar{y}$. Немного уменьшая радиус окрестности $V$, получаем, что замыкание $V$ лежит в $G$, а значит $\|d_zf\|$ (непрерывная функция по доказанной лемме) на $V$ ограничена, а значит есть константа $C > 0$, что
                \[\|d_zf\| \leqslant C,\]
                и следовательно,
                \[\|f(\bar{y}) - f(\bar{x})\| \leqslant C \|\bar{y} - \bar{x}\|.\]
            \item Мы показали существование окрестности, где $f$ липшицева; осталось показать существование окрестности обратной липшицевости. Для этого по аналогии временно обозначим
                \[\|L\| := \inf_{v \in \RR^n} \frac{\|Lv\|}{\|v\|}\]
                и возьмём метрическую окрестность $V$ точки $\bar{x}_0$, что замыкание $V$ лежит в $G$ и $\|df\|$ не достигает на замыкании $V$ нуля (так как она непрерывна, а значение в $\bar{x}_0$ отлично от нуля). Тогда для всяких точек $\bar{x}$ и $\bar{y}$
                \[\|f(\bar{x}) - f(\bar{y})\| \geqslant \|d_zf\| \cdot \|\bar{y} - \bar{x}\|\]
                для некоторой точки $z \in [x; y]$. При этом $\|d_zf\| \geqslant c$ в $V$ для некоторого $c > 0$, значит
                \[\|f(\bar{x}) - f(\bar{y})\| \geqslant c \|\bar{y} - \bar{x}\|.\]
            \item Давайте возьмём некоторое $R > 0$, что $\overline{U}_R(\bar{x}_0) \subseteq V$. Пусть $c > 0$ --- константа обратной липшицевости $f$, т.е. для всяких $\bar{x}, \bar{y} \in V$
                \[\|f(\bar{x}) - f(\bar{y})\| \geqslant c \|\bar{x} - \bar{y}\|.\]
                Таким образом возьмём такой $r > 0$, что
                \[(cR - r)^2 > r^2 \qquad (\Leftrightarrow \quad cR > 2r).\]
                Тогда рассмотрим любую точку $\bar{y} \in U_r(f(\bar{x}_0))$ и введём функцию
                \[g(\bar{x}) := \|f(\bar{x}) - \bar{y}\|^2 = \sum_{k=1}^n (f_k(\bar{x}) - y_k)^2.\]
                Понятно, что $g$ определена и непрерывна на $\overline{U}_R(\bar{x}_0)$, следовательно принимает на ней минимум; пусть точкой минимума $g$ будет $\bar{x}$. Заметим, что
                \[g(\bar{x}_0) = \|f(\bar{x}_0) - \bar{y}\|^2 < r^2,\]
                так как $\bar{y} \in U_r(f(\bar{x}_0))$. В таком случае, если $\bar{x}$ лежит на границе данной окрестности, то тогда
                \[
                    g(\bar{x})
                    = \|f(\bar{x}) - \bar{y}\|^2
                    \geqslant (\|f(\bar{x}) - f(\bar{x}_0)\| - \|f(\bar{x}_0) - \bar{y}\|)^2
                    > (c\|\bar{x} - \bar{x}_0\| - r)^2
                    = (cR - r)^2
                    > r^2
                    > g(\bar{x}_0),
                \]
                --- противоречие с определением $\bar{x}$. Следовательно $\bar{x}$ внутри окрестности. Но тогда верно, что $\grad g|_{\bar{x}} = \bar{0}$. При этом
                \[
                    \grad g
                    = \begin{pmatrix}
                        \sum_{k=1}^n \frac{\partial f_k}{\partial x_1} 2(f_k - y_k)\\
                        \vdots\\
                        \sum_{k=1}^n \frac{\partial f_k}{\partial x_n} 2(f_k - y_k)
                    \end{pmatrix}
                    = 2\begin{pmatrix}
                        \frac{\partial f_1}{\partial x_1}& \cdots& \frac{\partial f_n}{\partial x_1}\\
                        \vdots& \ddots& \vdots\\
                        \frac{\partial f_1}{\partial x_1}& \cdots& \frac{\partial f_n}{\partial x_1}
                    \end{pmatrix}
                    \begin{pmatrix}
                        f_1 - y_1\\
                        \vdots\\
                        f_1 - y_1
                    \end{pmatrix}
                    = 2 J_f^T
                    (f - \bar{y}),
                \]
                где $J_f$ --- матрица Якоби функции $f$. Следовательно $J_f^T(\bar{x}) (f(\bar{x}) - \bar{y}) = 0$. Но $J_f = df$, а поэтому $J_f$ не вырождается в рассматриваемой области. Следовательно невырождается и $J_f^T$, а значит $f(\bar{x}) - \bar{y} = 0$, т.е. $f(\bar{x}) = \bar{y}$.

                Таким образом всякая точка из $r$-окрестности $f(\bar{x}_0)$ имеет прообраз, т.е.
                \[U_r(f(\bar{x}_0)) \subseteq f(V).\]
            \item Мы доказали, что у $\bar{x}_0$ есть окрестность, в которой $f$ билипшицева; также, понятно, есть окрестность, в которой $df$ не вырождается. Обозначим их пересечение за $V$. Тогда мы доказали, что $f(V)$ открыто. Следовательно из билипшицевости следует, что $f$ индуцирует биекцию между $V$ и $f(V)$. А это значит, что можно построить на $f(V)$ функцию $g$, обратную индуцированной. Таким образом мы имеем, что
                \[g \circ f|_V = \Id_V \qquad \text{ и } \qquad f|_V \circ g = \Id_{f(V)}.\]
            \item Повторим, что $f$ непрерывно, осуществляет биекцию между открытыми множествами $V$ и $f(V)$ и билипшицево. Следовательно оно является билипшицевым гомеоморфизмом из $V$ в $f(V)$. Тогда заметим, что если $\bar{y}_0 = f(\bar{x}_0)$, то
                \begin{align*}
                    &\phantom{= {}}\lim_{\bar{y} \to \bar{y}_0} \frac{g(\bar{y}) - g(\bar{y}_0) - (d_{\bar{x}_0}f)^{-1}(\bar{y} - \bar{y}_0)}{\|\bar{y} - \bar{y}_0\|}\\
                    \intertext{(делаем замену $\bar{y} := f(\bar{x})$ и $\bar{y}_0 := f(\bar{x}_0)$)}
                    &= \lim_{\bar{x} \to \bar{x}_0} \frac{\bar{x} - \bar{x}_0 - (d_{\bar{x}_0}f)^{-1}(f(\bar{x}) - f(\bar{x}_0))}{\|f(\bar{x}) - f(\bar{x}_0)\|}\\
                    &= \lim_{\bar{x} \to \bar{x}_0} \frac{\bar{x} - \bar{x}_0 - (d_{\bar{x}_0}f)^{-1}(d_{\bar{x}_0}f(\bar{x} - \bar{x}_0) + o(\bar{x} - \bar{x}_0))}{\|\bar{x} - \bar{x}_0\|}\frac{\|\bar{x} - \bar{x}_0\|}{\|f(\bar{x}) - f(\bar{x}_0)\|}\\
                    &= \lim_{\bar{x} \to \bar{x}_0} \frac{(d_{\bar{x}_0}f)^{-1}o(\bar{x} - \bar{x}_0)}{\|\bar{x} - \bar{x}_0\|}\frac{\|\bar{x} - \bar{x}_0\|}{\|f(\bar{x}) - f(\bar{x}_0)\|}\\
                    &= \lim_{\bar{x} \to \bar{x}_0} o(1) \frac{\|\bar{x} - \bar{x}_0\|}{\|f(\bar{x}) - f(\bar{x}_0)\|}\\
                    &= 0.
                \end{align*}
                Это означает дифференцируемость $g$ в $\bar{x}_0$ и то, что
                \[d_{\bar{y}_0}g = (d_{\bar{x}_0}f)^{-1}.\]
        \end{enumerate}
    \end{proof}

    \subsection{Формула Тейлора для многих переменных}

    \begin{theorem}[формула Лагранжа]
        Пусть дана дифференцируемая на $G$ функция $f: G \to \RR$, где $G \subseteq \RR^n$ открыто. Пусть также даны точки $\bar{x}, \bar{y} \in G$, что $[\bar{x}; \bar{y}] \subseteq G$. Тогда есть точка $\bar{\xi} \in [\bar{x}; \bar{y}]$, что
        \[f(\bar{y}) - f(\bar{x}) = \grad f|_{\bar{\xi}} \cdot (\bar{y} - \bar{x}).\]
    \end{theorem}

    \begin{proof}
        Определим
        \[\varphi: [0; 1] \to \RR, t \mapsto f((1-t)\bar{x} + t\bar{y}).\]
        Тогда по одномерной формуле Лагранжа есть точка $\psi \in [0; 1]$, что
        \[
            f(\bar{y}) - f(\bar{x})
            = \varphi(1) - \varphi(0)
            = \varphi'(\psi) \cdot (1-0)
            = \varphi'(\psi)
            = d_{(1-\psi)\bar{x} + \psi\bar{y}}f d_{\psi}((1-\psi)\bar{x} + \psi\bar{y})
            = d_{\xi}f x(\bar{y} - \bar{x}).
        \]
    \end{proof}

    \begin{theorem}
        Пусть дана функция $f: G \to \RR$, где $G \subseteq \RR^2$ --- окрестность точки $\bar{t}$, что $\frac{\partial^2 f}{\partial x_1 \partial x_2}$ и $\frac{\partial^2 f}{\partial x_2 \partial x_1}$ определены в $G$ и непрерывны в $\bar{t}$. Тогда
        \[\left. \frac{\partial^2 f}{\partial x_1 \partial x_2} \right|_{\bar{t}} = \left. \frac{\partial^2 f}{\partial x_2 \partial x_1} \right|_{\bar{t}}.\]
    \end{theorem}

    \begin{proof}
        Давайте рассмотрим сумму
        \[g(\delta_1, \delta_2) := f(t_1 + \delta_1, t_2 + \delta_2) - f(t_1, t_2 + \delta_2) - f(t_1 + \delta_1, t_2) + f(t_1, t_2).\]
        Применяя (одномерную) формулу Лагранжа для функции $\pi(\varepsilon) := f(t_1 + \varepsilon, t_2 + \delta_2) - f(t_1 = \varepsilon, t_2)$ на отрезке $[0; \delta_1]$, получаем некоторое $\xi_1 \in [0; \delta_1]$, что
        \[g(\delta_1, \delta_2) = \delta_1 \pi'(\xi_1) = \delta_1 \left(\left. \frac{\partial f}{\partial x_1} \right|_{(t_1 + \xi_1, t_2 + \delta_2)} - \left. \frac{\partial f}{\partial x_1} \right|_{(t_1 + \xi_1, t_2)}\right).\]
        Повторяя данный шаг для второй переменной, получаем точку $\xi_2 \in [0; \delta_2]$, что
        \[g(\delta_1, \delta_2) = \delta_1 \delta_2 \left. \frac{\partial f}{\partial x_1 \partial x_2} \right|_{(t_1 + \xi_1, t_2 + \xi_2)}.\]
        Аналогичным образом, меняя порядок шагов, получаем $\nu_1 \in [0; \delta_1]$ и $\nu_2 \in [0; \delta_2]$, что
        \[g(\delta_1, \delta_2) = \delta_1 \delta_2 \left. \frac{\partial f}{\partial x_2 \partial x_1} \right|_{(t_1 + \mu_1, t_2 + \mu_2)}.\]
        Тогда по непрерывности
        \[
            \left. \frac{\partial f}{\partial x_1 \partial x_2} \right|_{(t_1, t_2)}
            = \lim_{\delta_1, \delta_2 \to 0} \left. \frac{\partial f}{\partial x_1 \partial x_2} \right|_{(t_1 + \xi_1, t_2 + \xi_2)}
            = \lim_{\delta_1, \delta_2 \to 0} \left. \frac{\partial f}{\partial x_2 \partial x_1} \right|_{(t_1 + \mu_1, t_2 + \mu_2)}
            = \left. \frac{\partial f}{\partial x_2 \partial x_1} \right|_{(t_1, t_2)}.
        \]
    \end{proof}

    \begin{corollary}
        Пусть дана функция $f: G \to \RR$, где $G \subseteq \RR^n$ --- окрестность точки $\bar{t}$, что $\frac{\partial^2 f}{\partial x_k \partial x_l}$ и $\frac{\partial^2 f}{\partial x_l \partial x_k}$ определены в $G$ и непрерывны в $\bar{t}$. Тогда
        \[\left. \frac{\partial^2 f}{\partial x_k \partial x_k} \right|_{\bar{t}} = \left. \frac{\partial^2 f}{\partial x_l \partial x_k} \right|_{\bar{t}}.\]
    \end{corollary}

    \begin{proof}
        Поскольку частные производные по $x_k$ и $x_l$ в точке $\bar{t}$ зависят только от значений $f$ на двумерном подпространстве, проходящем через $\bar{t}$ и параллельном $x_k$ и $x_l$, то задача моментально сводится к двумерному случаю.
    \end{proof}

    \begin{corollary}
        Пусть дана функция $f: G \to \RR$, где $G \subseteq \RR^n$ --- окрестность точки $\bar{t}$, что $\frac{\partial^m f}{\partial x_{k_1} \dots \partial x_{k_m}}$ и $\frac{\partial^m f}{\partial x_{k_{\sigma(1)}} \dots \partial x_{k_{\sigma(m)}}}$, где $\sigma$ --- фиксированная перестановка $\{1; \dots; m\}$, определены в $G$ и непрерывны в $\bar{t}$. Тогда
        \[\left. \frac{\partial^m f}{\partial x_{k_1} \dots \partial x_{k_m}} \right|_{\bar{t}} = \left. \frac{\partial^m f}{\partial x_{k_{\sigma(1)}} \dots \partial x_{k_{\sigma(m)}}} \right|_{\bar{t}}.\]
    \end{corollary}

    \begin{remark*}
        Условие непрерывности необходимо; иначе есть контрпример.

        Рассмотрим функцию
        \[
            f(x, y) :=
            \begin{cases}
                \frac{xy(x^2-y^2)}{(x^2+y^2)}& \text{ при } (x, y) \neq \bar{0}\\
                0& \text{ иначе}.
            \end{cases}
        \]
        Несложно видеть, что вне точки $\bar{0}$
        \begin{align*}
            \frac{\partial f}{\partial x} &= \frac{y(x^4 + 4 x^2 y^3 - y^4)}{(x^2 + y^2)^2},&
            \frac{\partial f}{\partial y} &= \frac{x(x^4 - 4 x^2 y^2 - y^4)}{(x^2 + y^2)^2},\\\\
            \frac{\partial^2 f}{\partial x \partial x} &= \frac{-4 x y^3 (x^2 - 3y^2)}{(x^2 + y^2)^3},&
            \frac{\partial^2 f}{\partial x \partial y} &= \frac{x^6 + 9 x^4 y^2 - 9 x^2 y^4 - y^6}{(x^2 + y^2)^3},\\\\
            \frac{\partial^2 f}{\partial y \partial x} &= \frac{x^6 + 9 x^4 y^2 - 9 x^2 y^4 - y^6}{(x^2 + y^2)^3},&
            \frac{\partial^2 f}{\partial y \partial y} &= \frac{4 x^3 y (y^2 - 3x^2)}{(x^2 + y^2)^3}
        \end{align*}
        (в частности $\frac{\partial^2 f}{\partial x \partial y} = \frac{\partial^2 f}{\partial x \partial y}$), а в точке $\bar{0}$
        \begin{align*}
            \left. \frac{\partial f}{\partial x} \right|_{\bar{0}} &= 0,&
            \left. \frac{\partial f}{\partial y} \right|_{\bar{0}} &= 0,&
            \left. \frac{\partial^2 f}{\partial x \partial x} \right|_{\bar{0}} &= 0,&
            \left. \frac{\partial^2 f}{\partial x \partial y} \right|_{\bar{0}} &= -1,&
            \left. \frac{\partial^2 f}{\partial y \partial x} \right|_{\bar{0}} &= 1,&
            \left. \frac{\partial^2 f}{\partial y \partial y} \right|_{\bar{0}} &= 0,
        \end{align*}
        т.е. $\left. \frac{\partial^2 f}{\partial x \partial y} \right|_{\bar{0}} \neq \left. \frac{\partial^2 f}{\partial y \partial x} \right|_{\bar{0}}$.
        
        Под конец добавим небольшое дополнительное описание картины. $f$ --- однородная рациональная функция степени $2$, и поэтому все её частные производные являются однородными рациональными функциями, но первые производные --- степени $1$, а вторые --- степени $0$. Поэтому $f$ дифференцируема в нуле (в нуле она выглядит как $\Theta(x^2 + y^2)$, поэтому $d_{\bar{0}} f = 0$, т.е. тождественно нулевое отображение), поэтому первые производные уже не непрерывны. Также они дифференцируемы по всякому направлению в $\bar{0}$, но совершенно не дифференцируема в обычном смысле: например, по направлениям $(1; 0)$, $(\sqrt{\sqrt{5} - 2}; 1)$ и $(\sqrt{\sqrt{5} - 2}; -1)$ значение производной равно $0$, а по всем другим направлениям --- не равно $0$, например, по направлению $(0; 1)$ значение производной равно $1$. Таким образом поэтому множество предельных значений в $0$ у каждой второй производной образует некоторый отрезок.
    \end{remark*}

    \begin{theorem}[формула Тейлора для многих переменных]
        % Пусть даны $f: G \to \RR$, где $G \subseteq \RR^n$, точка $\bar{t} \in G$ и некоторое $\delta > 0$, что $U_\delta(\bar{t}) \subseteq G$ и производные по любым направлениям порядка не больше $m-1$ определены на $U_\delta(\bar{t})$ и частные производные порядка $m$ определены в $\bar{t}$. Тогда для всякой точки $\bar{y} \in U_\delta(\bar{t})$ верно
        \todo[inline]{Здесь нужно написать правильные условия и доказательство.}
        % Намёток из лекции:
        % Пусть частные производные $f$ порядка не более $m+1$ определены и непрерывны в некоторой окрестности $\bar{x}$.
        \begin{align*}
            f(\bar{y})
            = f(\bar{x})
            &+ \frac{1}{1!}\left.\left(\sum_{k=1}^n \frac{\partial}{\partial x_k} (y_k - x_k)\right) f \right|_{\bar{x}}
            + \frac{1}{2!}\left.\left(\sum_{k=1}^n \frac{\partial}{\partial x_k} (y_k - x_k)\right)^2 f \right|_{\bar{x}}
            + \dots\\
            &+ \frac{1}{m!}\left.\left(\sum_{k=1}^n \frac{\partial}{\partial x_k} (y_k - x_k)\right)^m f \right|_{\bar{x}}
            + R
        \end{align*}
        \begin{enumerate}
            \item 
                \[
                    R = o(\|\bar{y}-\bar{x}\|^m)
                \]
            \item 
                \[
                    R = \frac{1}{(m+1)!}\left.\left(\sum_{k=1}^n \frac{\partial}{\partial x_k} (y_k - x_k)\right)^{m+1} f \right|_{\bar{\xi}}
                \]
            \item 
                \[
                    R = \int_0^1 \frac{(1-t)^m}{m!}\left.\left(\sum_{k=1}^n \frac{\partial}{\partial x_k} (y_k - x_k)\right)^{m+1} f \right|_{(1-t)\bar{x} + t\bar{y}} dt
                \]
        \end{enumerate}
    \end{theorem}

    \subsection{Задача поиска экстремумов}

    \begin{definition}
        Пусть дана функция $f: \RR^n \to \RR$. Точка $\bar{x}$ называется
        \begin{itemize}
            \item \emph{локальным минимумом $f$}, если есть окрестность $V$ точки $\bar{x}$, что $f(\bar{x}) \leqslant f(\bar{y})$ для всякой точки $\bar{y} \in V$.
            \item \emph{локальным максимумом $f$}, если есть окрестность $V$ точки $\bar{x}$, что $f(\bar{x}) \geqslant f(\bar{y})$ для всякой точки $\bar{y} \in V$.
            \item \emph{экстремумом $f$}, если является точкой локального минимума или точкой локального максимума $f$.
        \end{itemize}
    \end{definition}

    \begin{lemma}\ 
        \begin{enumerate}
            \item В точках экстремума $f$ градиент $f$ (когда определён) зануляется.
            \item Если градиент $f$ в $\bar{x}$ равен нулю, а вторые производные $f$ в $\bar{x}$ определяют положительно (отрицательно) определённую квадратичную форму, то $\bar{x}$ --- точка локального минимума (максимума) $f$.
            \item Если градиент $f$ в $\bar{x}$ равен нулю, а вторые производные $f$ в $\bar{x}$ определяют знакопеременную квадратичную форму, то $\bar{x}$ --- седловая точка $f$.
        \end{enumerate}
    \end{lemma}

    \begin{proof}
        \begin{enumerate}
            \item Пусть $\bar{x}$ --- экстремум $f$. Предположим противное, т.е. $\grad f|_{\bar{x}} \neq 0$. Тогда рассмотрим функцию
                \[\varphi(t) := f(\bar{x} + t\grad f|_{\bar{x}}).\]
                С одной стороны, $\varphi$ --- сужение $f$ на некоторое направление (с точностью до масштабирования). Поэтому $0$ --- экстремум $\varphi$. С другой стороны,
                \[
                    \varphi'(0)
                    = d\varphi|_0
                    = df|_{\bar{x} + 0 \grad f|_{\bar{x}}} d(\bar{x} + t\grad f|_{\bar{x}})|_0
                    = df|_{\bar{x}} \grad f|_{\bar{x}}
                    = (\grad f|_{\bar{x}})^2
                    = \|\grad f|_{\bar{x}}\|
                    > 0,
                \]
                откуда $0$ не будет экстремальной точкой $\varphi$. Следовательно, $\grad f|_{\bar{x}} = 0$.
            \item Имеем, что
                \begin{align*}
                    f(\bar{y}) - f(\bar{x})
                    &= \frac{1}{1!}\left.\left(\sum_{k=1}^n \frac{\partial}{\partial x_k} (y_k - x_k)\right) f \right|_{\bar{x}}
                    + \frac{1}{2!}\left.\left(\sum_{k=1}^n \frac{\partial}{\partial x_k} (y_k - x_k)\right)^2 f \right|_{\bar{x}}
                    + o(\|\bar{y}-\bar{x}\|^2)\\
                    &= \frac{1}{2} Q(\bar{y} - \bar{x}) + o(\|\bar{y}-\bar{x}\|^2),
                \end{align*}
                где $Q$ --- квадратичная форма вторых производных. По определению $Q$ положительно определена. Значит есть константа $a > 0$, что $Q(\bar{v}) \geqslant a \|\bar{v}\|^2$. Таким образом
                \[f(\bar{y}) - f(\bar{x}) \geqslant \|\bar{y} - \bar{x}\|^2 (a + o(1)).\]
                Значит в некоторой окрестности $\bar{x}$ член $(a + o(1))$ будет строго положительным, а тогда для всякого $\bar{y}$ в этой окрестности $f(\bar{y}) > f(\bar{x})$.
            \item $-f$ удовлетворяет условиям прошлого пункта, поэтому $\bar{x}$ --- точка локального максимума $f$.
        \end{enumerate}
    \end{proof}

    \begin{theorem}[Сильвестра, напоминание]\ 
        \begin{enumerate}
            \item Симметричная квадратная матрица задаёт положительно определённую квадратичную форму тогда и только тогда, когда все её угловые определители положительны.
            \item Симметричная квадратная матрица задаёт отрицательно определённую квадратичную форму тогда и только тогда, когда все её угловые определители чередуются по знаку, а первый отрицателен.
        \end{enumerate}
    \end{theorem}

    \subsection{Теоремы о неявной функции}

    \begin{theorem}
        Пусть дана функция $F: G \to \RR$, где $G$ --- открытое множество в $\RR^2$, $F(x_0, y_0) = 0$, $F \in C^1(G)$ и $\frac{\partial F}{\partial y}(x_0, y_0) \neq 0$.
        \begin{enumerate}
            \item Тогда есть интервалы $I_x$, $I_y$, что $x \in I_x$, $y \in I_y$, $I_x \times I_y \subseteq G$ и единственная функция $f: I_x \to I_x$, что для всякой точки $(x, y) \in I_x \times I_y$ верно
                \[F(x, y) = 0 \qquad \Longleftrightarrow \qquad y = f(x).\]
            \item $f$ дифференцируема и
                \[f'(x) = - \frac{\frac{\partial F}{\partial x}(x, f(x))}{\frac{\partial F}{\partial y}(x, f(x))}.\]
        \end{enumerate}
    \end{theorem}

    \begin{proof}
        WLOG $\frac{\partial F}{\partial y}(x_0, y_0) > 0$. По условию $\frac{\partial F}{\partial y}(x_0, y_0) > 0$, а значит $\frac{\partial F}{\partial y} > 0$ в некоторой окрестности $(x_0, y_0)$. Тогда в этой окрестности срезы $H_x(y) = F(x, y)$ строго монотонны по $y$, т.е. при каждом $x$ будет не более одного $y$ из данной окрестности, что $H_x(y) = 0$.

        Тогда возьмём какое-нибудь $\beta > 0$, что $H_{x_0}$ имеет ненулевую производную на $(y_0 - \beta; y_0 + \beta)$. Тогда
        \[F(x_0, y_0 - \beta) < 0 < F(x_0, y_0 + \beta).\]
        Тогда можно взять такое $\alpha > 0$, что $\overline{U}_\alpha(x_0) \times \overline{U}_\beta(y_0) \subseteq G$ и
        \[F(\overline{U}_\alpha(x_0) \times \{y_0 - \beta\}) < 0 < F(\overline{U}_\alpha(x_0) \times \{y_0 + \beta\}).\]
        Следовательно для всякого $x \in [x_0 - \alpha; x_0 + \alpha]$ будет ровно одно $y \in [y_0 - \beta; y_0 + \beta]$, что $F(x, y) = 0$. Получается какая-то функция $f$.

        Поймём, что $f$ непрерывна. Действительно, возьмём любую точку $(x_1, y_1)$, где $y_1 = f(x_1)$. Тогда $F(x_1, y_1) = 0$. Значит проведя тот же трюк, что и в прошлом абзаце для данной точки и любой подокрестности, получаем, что для любой окрестности точки $y_1$ будет окрестность $x_1$, что у всякого $x_2$ из этой окрестности будет единственный $y_2$ из данной окрестности, где $F$ зануляется. С другой стороны всякое $y_2$ будет единственным для $x_2$, где $F(x_2, y_2) = 0$, на всём $G$. Следовательно, $y_2 = f(x_2)$. Т.е. для всякой окрестности по $y$ есть окрестность по $x$, которая в неё отображается по $f$. Это и значит непрерывность $f$.
        
        Теперь покажем дифференцируемость $f$. Фиксируем любую точку $x_1$. По формуле Тейлора для $F$
        \[0 = F(x, f(x)) - F(x_1, f(x_1)) = \frac{\partial F}{\partial x}(x_1, f(x_1)) \cdot (x - x_1) + \frac{\partial F}{\partial y}(x_1, f(x_1)) \cdot (f(x) - f(x_1)) + o(x - x_1)\]
        (по непрерывности $o(\sqrt{(x - x_1)^2 + (f(x) - f(x_1))^2}) = o(x - x_1)$). Следовательно,
        \[f(x) - f(x_1) = - \frac{\frac{\partial F}{\partial x}(x_1, f(x_1)) + o(1)}{\frac{\partial F}{\partial y}(x_1, f(x_1))} \cdot (x - x_1),\]
        т.е.
        \[\frac{f(x) - f(x_1)}{x - x_1} = - \frac{\frac{\partial F}{\partial x}(x_1, f(x_1))}{\frac{\partial F}{\partial y}(x_1, f(x_1))} + o(1).\]
        Отсюда следует и дифференцируемость $f$ и формула для производной.
    \end{proof}

    \begin{corollary}
        Если $F \in C^k(G)$, то $f \in C^k$.
    \end{corollary}

    \begin{proof}
        Действительно, если $F \in C^k$, то $\frac{\partial F}{\partial x}, \frac{\partial F}{\partial y} \in C^{k-1}$, а тогда
        \[
            f'(x) = - \frac{\frac{\partial F}{\partial x}(x, f(x))}{\frac{\partial F}{\partial y}(x, f(x))}
        \]
        тоже $k-1$ раз дифференцируемо. 
    \end{proof}

    \begin{theorem}
        Пусть дана функция $F: G \to \RR$, где $G$ открыто в $\RR^{m+1}$, что $F \in C^1$, $F(\bar{x}_0, y_0) = 0$, $\frac{\partial F}{\partial y}(\bar{x}_0, y_0) \neq 0$.
        \begin{enumerate}
            \item Тогда есть окрестность-параллелепипед $I_x \times I_y \ni (\bar{x}_0, y_0)$ и единственная функция $f: I_x \to I_y$, что для всякой точки $(\bar{x}, y) \in I_x \times I_y$ верно
                \[F(\bar{x}, y) = 0 \qquad \Longleftrightarrow \qquad y = f(\bar{x}).\]
            \item $f$ дифференцируема и
                \[\frac{\partial f}{\partial x_k}(\bar{x}) = - \frac{\frac{\partial F}{\partial x_k}(\bar{x}, f(\bar{x}))}{\frac{\partial F}{\partial y}(\bar{x}, f(\bar{x}))}.\]
        \end{enumerate}
    \end{theorem}

    \begin{theorem}
        Пусть дана функция $F: G \to \RR^n$, где $G$ --- открытое множество в $\RR^m \times \RR^n$, $F(\bar{x}_0, \bar{y}_0) = 0$ ($\bar{x}_0 \in \RR^n$, $\bar{y}_0 \in \RR^m$), $F \in C^1(G)$ и матрица $\frac{\partial F}{\partial \bar{y}}(\bar{x}_0, \bar{y}_0)$ обратима.
        \begin{enumerate}
            \item Тогда есть окрестность-параллелепипед $I_x \times I_y \ni (\bar{x}_0, \bar{y}_0)$ и единственная функция $f: I_x \to I_y$, что для всякой точки $(\bar{x}, \bar{y}) \in I_x \times I_y$ верно
                \[F(\bar{x}, \bar{y}) = 0 \qquad \Longleftrightarrow \qquad \bar{y} = f(\bar{x}).\]
            \item $f$ дифференцируема и
                \[\frac{\partial f}{\partial \bar{x}}(\bar{x}) = - \left(\frac{\partial F}{\partial \bar{y}}(\bar{x}, f(\bar{x}))\right)^{-1} \frac{\partial F}{\partial \bar{x}}(\bar{x}, f(\bar{x}))\]
        \end{enumerate}
    \end{theorem}

    \begin{proof}
        Будем доказывать утверждение по индукции по $n$.

        Утверждение для $n=1$ верно в силу предыдущей теоремы. Следовательно, будем считать $n > 1$. Разложим $F$ по координатам:
        \[F = (F_1, \dots, F_n).\] Далее по теореме для $n=1$ и $F_n$ выразим $y_n$ через $x_1$, \dots, $x_m$, $y_1$, \dots, $y_{n-1}$. По предположению индукции для оставшихся $y_i$ и $F_i$ выразим $y_i$ через $x_i$. Нужно лишь только следить аз невырождаемостью матриц.

        \todo[inline,caption={Написать теорему о неявной функции по-другому?}]{Может написать решение абсолютно похожее на первую теорему: т.е. точно также выделить окрестность-параллелепипед по $\bar{y}$, найти у крайних точек окрестность-параллелепипед по $\bar{x}$, таким же простым способом показать, что $f$ определена (так как $0$ принимается, так как нет способов вложить $D^n$ в $\RR^n \setminus \{0\}$, чтобы $S^{n-1}$ перешло тождественно в себя), непрерывна и дифференцируема как надо.}
    \end{proof}

    \subsection{Условные экстремумы}

    \begin{theorem}
        Пусть даны функции $f_1, \dots, f_m, g: G \to \RR$, где $G$ --- открытое множество в $\RR^n$. Пусть $\bar{x}_0$ --- (локальный) экстремум $g$ на поверхности $f_1 = \dots = f_m = 0$. При чём $f_1$, \dots, $f_m$ и $g$ дифференцируемы в $\bar{x}_0$, а все градиенты $\grad f_i|_{\bar{x}_0}$ линейно независимы (в частности не равны нулю). Тогда $\grad g|_{\bar{x}_0}$ лежит в линейной оболочке векторов $\grad f_i|_{\bar{x}_0}$.
    \end{theorem}
    
    \todo[inline]{Написать решение?}
    
    \begin{corollary}[метод множителей Лагранжа]
        Составим функцию
        \[L: \RR^n \times \RR^m \to \RR, (\bar{x}, \bar{\lambda}) \mapsto g(\bar{x}) - \sum_{k=1}^m \lambda_k f_k(\bar{x}).\]
        Тогда есть единственный вектор $\bar{\lambda}_0$, что $\grad L|_{(\bar{x}_0, \bar{\lambda}_0)} = 0$.
    \end{corollary}

    \begin{theorem}
        Пусть даны функции $f_1, \dots, f_m, g: G \to \RR$, где $G$ --- открытое множество в $\RR^n$, и какая-то точка $\bar{x}_0$ на поверхности $f_1 = \dots = f_m = 0$. При чём $f_1$, \dots, $f_m$ и $g$ дважды дифференцируемы в $\bar{x}_0$, градиенты $\{\grad f_i|_{\bar{x}_0}\}_{i=1}^m$ линейно независимы, и есть набор констант (множителей Лагранжа) $\{\lambda_i\}_{i=1}^m$, что
        \[\grad g|_{\bar{x}_0} = \sum_{i=1}^m \lambda_i \grad f_i|_{\bar{x}_0}.\]
        Обозначим функцию
        \[L(\bar{x}) := g(\bar{x}) - \sum_{i=1}^m \lambda_i f_i(\bar{x}).\]
        \begin{enumerate}
            \item Если квадратичная форма вторых производных $L$, ограниченная на касательную плоскость (т.е. ортогональное пространство к $\{\grad f_i|_{\bar{x}_0}\}_{i=1}^m$), положительно определена в $\bar{x}_0$, то $\bar{x}_0$ --- точка локального минимума $g$ на поверхности $f_1 = \dots = f_m = 0$.
            \item Если квадратичная форма вторых производных $L$, ограниченная на касательную плоскость, отрицательно определена в $\bar{x}_0$, то $\bar{x}_0$ --- точка локального максимума $g$ на поверхности $f_1 = \dots = f_m = 0$.
            \item Если квадратичная форма вторых производных $L$, ограниченная на касательную плоскость, знакопеременна в $\bar{x}_0$, то $\bar{x}_0$ --- седловая точка $g$ на поверхности $f_1 = \dots = f_m = 0$.
        \end{enumerate}
    \end{theorem}
    
    \todo[inline]{Написать решение?}

    \section{Топологический соус}

    \begin{theorem}[о перестанвке пределов]
        Пусть $X$, $Y$ --- хаусдорфовы топологические пространства, а $Z$ --- полное метрическое пространство. Пусть даны подмножества $A \subseteq X$ и $B \subseteq Y$, а также $a$ --- предельная точка $A$, не лежащая в $A$, и $b$ --- предельная точка $B$, не лежащая в $B$. Пусть также есть функция $F: X \times Y \to Z$, что для всякого $y \in B$ определён равномерный по $B$ предел
        \[\lim_{x \to a} F(x, y) = \varphi(y)\]
        и для всякого $x \in A$ определён предел
        \[\lim_{y \to b} F(x, y) = \psi(x).\]
        \begin{enumerate}
            \item Тогда
                \[\lim_{y \to b} \varphi(y) = \lim_{x \to a} \psi(x).\]
            \item Предел
                \[\lim_{\substack{x \to a\\ y \to b}} F(x, y)\]
                определён и равен двум предыдущим.
        \end{enumerate}
    \end{theorem}

    \begin{proof}
        \begin{thlemma}
            Пусть дана функция $f: C \to Z$, где $C \subseteq X$, а $c$ --- предельная точка $C$. Пусть также известно, что для всякого $\varepsilon > 0$ есть окрестность $V$ точки $c$, что для любых $w_1, w_2 \in V$ верно $\rho(f(w_1), f(w_2)) < \varepsilon$. Тогда определён предел
            \[\lim_{x \to c} f(x).\]
        \end{thlemma}

        \begin{proof}
            Для всякого $\varepsilon = \frac{1}{n}$ определим по условию окрестность $V_n$. WLOG $V_{n+1} \subseteq V_n$ (так как всегда $V_{n+1}$ можно заменить на $V_{n+1} \cap V_n$). В каждом $V_n$ выберем по точке $w_n$. Тогда последовательность $(f(w_n))_{n=1}^\infty$ фундаментальна, а значит есть $z \in Z$, что
            \[\lim (f(w_n))_{n=1}^\infty = z.\]
            Тогда для всякого $x \in V_n$
            \[\rho(f(x), z) \leqslant \rho(f(x), f(w_n)) + \rho(f(w_n), z) \leqslant \frac{1}{n} + \rho(f(w_n), z) \to 0.\]
            Следовательно
            \[\lim_{x \to c} f(x) = z.\]
        \end{proof}

        Зафиксируем $x_0 \in U \cap A$, что для всякого $y \in B$
        \[\rho(F(x_0, y), \varphi(y)) < \varepsilon.\]
        Также есть окрестность $V$ точки $b$, что для всякого $y \in V \cap B$
        \[\rho(F(x_0, y), \psi(x_0)) < \varepsilon.\]
        Тогда для всяких $y_1, y_2 \in V \cap B$
        \begin{multline*}
            \rho(\varphi(y_1), \varphi(y_2))\\
            \leqslant \rho(\varphi(y_1), F(x_0, y_1)) + \rho(F(x_0, y_1), \psi(x_0)) + \rho(\psi(x_0), F(x_0, y_2)) + \rho(F(x_0, y_2), \varphi(y_2))\\
            < \varepsilon + \varepsilon + \varepsilon + \varepsilon\\
            = 4 \varepsilon.
        \end{multline*}
        Это значит, что определён предел
        \[\lim_{y \to b} \varphi(y) =: p.\]
        Тогда
        \[\rho(\psi(x_0), p) = \lim_{y \to b} \rho(F(x_0, y), \varphi(y)) \leqslant \varepsilon.\]
        Это уже значит, что
        \[\lim_{x \to a} \psi(x) = p.\]
        Ну а поскольку сходимость к $\varphi$ равномерная, то при $x \to a$ и $y \to b$ имеет место
        \[\rho(F(x, y), \varphi(y)) \to 0 \quad \text{ и } \quad \rho(\varphi(y), p) \to 0.\]
        Следовательно,
        \[\lim_{\substack{x \to a \\ y \to b}} F(x, y) = p.\]
    \end{proof}

    \begin{theorem}[Стокса-Зейделя]
        Пусть даны хаусдорфовы топологические пространства $X$, $Y$, полное метрическое пространство $Z$ и функция $F: X \times Y \to Z$, что
        \begin{enumerate}
            \item есть точка $x_0 \in X$, что для всякого $y \in B \subseteq Y$ функция $x \mapsto F(x, y)$ непрерывна в $x_0$,
            \item $b$ --- предельная точка $B$, и для всякого $x \in A \subseteq X$ определён предел
                \[\lim_{y \to b} F(x, y) =: \psi(x)\]
                равномерный по $x \in A$.
        \end{enumerate}
        Тогда $\psi(x)$ непрерывно в $x_0$.
    \end{theorem}

    \begin{theorem}[о дифференцировании предельной функции]
        Пусть $X$ --- хаусдорфово топологическое пространство, $Y = (\alpha; \beta) \subseteq \RR$, $Z = \RR$, $F: X \times Y \to \RR$, $a$ --- предельная точка $A \subseteq X$, что
        \begin{enumerate}
            \item для всякого $x \in X$ функция $y \mapsto F(x, y)$ дифференцируема на $Y$,
            \item для всякого $y \in Y$ определён предел
                \[\lim_{x \to a} F(x, y) =: \varphi(y),\]
                а также определён предел
                \[\lim_{x \to a} F'(x, y) =: \psi(y)\]
                и равномерен.
        \end{enumerate}
        Тогда $\varphi$ гладка и $\varphi' = \psi$.
    \end{theorem}

    \begin{theorem}[о перестановке производных]
        Неформально:
        \[\frac{\partial^2 F}{\partial x \partial y} = \frac{\partial^2 F}{\partial y \partial x}.\]
    \end{theorem}

    \begin{definition}
        Подмножество $A \subseteq C(K)$, где $K$ --- хаусдорфово метрическое пространство, называется \emph{алгеброй}, если $A$ замнкуто относительно сложения, умножения и умножения на скаляр.

        $A$ \emph{выделяет точки}, если для всякого $x \in K$ есть $f \in A$, что $f(x) \neq 0$.

        $A$ \emph{разделяет точки}, если для любых $x_1, x_2 \in X$ существует $f \in A$, что $f(x_1) \neq f(x_2)$.
    \end{definition}

    \begin{theorem}[Стоуна-Вейерштрасса]
        $A$ --- алгебра, $A \subseteq C(K)$, $K$ --- компактное хаусдорфово топологическое пространство, что $A$ выделяет и разделяет точки. Тогда $\overline{A} = C(K)$ (в метрике $\rho(f, g) := \sup_K |f - g|$).
    \end{theorem}

    \begin{proof}
        Пусть дана функция $f \in C(K)$.

        \begin{thlemma}
            Для всякого $\varepsilon > 0$ есть полином $p$, что $||x| - p(x)| < \varepsilon$ на $[-1; 1]$.
        \end{thlemma}

        \begin{proof}
            Заметим, что
            \[|x| = \sqrt{x^2} = \sqrt{1 - (1-x^2)}.\]
            Поэтому будем приближать $\sqrt{1 - x}$ на $[0; 1]$; тогда приближение $|x|$ на $[-1; 1]$ достигнется подстановкой $1-x^2$.

            Заметим, что всякая функция $\sqrt{1-\alpha x}$, где $\alpha \in [0; 1)$, приближается на $[0; 1]$ рядом Тейлора в нуле. При этом
            \[\sqrt{1-x} = \lim_{\alpha \to 1} \sqrt{1-\alpha x}.\]
            Следовательно, и $\sqrt{1-x}$ приближается.
        \end{proof}

        \begin{remark}
            Можно считать, что приближающие $|x|$ полиномы не имеют свободного члена, так как если $||x| - p(x)| < \varepsilon/2$, то $|p(0)| < \varepsilon/2$, а тогда
            \[||x| - (p(x) - p(0))| < \varepsilon.\]
            Т.е. можно построить новый приближающий ряд.
        \end{remark}

        \begin{thlemma}
            Если $f \in A$, то $|f| \in \overline{A}$.
        \end{thlemma}

        \begin{proof}
            $f$ определено на компакте, а значит $f$ ограничено. Тогда пусть $C > 0$ такого, что $|f| < C$. Значит $f/C \in A$, а $|f/C| < 1$. Тогда для всякого $\varepsilon > 0$ есть полином $p$ ($\RR \to \RR$), что $||x|-p| < \varepsilon/C$ на $[-1; 1]$. Тогда $Cp(f/C) \in A$, а
            \[||f|-Cp(f/C)| = C||f/C|-p(f/C)| \leqslant C (\varepsilon/C) = \varepsilon.\]
        \end{proof}

        \begin{thlemma}
            Если $f_1, f_2 \in A$, то $\max(f_1, f_2), \min(f_1, f_2) \in \overline{A}$.
        \end{thlemma}

        \begin{proof}
            \[
                \max(f_1, f_2) = \frac{f_1 + f_2}{2} + \frac{|f_1 - f_2|}{2} \in \overline{A}
                \qquad
                \max(f_1, f_2) = \frac{f_1 + f_2}{2} - \frac{|f_1 - f_2|}{2} \in \overline{A}
            \]
        \end{proof}

        \begin{thlemma}
            Пусть $x_1, x_2 \in K$, $u_1, u_2 \in \RR$. Тогда есть $f \in A$, что $f(x_1) = u_1$, $f(x_2) = u_2$.
        \end{thlemma}

        \begin{proof}
            Сначала заметим, что есть функция $h \in A$, что $h(x_1) \neq 0$, $h(x_2) \neq 0$ и $h(x_1) \neq h(x_2)$. Действительно, есть функция $g \in A$, что $g(x_1) \neq g(x_2)$. WLOG $g(x_2) \neq 0$. Если $g(x_1) \neq 0$, то $g$ подходит. Иначе есть функция $p \in A$, что $p(x_1) \neq 0$. Вектора $(p(x_1), p(x_2))$ и $(g(x_1), g(x_2))$ точно линейно независимы, а значит есть линейная комбинация $g$ и $p$, подходящая на роль $h$.

            Теперь заметим, что
            \[
                \begin{vmatrix}
                    h(x_1)& h(x_1)^2\\
                    h(x_2)& h(x_2)^2
                \end{vmatrix}
                = h(x_1) h(x_2) (h(x_1) - h(x_2)) \neq 0.
            \]
            Значит есть линейная комбинация $h$ и $h^2$, которая на $x_1$ равна $u_1$, а на $x_2$ равна $u_2$.
        \end{proof}

        \begin{thlemma}
            Для всякой функции $f \in C(K)$, всякой $x_0 \in K$ и всякого $\varepsilon > 0$ есть $g \in \overline{A}$, что $g(x_0) = f(x_0)$, а $g(x) \leqslant f(x) + \varepsilon$.
        \end{thlemma}

        \begin{proof}
            Для всякой точки $x \in K$ построим функцию $g_x$, что $g_x(x_0) = f(x_0)$, а $g_x(x) = f(x)$. Заметим, что для всякой точки $x \in K$ есть окрестность $V_x$ точки $X$, что $|g_x(t) - f(t)| < \varepsilon$ для всякого $t \in V_x$. Поскольку $K$ --- компакт, то есть конечный набор $x_1, \dots, x_n$, что
            \[K = \bigcup_{i=1}^n V_{x_i}.\]
            Т.е. для всякого $t \in K$ есть $i \in \{1; \dots; n\}$, что $g_{x_i}(t) < f(t) + \varepsilon$. Следовательно,
            \[g := \min(g_{x_1}, \dots, g_{x_n}) \in \overline{A},\]
            и при этом $g(x_0) = f(x_0)$ (так как $g_{x_i}(x_0) = f(x_0)$) и для всякого $t \in K$ верно $g(t) < f(t) + \varepsilon$.
        \end{proof}

        Выберем для каждой точки $x \in K$ функцию $g_x$, что $g_x \in \overline{A}$, $g_x(x) = f(x)$, $g_x \leqslant f + \varepsilon$, и окрестность $V_k$, что для всякого $t \in V$ верно $|f(t) - f(x)| < \varepsilon$ и $|g_x(t) - g_x(x)| < \varepsilon$. По компактности $K$ есть конечный набор $x_1$, \dots, $x_n$, что $K = \bigcup_{i=1}^n V_{x_i}$. Следовательно, рассмотрим
        \[g := \max(g_{x_1}, \dots, g_{x_n}) \in \overline{A}.\]
        Тогда для всякой точки $y \in K$ верно, что $y \in V_{x_k}$, т.е. $|g_{x_k}(y) - g_{x_k}(x_k)| < \varepsilon$ и $|f(y) - f(x_k)| < \varepsilon$, т.е. $|g_{x_k}(y) - f(y)| < 2\varepsilon$, а значит $g(y) \geqslant f(y) - 2\varepsilon$, но $g(y) \leqslant f(y) + \varepsilon$. Следовательно, $|g(y) - f(y)| \leqslant 2\varepsilon$.

        Это и значит, что $f \in \overline{A}$.
    \end{proof}

    \section{Теоремы о неподвижной точке}

    \begin{theorem}
        Пусть $X$ --- полное метрическое пространство, а $T: X \to X$ отображение, что есть константа $\alpha \in [0; 1)$, что $\rho(Tx, Ty) \leqslant \rho(x, y)$ для всяких $x, y \in X$. Тогда в $X$ есть единственная неподвижная точка $T$.
    \end{theorem}

    \begin{proof}
        Рассмотрим орбиту любой точки $x$: $(T^n(x))_{n=0}^\infty$. Заметим, что $\rho(T^{n+1}(x), T^n(x)) \leqslant \alpha^n \rho(x, T(x))$. Следовательно, для всяких $n \leqslant m$ верно, что $\rho(T^n(x), T^m(x)) \leqslant \frac{\alpha^n \rho(x, Tx)}{1 - \alpha}$. Т.е. данная последовательность фундаментальна и имеет предел $y$. С другой стороны,
        \[
            \rho(T(y), y)
            \leqslant \rho(T(y), T^{n+1}(x)) + \rho(T^{n+1}(x), y)
            \leqslant \alpha \rho(y, T^n(x)) + \rho(y, T^{n+1}, x)
            \mathbin{\overset{n \to \infty}{\longrightarrow}} 0.
        \]
        Следовательно, $\rho(T(y), y) = 0$, т.е. $Ty = y$. При этом если есть другая точка $z$, что $Tz = z$, то
        \[\rho(y, z) = \rho(Ty, Tz) \leqslant \alpha \rho(y, z)\]
        --- противоречие.
    \end{proof}

    \begin{lemma}
        Пусть дана функция $f: \RR^2 \to \RR$, что есть $A > 0$, что для всяких $x$, $y_1$, $y_2$ верно $|f(x, y_1) - f(x, y_2)| \leqslant A |y_1 - y_2|$. Тогда есть единственная функция $y \in C^1[a; b]$, где $|a-b| \cdot A < 1$, что $y'(x) = f(x, y(x))$ на $[a; b]$ и $y(a) = y_0$.
    \end{lemma}

    \begin{proof}
        Рассмотрим пространство $X$ функций из $y \in C^1[a; b]$, что $y(a) = y_0$, с метрикой $\rho(y_1, y_2) = \sup_{[a; b]} |y_1 - y_2|$. Определим также на нём оператор
        \[T(y)(t) := y_0 + \int_a^t f(s, y(s)) ds.\]
        Тогда
        \begin{align*}
            \rho(T(y_1), T(y_2))
            &= \sup_{t \in [a; b]} |T(y_1)(t) - T(y_2)(t)|\\
            &= \sup_{t \in [a; b]} \left|\int_a^t (f(s, y_1(s)) - f(s, y_2(s))) ds\right|\\
            &\leqslant \sup_{t \in [a; b]} \int_a^t |f(s, y_1(s)) - f(s, y_2(s))| ds\\
            &\leqslant \sup_{t \in [a; b]} \int_a^t A|y_1(s) - y_2(s)| ds\\
            &\leqslant \sup_{t \in [a; b]} A|t-a|\rho(y_1, y_2)\\
            &= A|b-a|\rho(y_1, y_2)
        \end{align*}
        Тогда по доказанной теореме есть неподвижная точка, т.е. такое $y$, что
        \[y(t) = y_0 + \int_a^t f(s, y(s)) ds.\]
        Дифференцируя по $t$ получаем, что $y' = f(x, y)$. При этом $y(a) = y_0$.
    \end{proof}

    \begin{corollary}
        Условие $|a-b| < 1/A$ можно убрать.
    \end{corollary}

    \section{Голоморфные функции}

    \todo[inline]{Написать.}

    \section{Интеграл в смысле главного значения}

    \todo[inline]{Написать.}
    
    \section{Интегрирование функций нескольких переменных}

    \newpage\null\thispagestyle{empty}\newpage
    \section{Теория меры}

    \subsection{Конечные структуры}

    \begin{definition}
        \emph{Алгебра множеств} $\mathfrak{A}$ множества $X$ --- это множество $\mathfrak{A} \subseteq 2^X$, что
        \begin{itemize}
            \item $\varnothing \in \mathfrak{A}$,
            \item для всякого $A \in \mathfrak{A}$ верно $X \setminus A \in \mathfrak{A}$,
            \item для всяких $A, B \in \mathfrak{A}$ верно $A \cup B \in \mathfrak{A}$.
        \end{itemize}
        
        \emph{Кольцо множеств} $\mathfrak{A}$ множества $X$ --- это множество $\mathfrak{A} \subseteq 2^X$, что
        \begin{itemize}
            \item для всяких $A, B \in \mathfrak{A}$ верно $A \cup B \in \mathfrak{A}$,
            \item для всяких $A, B \in \mathfrak{A}$ верно $A \setminus B \in \mathfrak{A}$.
        \end{itemize}
        
        \emph{Полукольцо множеств} $\mathfrak{A}$ множества $X$ --- это множество $\mathfrak{A} \subseteq 2^X$, что
        \begin{itemize}
            \item для всяких $A, B \in \mathfrak{A}$ верно $A \cap B \in \mathfrak{A}$,
            \item для всяких $A, B \in \mathfrak{A}$ найдутся $C_1, \dots C_n \in \mathfrak{A}$, что $A \setminus B = \bigcup_{i=1}^n C_i$ и все $C_i$ попарно не пересекаются.
        \end{itemize}
    \end{definition}

    \begin{example}\ 
        \begin{enumerate}
            \item $P(\RR) := \{[a; b) \mid a, b \in \overline{\RR}\}$ --- полукольцо над $\RR$. $\overline{\RR}$ обозначает замыкание $\RR$, т.е. $\overline{\RR} = \RR \cup \{-\infty; +\infty\}$. Это значит, что рассматриваются не только конечные интервалы.
            \item $P(\RR^n) := \{\prod_{i=1}^n [a_i; b_i) \mid a_i, b_i \in \overline{\RR}\}$ --- полукольцо над $\RR^n$.
        \end{enumerate}
    \end{example}

    \begin{definition}
        \emph{Произведение полуколец} $\mathfrak{A}$ и $\mathfrak{B}$ --- полукольцо
        \[\mathfrak{A} \times \mathfrak{B} := \mathfrak{C} = \{A \times B \mid A \in \mathfrak{A} \wedge B \in \mathfrak{B}\}.\]
    \end{definition}

    \begin{lemma}
        Пусть $\mathfrak{A}$ --- полукольцо.
        \begin{enumerate}
            \item Если $A, B \in \mathfrak{A}$, то $A \cup B$ представляется в виде конечного дизъюнктного объединения элементов $\mathfrak{A}$.
            \item Конечное объединение элементов $\mathfrak{A}$ представляется в виде конечного дизъюнктного объединения элементов $\mathfrak{A}$.
            \item Всякое конечное выражение, построенное из элементоа $\mathfrak{A}$ и операций $\cup$, $\cap$, $\setminus$, представляется в виде конечного дизъюнктного объединения элементов $\mathfrak{A}$.
        \end{enumerate}
    \end{lemma}

    \begin{definition}
        Пусть дано пространство $X$ (обычно интервал в $\RR$) с выделенной структурой подмножеств $\mathfrak{A}$ (обычно полукольцо, кольцо или алгебра множеств). \emph{Мера} на данной структуре --- это функция $\eta: \mathfrak{A} \to \overline{\RR}_{\geqslant 0}$, что
        \begin{itemize}
            \item $\eta(\varnothing) = 0$,
            \item $\eta\left(\bigcup_{i=1}^n A_i\right) = \sum_{i=1}^n \eta(A_i)$ для любых непересекающихся $A_1, \dots, A_n \in \mathfrak{A}$.
        \end{itemize}
    \end{definition}

    \begin{example}\ 
        \begin{enumerate}
            \item Пусть $X$ --- дискретное множество (не более чем счётное множество точек), а $\mathfrak{A} = 2^X$. Тогда мерой будет функция
                \[
                    \eta(A) :=
                    \begin{cases}
                        |A|& \text{ если $A$ конечно,}\\
                        \infty& \text{ иначе.}
                    \end{cases}
                \]
            \item Как и в прошлом случае, если для всякого $x \in X$ определена величина $p_x \geqslant 0$ (т.е. не обязательно ровно $1$), то функция
                \[\eta(A) := \sum_{x \in A} p_x\]
                тоже будет мерой. При этом в случае $\sum_{x \in X} p_x = 1$ данная структура будет дискретным вероятностным пространством.
            \item Пусть $X$ --- интервал в $\RR$, а $\mathfrak{A}$ --- полукольцо полуинтервалов. Тогда функция
                \[\eta([a; b)) := b - a\]
                будет мерой длины.
            \item Пусть $f$ --- неубывающая функция, $X$ --- интервал в $\RR$, а $\mathfrak{A}$ --- полукольцо полуинтервалов. Тогда функция
                \[\eta([a; b)) := f(b) - f(a)\]
                будет мерой.
        \end{enumerate}
    \end{example}

    \begin{lemma}
        В пулукольце мера монотонна: если $B \subseteq A$, то $\eta(B) \leqslant \eta(A)$.
    \end{lemma}

    \begin{definition}
        Пусть $\mathfrak{A}$ --- полукольцо. Функция
        \[
            \chi_A :=
            \begin{cases}
                1& \text{ если } x \in A,\\
                0& \text{ если } x \notin A.
            \end{cases}
        \]
        называется \emph{характеристической (или индикаторной) функцией множества $A$}.

        Функция $f$ называется \emph{простой}, если она имеет вид
        \[\sum_{i=1}^n a_i \chi_{A_i},\]
        где $A_i \in \mathfrak{A}$, а $a_i \in \RR$.
    \end{definition}

    \begin{lemma}\ 
        \begin{enumerate}
            \item Функция проста тогда и только тогда, когда представима в виде
                \[\sum_{i=1}^n a_i \chi_{A_i},\]
                где $a_i \in \RR$, а множества $A_i$ лежат в $\mathfrak{A}$ и попарно не пересекаются.
            \item Функция является простой тогда и только тогда, когда принимает конечное множество значений, а прообраз каждого значения представим в виде дизъюнктного объединения конечного набора множеств из $\mathfrak{A}$.
            \item Сумма простых функций проста.
            \item Произведение простых функций просто.
        \end{enumerate}
    \end{lemma}

    \begin{definition}
        Пусть даны полукольцо множеств $\mathfrak{A}$ на множестве $X$, мера $\eta$ на нём и простая функция $f = \sum_{i=1}^n a_i \chi_{A_i}$. \emph{Интегралом Лебега} функции $f$ называется значение
        \[\int f(x) dx = \sum_{i=1}^n a_i \eta(A_i).\]
        Некоторые слагаемые могут принимать значение $+\infty$ или $-\infty$ (либо если некоторое $a_i = \pm \infty$, либо $\eta(A_i) = \pm \infty$; при этом конкретно здесь $0 \cdot \pm \infty = \pm \infty \cdot 0 = 0$). В таком случае, если встречаются слагаемые с бесконечным значением только одного знака, то сумма определяется как бесконечность того же знака. Если же встречаются бесконечные слагаемые разных знаков, то сумма для данного представления не определяется.
    \end{definition}

    \begin{theorem}
        Интеграл Лебега если определён, то определён корректно. Т.е. разные разложения функции в сумму характеристических функций дают одно и то же значение интеграла.
    \end{theorem}

    \begin{proof}
        Пусть имеется два представления $f$
        \[f = \sum_{i=1}^n a_i \chi_{A_i} = \sum_{j=1}^m b_i \chi_{B_i}.\]

        Первым шагом их оба можно переписать так, чтобы $A_i$ были попарно дизъюнктными и $B_j$ были попарно дизъюнктными, а $a_i$ и $b_j$ не были равны $0$: можно рассмотреть всевозможные множества
        \[
            D_S
            := \bigcap_{i \in S} A_i \setminus \bigcup_{j \notin S} A_j
            = (A_{k_1} \cap A_{k_2} \cap \dots) \setminus A_{l_1} \setminus A_{l_2} \setminus \dots
        \]
        для всякого $S \subseteq \{1; \dots; n\}$, каждое из них представить в виде конечного дизъюнктного объединение множеств $C_{S, k}$ из $\mathfrak{A}$ (а оно представляется) и записать сумму $\sum_k a_S \chi_{C_{S, k}}$, где $a_S$ --- значение $f$ на $D_S$ (а оно, действительно, единственно на этом множестве; и равно $\sum_{i \in S} a_i$). Очевидно, что все $D_S$ попарно дизъюнктны, а значит все полученные $C_{S, k}$ попарно дизъюнктны и лежат в $\mathfrak{A}$. Затем можно просто убрать те множества, чьи коэффициенты $a_S$ равны $0$.

        Вторым шагом рассмотрим для каждых $i \in \{1; \dots; n\}$ и $j \in \{1; \dots; m\}$ множество $T_{i, j} := A_i \cap B_j$. Понятно, что
        \[\bigcup_{i=1}^n A_i = f^{-1}(\overline{\RR} \setminus \{0\}) = \bigcup_{j=1}^m B_j.\]
        Понятно, что все определённые $T_{i, j}$ ($(i; j) \in \{1; \dots; n+1\} \times \{1; \dots; m\}$) попарно дизъюнктны и лежат в $\mathfrak{A}$. При этом очевидно, что
        \[
            A_i = \bigcup_{j=0}^m T_{i, j},
            \qquad
            A_j = \bigcup_{i=0}^n T_{i, j}.
        \]
        Также понятно, что значение $f$ на $A_i$ равно $a_i$, а на $B_j$ равно $b_j$. Понятно также, что $f$ константно на $T_{i, j}$ и зануляется вне объединения всех $T_{i, j}$; значит определим $t_{i, j}$ как значение $f$ на $T_{i, j}$ (если $T_{i, j}$ пусто, то можно присвоить любое значение). Тогда если $T_{i, j}$ непусто, то $a_i = t_{i, j} = b_j$, а значит для любого $T_{i, j}$
        \[a_i \eta(T_{i, j}) = t_{i, j} \eta(T_{i, j}) = b_j \eta(T_{i, j}).\]
        Тогда понятно, что
        \[
            \sum_{i=1}^n a_i \eta(A_i)
            = \sum_{i=1}^n a_i \sum_{j=1}^m \eta(T_{i, j})
            = \sum_{i=1}^n \sum_{j=1}^m t_{i, j} \eta(T_{i, j})
            = \sum_{j=1}^m b_j \sum_{i=1}^n \eta(T_{i, j})
            = \sum_{j=1}^m b_j \eta(B_j).
        \]
    \end{proof}

    \begin{lemma}\ 
        \begin{enumerate}
            \item Интеграл Лебега линеен:
                \[\int (\alpha f + \beta g) dx = \alpha \int f dx + \beta \int g dx.\]
            \item Интеграл Лебега монотонен: если $f \leqslant g$, то
                \[\int f dx \leqslant \int g dx.\]
        \end{enumerate}
    \end{lemma}

    \begin{definition}
        Пусть имеются полукольца $\mathfrak{A}$ и $\mathfrak{B}$ и меры $\mu$ и $\nu$ на них соответственно. Тогда произведение мер $\mu$ и $\nu$ --- мера $\lambda$ на полукольце $\mathfrak{A} \times \mathfrak{B}$, что
        \[\lambda(A \times B) := \mu(A) \cdot \nu(B).\]
    \end{definition}

    \begin{theorem}
        $\lambda$ --- действительно, мера.
    \end{theorem}

    \begin{proof}
        Пусть даны $A_1, \dots, A_n, A \in \mathfrak{A}$ и $B_1, \dots, B_n, B \in \mathfrak{B}$, что
        \[\bigsqcup_{i=1}^n A_i \times B_i = A \times B.\]
        Тогда нужно показать, что
        \[\lambda\left(\bigsqcup_{i=1}^n A_i \times B_i\right) = \lambda(A \times B).\]

        Мы имеем, что
        \[
            A = \bigcup_{i=1}^n A_i
            \qquad \text{ и } \qquad
            B = \bigcup_{i=1}^n B_i.
        \]
        Для каждого непустого $S \subseteq \{1; \dots; n\}$ построим множества
        \[
            A_S := \bigcap_{i \in S} A_i \setminus \bigcup_{j \notin S} A_j,
            \qquad
            B_S := \bigcap_{i \in S} B_i \setminus \bigcup_{j \notin S} B_j.
        \]
        Каждое $A_S$ и $B_S$ представляется в виде конечного дизъюнктного объединения множеств из $\mathfrak{A}$ и $\mathfrak{B}$ соответственно:
        \[
            A_S = \bigsqcup_{t=1}^{k_S} A_{S, t},
            \qquad
            B_S = \bigsqcup_{t=1}^{l_S} B_{S, t}.
        \]
        Тогда
        \[
            A = \bigsqcup_{\substack{S \subseteq \{1; \dots; n\}\\ S \neq \varnothing}} A_S = \bigsqcup_{\substack{S \subseteq \{1; \dots; n\}\\ S \neq \varnothing}} \bigsqcup_{t=1}^{k_S} A_{S, t},
            \qquad
            B = \bigsqcup_{\substack{S \subseteq \{1; \dots; n\}\\ S \neq \varnothing}} B_S = \bigsqcup_{\substack{S \subseteq \{1; \dots; n\}\\ S \neq \varnothing}} \bigsqcup_{t=1}^{l_S} B_{S, t},
        \]
        и
        \[
            A_i = \bigsqcup_{\substack{S \subseteq \{1; \dots; n\}\\ i \in S}} A_S = \bigsqcup_{\substack{S \subseteq \{1; \dots; n\}\\ i \in S}} \bigsqcup_{t=1}^{k_S} A_{S, t},
            \qquad
            B_i = \bigsqcup_{\substack{S \subseteq \{1; \dots; n\}\\ i \in S}} B_S = \bigsqcup_{\substack{S \subseteq \{1; \dots; n\}\\ i \in S}} \bigsqcup_{t=1}^{l_S} B_{S, t}.
        \]
        Следовательно,
        \begin{gather*}
            A \times B = \bigsqcup_{\substack{S \subseteq \{1; \dots; n\}\\ S \neq \varnothing}} \; \bigsqcup_{s=1}^{k_S} \; \bigsqcup_{\substack{T \subseteq \{1; \dots; n\}\\ T \neq \varnothing}} \; \bigsqcup_{t=1}^{l_S} A_{S, s} \times B_{T, t},\\
            A_i \times B_i = \bigsqcup_{\substack{S \subseteq \{1; \dots; n\}\\ i \in S}} \; \bigsqcup_{s=1}^{k_S} \; \bigsqcup_{\substack{T \subseteq \{1; \dots; n\}\\ i \in T}} \; \bigsqcup_{t=1}^{l_S} A_{S, s} \times B_{T, t}.
        \end{gather*}
        Аналогично,
        \begin{align*}
            \lambda(A \times B)
            &= \mu(A) \nu(B)\\
            &= \left(\sum_{\substack{S \subseteq \{1; \dots; n\}\\ S \neq \varnothing}} \; \sum_{s=1}^{k_S} \mu(A_{S, s})\right) \left(\sum_{\substack{T \subseteq \{1; \dots; n\}\\ T \neq \varnothing}} \; \sum_{t=1}^{l_S} \nu(B_{T, t})\right)\\
            &= \sum_{\substack{S \subseteq \{1; \dots; n\}\\ S \neq \varnothing}} \; \sum_{s=1}^{k_S} \; \sum_{\substack{T \subseteq \{1; \dots; n\}\\ T \neq \varnothing}} \; \sum_{t=1}^{l_S} \lambda(A_{S, s} \times B_{T, t})\\
            \lambda(A_i \times B_i)
            &= \mu(A_i) \nu(B_i)\\
            &= \left(\sum_{\substack{S \subseteq \{1; \dots; n\}\\ i \in S}} \; \sum_{s=1}^{k_S} \mu(A_{S, s})\right) \left(\sum_{\substack{T \subseteq \{1; \dots; n\}\\ i \in T}} \; \sum_{t=1}^{l_S} \nu(B_{T, t})\right)\\
            &= \sum_{\substack{S \subseteq \{1; \dots; n\}\\ i \in S}} \; \sum_{s=1}^{k_S} \; \sum_{\substack{T \subseteq \{1; \dots; n\}\\ i \in T}} \; \sum_{t=1}^{l_S} \lambda(A_{S, s} \times B_{T, t})
        \end{align*}
        Т.е. мы имеем, что и $A \times B$, и каждое $A_i \times B_i$ и как множество, и по мере раскладываются на ``ячейки'' $A_{S, s} \times B_{T, t}$. Т.е. каждая непустая ячейка в разбиении $A \times B$ лежит в разбиении ровно одного блока $A_i \times B_i$, а пустые ячейки имеют меру $0$, поэтому их можно игнорировать. Поэтому
        \[\lambda(A \times B) = \sum_{i=1}^n \lambda(A_i \times B_i).\]
    \end{proof}

    \begin{definition}
        Пусть $\mathfrak{B} \subseteq 2^X$. Тогда функция $\mu: \mathfrak{B} \to \overline{\RR}_{\geqslant 0}$ \emph{$\sigma$-аддитивна} или \emph{счётно-аддитивна}, если для всякого набора попарно дизъюнктных множеств $\{B_i\}_{i=0}^{+\infty} \subseteq \mathfrak{B}$, что $B := \bigsqcup_{i=0}^{+\infty} B_i \in \mathfrak{B}$, верно
        \[\mu(B) = \sum_{i=0}^{+\infty} \mu(B_i).\]
    \end{definition}

    \begin{example}\ 
        \begin{enumerate}
            \item $\mathfrak{B} = 2^X$, $\mu(X) = |X|$ (если $X$ бесконечно, то $+\infty$) --- $\sigma$-аддитивная мера.
            \item Как ``дискретное вероятностное пространство''. Пусть каждой точке $x \in X$ соответствует некоторое значение $p(x)$. Тогда $\mu(X) = \sum_{x \in X} p(x)$ --- счётно-аддитивная мера.
            \item Пусть $\mathfrak{B} = \{\langle a; b \rangle \mid a, b \in \overline{\RR}\}$. Тогда для всякой неубывающей непрерывной функции $f: \overline{\RR} \to \overline{\RR}$
                \[\mu(\langle a; b \rangle) := f(b) - f(a)\]
                будет счётно-аддитивной мерой. В случае $f(x) = x$ имеем обычную длину.
            \item Объём ячейки в $\RR^n$ тоже будет счётно-аддитивной мерой.
            \item \emph{Стилтьесовская длина.} Пусть $\mathfrak{B} = \{\langle a; b) \mid a, b \in \overline{\RR}\}$. Тогда для всякой неубывающей функции $f: \overline{\RR} \to \overline{\RR}$
                \[
                    \mu([a; b)) := f(b) - \lim_{\varepsilon \to 0^-} f(a + \varepsilon),
                    \qquad
                    \mu((a; b)) := f(b) - \lim_{\varepsilon \to 0^+} f(a + \varepsilon).
                \]
                будет счётно-аддитивной мерой.
        \end{enumerate}
    \end{example}

    \begin{definition}
        Пусть дано топологическое пространство $X$, полукольцо $\mathfrak{A}$ на нём и мера $\mu$ на последнем. $\mu$ называется \emph{регулярной}, если для всякого $A \in \mathfrak{A}$ верно
        \[
            \mu(A)
            = \inf \{\mu(U) \mid A \subseteq U \in \mathfrak{A} \wedge U \text{ открыто}\}
            = \sup \{\mu(K) \mid A \supseteq K \in \mathfrak{A} \wedge K \text{ компактно}\}.
        \]
    \end{definition}

    \begin{theorem}[Александрова]
        Регулярная мера счётно-аддитивна.
    \end{theorem}

    \begin{proof}
        Пусть дано топологическое пространство $X$, полукольцо $\mathfrak{A}$ на $X$, регулярная мера $\mu$ на $\mathfrak{A}$ и множества $A, A_0, A_1, \dots \in \mathfrak{A}$, что $A = \bigsqcup_{i=0}^{+\infty} A_i$. Нужно показать, что
        \[\mu(A) = \sum_{i=0}^{+\infty} \mu(A_i).\]
        
        Заметим, что для всякого $n$
        \[\sum_{i=0}^n \mu(A_n) \leqslant \mu\left(\bigsqcup_{i=0}^n A_i \sqcup \left(A \setminus \bigcup_{i=1}^n A_i\right)\right) = \mu(A).\]
        Отсюда
        \[\mu(A) \geqslant \lim_{n \to +\infty} \sum_{i=0}^n \mu(A_n) = \sum_{i=0}^{+\infty} \mu(A_i).\]

        Теперь покажем неравенство в обратную сторону. Пусть есть $\varepsilon > 0$. Так как
        \[\mu(A) = \sup \{\mu(K) \mid A \supseteq K \in \mathfrak{A} \wedge K \text{ компактно}\},\]
        то есть компакт $K \in \mathfrak{A}$, что $K \subseteq A$ и $\mu(K) \geqslant \mu(A) - \varepsilon/2$. Аналогично для каждого $A_i$ есть открытое $U_i \in \mathfrak{A}$, что $U_i \supseteq A$ и $\mu(U_i) \leqslant \mu(A) + \varepsilon/2^{i+1}$. Следовательно,
        \[\bigcup_{i=0}^{+\infty} U_i \supseteq \bigcup_{i=0}^{+\infty} A_i = A \supseteq K,\]
        т.е. $\{U_i\}_{i=0}^{+\infty}$ --- открытое покрытие компакта $K$. Значит есть конечное подпокрытие $\Lambda$. Тогда
        \[
            \mu(A)
            \leqslant \mu(K) + \varepsilon/2
            \leqslant \sum_{U \in \Lambda} \mu(U) + \varepsilon/2
            \leqslant \sum_{i=1}^{+\infty} \mu(U_i) + \varepsilon/2
            \leqslant \sum_{i=1}^{+\infty} \mu(A_i) + \varepsilon/2^{i+1} + \varepsilon/2
            = \sum_{i=1}^{+\infty} \mu(A_i) + \varepsilon.
        \]
        Следовательно,
        \[\mu(A) \leqslant \lim_{\varepsilon \to 0^+} \sum_{i=1}^{+\infty} \mu(A_i) + \varepsilon = \sum_{i=1}^{+\infty} \mu(A_i).\]
    \end{proof}

    \begin{definition}
        Пусть дано множество $X$. Множество $\mathfrak{A}$ называется $\sigma$-алгеброй, если является алгеброй и счётноаддитивно, т.е. для любого набора множеств $\{A_i\}_{i=0}^{+\infty} \subseteq \mathfrak{A}$ верно $\bigcup_{i=0}^{+\infty} \in \mathfrak{A}$.
    \end{definition}

    \begin{lemma}
        Пересечение колец/алгебр/$\sigma$-алгебр --- кольцо/алгебра/$\sigma$-алгебра.
    \end{lemma}

    \begin{definition}
        \emph{Кольцо/алгебра/$\sigma$-алгебра, порождённая семейством $\mathfrak{B} \subseteq 2^X$} --- наименьшее по включению кольцо/алгебра/$\sigma$-алгебра, содержащее $\mathfrak{B}$.

        Порождённая $\sigma$-алгебра обозначается $\overline{\mathfrak{B}}$.
    \end{definition}

    \begin{remark}
        Оно определено по последней лемме, так как хотя бы одно кольцо/алгебра/$\sigma$-алгебра есть: это просто всё $2^X$.
    \end{remark}

    \begin{definition}
        Boldface Borel hierarchy топологического пространства $(X, \Lambda_X)$ --- это множества $\Sigma^0_\alpha$, $\Pi^0_\alpha$ и $\Delta^0_\alpha$ подмножеств $X$, определённые для всякого ординала $\alpha > 0$ следующим образом.
        \begin{itemize}
            \item $\Sigma^0_1 := \Lambda_X$ --- множество открытых множеств.
            \item $\Pi^0_\alpha := \{X \setminus A \mid A \in \Sigma^0_\alpha\}$ --- множество дополнений множеств из $\Sigma^0_\alpha$.
            \item $\Sigma^0_\alpha$ --- множество всех таких подмножеств $A$, для каждого из которых есть набор множеств $\{A_i\}_{i=0}^{+\infty}$ и набор ординалов $\{\alpha_i\}_{i=0}^{+\infty}$, что для каждого $i$ верно $\alpha_i < \alpha$, $A_i \in \Pi^0_{\alpha_i}$, а $A = \bigcup_{i=0}^{+\infty}$.
            \item $\Delta^0_\alpha := \Sigma^0_\alpha \cap \Pi^0_\alpha$.
        \end{itemize}

        Например,
        \begin{itemize}
            \item $\Sigma^0_1$ --- открытые множества, $\Pi^0_1$ --- замкнутые множества, $\Delta^0_1$ --- замкнуто-открытые множества.
            \item $\Sigma^0_2$ --- множество счётных объединений замкнутых множеств, а $\Pi^0_2$ --- множество счётных пересечений открытых множеств. Они также обозначаются $F_\sigma$ и $G_\delta$ соответственно.
        \end{itemize}
    \end{definition}

    \subsection{Внешняя мера}

    \begin{definition}
        Пусть дано полукольцо $\mathfrak{A}$ на $X$ и мера $\mu$ на $\mathfrak{A}$. Функция
        \[\mu^*: 2^X \to \overline{\RR}_{\geqslant 0}, A \mapsto \inf \left\{\sum_{i=0}^{+\infty} \mu(A_i) \mid \{A_i\}_{i=0}^{+\infty} \subseteq \mathfrak{A} \wedge A \subseteq \bigcup_{i=0}^{+\infty} A_i\right\}\]
        называется \emph{внешней мерой, порождённой мерой $\mu$}.
    \end{definition}

    \begin{lemma}\ 
        \begin{enumerate}
            \item Для всякого $A \in \mathfrak{A}$ $\mu^*(A) \leqslant \mu(A)$.
            \item Если $A \subseteq B$, то $\mu^*(A) \leqslant \mu^*(B)$.
            \item \emph{Счётная полуаддитивность.} Для всякого набора множеств $\{A_i\}_{i=0}^{+\infty}$
                \[\mu^*\left(\bigcup_{i=0}^{+\infty} A_i\right) \leqslant \sum_{i=0}^{+\infty} \mu^*(A_i).\]
            \item Если $\mu$ счётноаддитивна, то для всякого $A \in \mathfrak{A}$ верно $\mu^*(A) = \mu(A)$.
        \end{enumerate}
    \end{lemma}

    \begin{proof}
        \begin{enumerate}
            \item \[\mu^*(A) \leqslant \sum_{i=0}^{+\infty} \mu(A) = \mu(A)\]
            \item Для всякого $\varepsilon > 0$ найдётся набор $\{B_i\}_{i=0}^{+\infty}$, что
                \[
                    A \subseteq B \subseteq \bigcup_{i=0}^{+\infty} B_i,
                    \qquad
                    \sum_{i=0}^{+\infty} \mu(B_i) \leqslant \mu^*(B) + \varepsilon.
                \]
                Тогда
                \[\mu^*(A) \leqslant \sum_{i=0}^{+\infty} \mu(B_i) \leqslant \mu^*(B) + \varepsilon.\]
                Значит
                \[\mu^*(A) \leqslant \lim_{\varepsilon \to 0^+} \mu^*(B) + \varepsilon.\]
            \item Для всякого $\varepsilon > 0$ для каждого $i \in \NN$ есть последовательность $\{B_{i, k}\}_{k=0}^{+\infty} \subseteq \mathfrak{A}$, что
                \[
                    A_i \subseteq \bigcup_{k=0}^{+\infty} B_{i, k},
                    \qquad
                    \sum_{k=0}^{+\infty} \mu(B_{i, k}) \leqslant \mu^*(A_i) + \varepsilon/2^{i+1}.
                \]
                Следовательно,
                \[
                    \bigcup_{i=0}^{+\infty} A_i \subseteq \bigcup_{i=0}^{+\infty} \bigcup_{k=0}^{+\infty} B_{i,k},
                \]
                а тогда
                \[
                    \mu^*\left(\bigcup_{i=0}^{+\infty} A_i\right)
                    \leqslant \sum_{i=0}^{+\infty} \sum_{k=0}^{+\infty} \mu(B_{i,k})
                    \leqslant \sum_{i=0}^{+\infty} \mu^*(A_i) + \varepsilon/2^{i+1}
                    = \varepsilon + \sum_{i=0}^{+\infty} \mu^*(A_i).
                \]
            \item В одну сторону неравенство уже доказано: $\mu^*(A) \leqslant \mu(A)$. Осталось доказать, что $\mu(A) \leqslant \mu^*(A)$.

                Пусть есть какой-то набор $\{A_i\}_{i=0}^{+\infty} \subseteq \mathfrak{A}$, что
                \[A \subseteq \bigcup_{i=0}^{+\infty} A_i.\]
                Достаточно показать, что
                \[\mu(A) \leqslant \sum_{i=0}^{+\infty} \mu(A_i).\]
                Пусть $B_i = A_i \setminus \bigcup_{k=0}^{i-1} A_k$. Понятно, что $B_i$ представляется в виде дизъюнктного объединения $\bigsqcup_{t=1}^{m_i} C_{i, t}$ множеств из $\mathfrak{A}$. Тогда
                \[A = \bigsqcup_{i=0}^{+\infty} B_i = \bigsqcup_{i=0}^{+\infty} \bigsqcup_{t=1}^{m_i} C_{i, t},\]
                а значит
                \[\mu(A) = \sum_{i=0}^{+\infty} \sum_{t=1}^{m_i} \mu(C_{i, t}) \leqslant \sum_{i=0}^{+\infty} \mu(A_i).\]
        \end{enumerate}
    \end{proof}

    \begin{definition}
        Пусть дано множество $X$. Функция $\gamma: 2^X \to \overline{\RR}_{\geqslant 0}$ называется \emph{предмерой}, если
        \begin{itemize}
            \item $\gamma(\varnothing) = 0$,
            \item если $A \subseteq B$, то $\gamma(A) \leqslant \gamma(B)$,
            \item (``$\sigma$-полуаддитивность'') $\gamma(\bigcup_{i=0}^{+\infty} A_i) \leqslant \sum_{i=0}^{+\infty} \gamma(A_i)$.
        \end{itemize}

        Пусть дана предмера $\gamma$. $E \subseteq X$ называется \emph{$\gamma$-измеримым множеством}, если для всякого $A \subseteq X$
        \[\gamma(A) = \gamma(A \cap E) + \gamma(A \setminus E).\]
    \end{definition}

    \begin{lemma}
        Внешняя мера является предмерой.
    \end{lemma}

    \begin{theorem}[Лебега-Каратеодори]
        Пусть $\gamma$ --- предмера на $X$, а $\Sigma$ --- множество $\gamma$-из\-ме\-ри\-мых множеств.
        \begin{enumerate}
            \item $\Sigma$ --- алгебра.
            \item $\gamma|_{\Sigma}$ --- мера на $\Sigma$.
            \item $\Sigma$ --- $\sigma$-алгебра.
            \item $\gamma|_\Sigma$ --- счётноаддитивная мера на $\Sigma$.
            \item Пусть $\mathfrak{A}$ --- полукольцо на $X$, а $\mu$ --- мера на $\mathfrak{A}$. Пусть также $\gamma = \mu^*$. Тогда $\Sigma \supseteq \overline{\mathfrak{A}}$.
        \end{enumerate}
    \end{theorem}

    \begin{proof}
        \begin{enumerate}
            \item
                \begin{itemize}
                    \item Для всякого $A \subseteq X$
                        \[\gamma(A) = \gamma(\varnothing) + \gamma(A) = \gamma(A \cap \varnothing) + \gamma(A \setminus \varnothing).\]
                        Следовательно, $\varnothing \in \Sigma$.
                    \item Пусть $E \in \Sigma$. Тогда для всякого $A \subseteq X$
                        \[\gamma(A) = \gamma(A \cap E) + \gamma(A \setminus E) = \gamma(A \setminus (X \setminus E)) + \gamma(A \cap (X \setminus E)).\]
                        Следовательно, $X \setminus E \in \Sigma$.
                    \item Пусть $E, F \in \Sigma$. Тогда для всякого $A \subseteq X$
                        \begin{align*}
                            \gamma(A)
                            &= \gamma(A \cap F) + \gamma(A \setminus F)\\
                            &= \gamma(A \cap F) + \gamma((A \setminus F) \cap E) + \gamma(A \setminus F \setminus E)\\
                            &= \gamma(A \cap (F \cup E) \cap F) + \gamma((A \cap E) \setminus F) + \gamma(A \setminus (F \cup E))\\
                            &= \gamma(A \cap (F \cup E) \cap F) + \gamma((A \cap (F \cup E)) \setminus F) + \gamma(A \setminus (F \cup E))\\
                            &= \gamma(A \cap (F \cup E)) + \gamma(A \setminus (F \cup E)).
                        \end{align*}
                \end{itemize}
            \item 
                \begin{itemize}
                    \item $\gamma(\varnothing) = 0$ по определению.
                    \item Пусть $E, F \in \Sigma$ не пересекаются. Тогда
                        \[
                            \gamma(E \cup F)
                            = \gamma((E \cup F) \cap F) + \gamma((E \cup F) \setminus F)
                            = \gamma(F) + \gamma(E).
                        \]
                        Отсюда следует конечная аддитивность.
                \end{itemize}
            \item Пусть даны $\{E_i\}_{i=0}^{+\infty} \subseteq \Sigma$, а $E = \bigcup_{i=0}^{+\infty}$. Пусть также дано любое $A \subseteq X$. С одной стороны по полуаддитивности
                \[
                    \gamma(A)
                    = \gamma\left(\left(A \cap \bigcup_{i=0}^{+\infty} E_i\right) \cup \left(A \setminus \bigcup_{i=0}^{+\infty} E_i\right)\right)
                    \leqslant \gamma\left(A \cap \bigcup_{i=0}^{+\infty} E_i\right) + \gamma\left(A \setminus \bigcup_{i=0}^{+\infty} E_i\right).
                \]
                Значит нужно показать неравенство с другой стороны. Также заметим, что в случае $\gamma(A) = +\infty$ утверждение очевидно, поэтому будем предполагать, что $\gamma(A) < +\infty$.
                
                Пусть
                \[F_i := E_i \setminus \bigcup_{j=0}^{i-1} E_j.\]
                Тогда
                \[
                    \bigcup_{i=0}^n E_i = \bigcup_{i=0}^n F_i
                    \qquad \text{ и } \qquad
                    \bigcup_{i=0}^{+\infty} E_i = \bigcup_{i=0}^{+\infty} F_i.
                \]
                А значит
                \[
                    A \cap \bigcup_{i=0}^{+\infty} E_i = A \cap \bigcup_{i=0}^{+\infty} F_i
                    \qquad \text{ и } \qquad
                    A \setminus \bigcup_{i=0}^{+\infty} E_i = A \setminus \bigcup_{i=0}^{+\infty} F_i.
                \]
                При этом, понятно, $F_i \in \Sigma$. Т.е. задача для $\{E_i\}$ сводится к задаче для попарно дизъюнктных $\{F_i\}$. Т.е. можно просто предполагать попарную дизъюнктность $\{E_i\}_{i=0}^{+\infty}$.

                Заметим, что для всякого $n$
                \[
                    \gamma(A)
                    = \gamma\left(A \cap \bigcup_{i=0}^{n} E_i\right) + \gamma\left(A \setminus \bigcup_{i=0}^{n} E_i\right)
                    \geqslant \gamma\left(A \cap \bigcup_{i=0}^{n} E_i\right) + \gamma\left(A \setminus E\right)
                \]
                Также заметим, что
                \begin{align*}
                    \gamma\left(A \cap \bigcup_{i=0}^{n} E_i\right)
                    &= \gamma\left(\left(A \cap \bigcup_{i=0}^{n} E_i\right) \cap E_n\right) + \gamma\left(\left(A \cap \bigcup_{i=0}^{n} E_i \cap E_n\right) \setminus E_n\right)\\
                    &= \gamma\left(A \cap \bigcup_{i=0}^{n-1} E_i\right) + \gamma\left(A \cap E_n\right).
                \end{align*}
                Тогда, применяя индукцию, сразу получаем, что
                \[\gamma\left(A \cap \bigcup_{i=0}^{n} E_i\right) = \sum_{i=0}^n \gamma(A \cap E_i).\]
                Следовательно,
                \[\gamma(A) \geqslant \gamma(A \setminus E) + \sum_{i=0}^n \gamma(A \cap E_i).\]
                А тогда
                \[
                    \gamma(A)
                    \geqslant \gamma(A \setminus E) + \sum_{i=0}^{+\infty} \gamma(A \cap E_i)
                    \geqslant \gamma(A \setminus E) + \gamma\left(\bigcup_{i=0}^{+\infty} A \cap E_i\right)
                    = \gamma(A \setminus E) + \gamma(A \cap E).
                \]
            \item Пусть дан набор попарно дизъюнктных множеств $\{E_i\}_{i=0}^{+\infty} \subseteq \Sigma$, $E := \bigcup_{i=0}^{+\infty} E_i$. Тогда по последним рассуждениям прошлого пункта
                \[
                    \gamma(E)
                    \geqslant \gamma(E \setminus E) + \sum_{i=0}^{+\infty} \gamma(E \cap E_i)
                    = \sum_{i=0}^{+\infty} \gamma(E_i)
                    \geqslant \gamma\left(\bigcup_{i=0}^{+\infty} E_i\right)
                    = \gamma(E).
                \]
            \item Достаточно показать, что $\mathfrak{A} \subseteq \Sigma$. Пусть $E \in \mathfrak{A}$, а $A \subseteq X$. Аналогично, надо показать, что если $\mu^*(A) < +\infty$, то
                \[\mu^*(A) \geqslant \mu^*(A \cap E) + \mu^*(A \setminus E).\]
                Тогда есть $\{B_i\}_{i=0}^{+\infty} \subseteq \mathfrak{A}$, что
                \[
                    A \subseteq \bigsqcup_{i=0}^{+\infty} B_i
                    \qquad \text{ и } \qquad
                    \mu^*(A) + \varepsilon/2 \geqslant \sum_{i=0}^{+\infty} \mu(B_i).
                \]
                Тогда
                \[
                    A \cap E \subseteq \bigsqcup_{i=0}^{+\infty} B_i \cap E
                    \qquad \text{ и } \qquad
                    A \setminus E \subseteq \bigsqcup_{i=0}^{+\infty} B_i \setminus E.
                \]
                При этом $B_i \cap E \in \mathfrak{A}$, а $B_i \setminus E = \bigsqcup_{t=1}^{m_i} C_{i, t}$, где $C_{i, t} \in \mathfrak{A}$. Тогда
                \[
                    \mu^*(A \cap E) \leqslant \sum_{i=0}^{+\infty} \mu(B_i \cap E)
                    \qquad \text{ и } \qquad
                    \mu^*(A \setminus E) \leqslant \sum_{i=0}^{+\infty} \sum_{t=1}^{m_i} \mu(C_{i, t}).
                \]
                Таким образом
                \[
                    \mu^*(A \cap E) + \mu^*(A \setminus E)
                    \leqslant \sum_{i=0}^{+\infty} \mu(B_i \cap E) + \sum_{t=1}^{m_i} \mu(C_{i, t})
                    = \sum_{i=0}^{+\infty} \mu(B_i)
                    \leqslant \mu^*(A) + \varepsilon.
                \]
                Следовательно,
                \[\mu^*(A \cap E) + \mu^*(A \setminus E) \leqslant \mu^*(A).\]
        \end{enumerate}
    \end{proof}

    \begin{definition}
        Вспомним полукольцо ячеек $P(\RR^n)$ с естественной мерой $\mu$.
        
        $\sigma$-алгебра $\Sigma$ измеримых по $\mu^*$ называется $\sigma$-алгебра \emph{измеримых по Лебегу} множеств, а мера $\mu^*|_\Sigma$ обозначается $\lambda$ и называется мерой Лебега.

        $\sigma$-алгебра $\mathfrak{B} := \overline{P(\RR^n)}$ называется \emph{Борелевской $\sigma$-алгеброй}. А мера $\lambda|_{\mathfrak{B}}$ называется \emph{мерой Бореля}.
    \end{definition}

    \begin{lemma}\ 
        \begin{enumerate}
            \item Мощность $|\mathfrak{B}|$ --- континуум.
            \item Мощность $|\Sigma|$ --- гиперконтинуум.
            \item $\mathfrak{B} \subsetneq \Sigma$.
        \end{enumerate}
    \end{lemma}

    \begin{lemma}
        Пусть $\gamma$ --- предмера на $X$, а $E \subseteq X$, что $\gamma(E) = 0$. Тогда $E$ $\gamma$-измеримо.
    \end{lemma}

    \begin{proof}
        Для всякого $A \subseteq X$ по монотонности и полуаддитивности
        \[
            \gamma(A \setminus E)
            \leqslant \gamma(A)
            \leqslant \gamma(A \setminus E) + \gamma(A \cap E)
            \leqslant \gamma(A \setminus E) + \gamma(E)
            = \gamma(A \setminus E) + 0
            = \gamma(A \setminus E).
        \]
        Следовательно,
        \[\gamma(A) = \gamma(A \setminus E) + \gamma(A \cap E).\]
    \end{proof}

    \begin{definition}
        Мера на полукольце $\mathfrak{A} \subseteq 2^X$ называется \emph{$\sigma$-конечной}, если исходное множество $X$ представляется в виде счётного объединения множеств конечной меры:
        \[
            X = \bigcup_{i=0}^{+\infty} A_i,
            \qquad A_i \in \mathfrak{A}, \mu(A_i) < +\infty.
        \]
    \end{definition}

    \begin{remark}
        Мера Лебега и мера Бореля (на $\RR^n$) $\sigma$-конечны.
    \end{remark}

    \begin{theorem}[о структуре измеримых множеств]
        Всякое измеримое по Лебегу множество $A$ есть разность измеримого по Борелю множества $B$ и его подмножества $E$ меры Лебега ноль: $A = B \setminus E$, $B \in \mathfrak{B}$, $E \subseteq B$, $\lambda(E) = 0$.
    \end{theorem}

    \begin{proof}
        Сначала докажим для случая $\lambda(A) < +\infty$. Также обозначим полукольцо ячеек как $\mathfrak{A}$.

        Для всякого $\varepsilon > 0$ есть $\{C_{\varepsilon, i}\}_{i=0}^{+\infty} \subseteq \mathfrak{A}$, что
        \[
            A \subseteq \bigcup_{i=0}^{+\infty} C_{\varepsilon, i},
            \qquad
            \sum_{i=0}^{+\infty} \mu(C_{\varepsilon, i}) \leqslant \mu^*(A) + \varepsilon = \lambda(A) + \varepsilon.
        \]
        Т.е. пусть $C_\varepsilon := \bigcup_{i=0}^{+\infty} C_{\varepsilon, i}$. Тогда
        \[
            A \subseteq C_{\varepsilon},
            \qquad
            \lambda(A) + \varepsilon
            \geqslant \sum_{i=0}^{+\infty} \mu(C_{\varepsilon, i})
            = \sum_{i=0}^{+\infty} \mu(C_{\varepsilon, i})
            = \sum_{i=0}^{+\infty} \lambda(C_{\varepsilon, i})
            = \lambda(C_\varepsilon).
        \]
        Пусть тогда $D = \bigcap_{\varepsilon > 0} C_\varepsilon$. Тогда
        \[A \subseteq D, \qquad \forall \varepsilon > 0\; \lambda(A) + \varepsilon \geqslant \lambda(D) \; \Longrightarrow \; \lambda(A) = \lambda(D).\]
        При этом каждое $C_{\varepsilon, i} \in \mathfrak{A} \subseteq \mathfrak{B}$, тогда $C_\varepsilon \in \mathfrak{B}$, а значит и $D \in \mathfrak{B}$. Следовательно,
        \[\lambda(D \setminus A) = \lambda(D) - \lambda(A) = 0.\]
        Т.е. $A = D \setminus (D \setminus A)$, где $D \in \mathfrak{B}$ и $\lambda(D \setminus A) = 0$.

        Теперь же случай любой меры $A$. Рассмотрим покрытие $X$ множествами $\{B_i\}_{i=0}^{+\infty}$ конечной меры. WLOG $B_i$ попарно дизъюнктны. Тогда по предыдущему рассуждению есть $D_i \in \mathfrak{B}$, что $D_i \supseteq A \cap B_i$ и $\lambda(D_i) = A \cap B_i$. Пусть $D := \bigcup_{i=0}^{+\infty} D_i$. Тогда
        \[D \supseteq \bigcup_{i=0}^{+\infty} A \cap B_i = A \cap \bigcup_{i=0}^{+\infty} B_i = A \cap X = A.\]
        При этом $A = \bigsqcup_{i=0}^{+\infty} A \cap B_i$. Также
        \[D \setminus A = \bigcup_{i=0}^{+\infty} (D \setminus A) \cap B_i \subseteq \bigcup_{i=0}^{+\infty} D_i \setminus (A \cap B_i).\]
        Значит
        \[\lambda(D \setminus A) \leqslant \sum_{i=0}^{+\infty} \lambda(D_i \setminus (A \cap B_i)) = 0.\]
        Значит $D \in \mathfrak{B}$, $A \subseteq D$ и $\lambda(D \setminus A) = 0$.
    \end{proof}

    \begin{lemma}
        Пусть есть $\sigma$-алгебра $\Delta$ и мера $\nu$ на ней, что $\mathfrak{B} \subseteq \Delta \subseteq \Sigma$ и $\nu|_{\mathfrak{B}} = \lambda|_{\mathfrak{B}}$. Тогда $\nu|_\Delta = \lambda|_\Delta$.
    \end{lemma}

    \begin{proof}
        Для всякого $E \in \Delta$ $\lambda$-меры ноль верно, что есть $D \in \mathfrak{B}$ $\lambda$-меры ноль, содержащее $E$, а значит $\nu(E) \leqslant \nu(D) = \lambda(D) = 0$, т.е. $\nu(E) = 0$. Тогда для любого множества $E \in \Delta$ есть множество $D \in \mathfrak{B}$, что $\lambda(D \setminus E) = 0$. При этом $D \in \Delta$, а тогда $D \setminus E \in \Delta$, а тогда $\nu(D \setminus E) = 0$, а значит $\nu(E) = \nu(D) = \lambda(D) = \lambda(E)$.
    \end{proof}

    \begin{definition}
        Пусть $X$ --- некоторое множество, $\mathfrak{A}$ --- $\sigma$-алгебра на $X$, а $\mu$ --- мера на $\mathfrak{A}$. Тогда $(X, \mathfrak{A})$ называется \emph{измеримым пространством}, а $(X, \mathfrak{A}, \mu)$ --- \emph{пространством с мерой} или \emph{пространством-мерой}.
    \end{definition}

    \begin{definition}
        Пусть $(X, \mathfrak{A})$ и $(Y, \mathfrak{B})$ --- два измеримых пространства. Функция $f: X \to Y$ называется \emph{измеримой}, если для всякого $B \in \mathfrak{B}$ верно $f^{-1}(B) \in \mathfrak{A}$.
    \end{definition}

    \begin{example}
        Всякая непрерывная функция между топологическими пространствами с выделенными Борелевскими $\sigma$-алгебрами измерима.
    \end{example}

    \begin{lemma}
        Пусть $f: G_1 \to G_2$ --- липшицевый гомеоморфизм между областями в $\RR^n$. Тогда для всякого $B \subseteq G_1$ меры Лебега ноль верно, что $f(B)$ имеет меру Лебега ноль.
    \end{lemma}

    \begin{proof}
        $B$ можно накрыть Борелевскими множествами суммарной меры $\leqslant \varepsilon$, а тогда $f(B)$ накроется их образами, а при $f$ их меры не увеличатся, а значит и $f(B)$ накрывается Борелевскими множествами меры $\leqslant \varepsilon$. В таком случае $f(B)$ имеет меру ноль по Лебегу.
    \end{proof}



    % \newpage\null\thispagestyle{empty}\newpage
    % \section{Мои придумки вне лекций}

    % \subsection{Сильная сходимость}

    % \begin{definition}
    %     Ряд $\sum_{n=0}^\infty a_n$ \emph{сильно сходится}, если сходится ряд $\sum_{n=0}^\infty |a_n|$.
    % \end{definition}

    % \begin{remark*}
    %     Это понятие распространяемо не только на $\RR$, а также на $\CC$. Также можно пытаться рассматривать любые векторные пространства с метрикой и полнотой.
    % \end{remark*}

    % \begin{lemma}
    %     Если ряд сильно сходится, то он сходится.
    % \end{lemma}

    % \begin{proof}
    %     Пусть дан сильно сходящийся ряд $\sum_{n=0}^\infty a_n$.

    %     \begin{thlemma}
    %         Для всякого $\varepsilon > 0$ есть такое натуральное $N$, что $\sum_{n=N}^\infty |a_n| < \varepsilon$.
    %     \end{thlemma}

    %     \begin{proof}
    %         Давайте рассматривать префиксные суммы $S_n$ последовательности $(a_n)_{n=0}^\infty$. Заметим, что $(S_n)_{n=0}^\infty$ является неубывающей сходящейся последовательностью. Пусть предел равен $A$. Следовательно какой-то член $S_N$ будет в $\varepsilon$-окрестности $A$ (а на деле в $(A - \varepsilon; A]$). Следовательно для всякого $M > N$
    %         \[\sum_{n=N+1}^M |a_n| = S_M - S_N\]
    %         При этом $\{S_n - S_N\}_{n=N+1}^\infty$ сходится, поскольку равна $\{S_n\}_{n=N+1}^\infty - S_N$, а последняя последовательность сходится, поскольку является подпоследовательностью сходящейся $\{S_n\}_{n=0}^\infty$. При этом $S_M \in [S_N; A]$. Следовательно $S_M - S_N \in [0; A - S_N]$. Значит и предел $\{S_n - S_N\}_{n=N+1}^\infty$ лежит в $[0; A - S_N] \subseteq [0; \varepsilon)$.
    %     \end{proof}

    %     Заметим, что $|x_1 + \dots + x_n| \leqslant |x_1| + \dots + |x_n|$. Пусть $\{S_n\}_{n=0}^\infty$ --- префиксные суммы последовательности $(a_n)_{n=0}^\infty$, т.е. $S_n := \sum_{k=0}^n a_k$. Мы видим, что
    %     \[|S_M - S_N| = \left|\sum_{n=N+1}^M a_k\right| \leqslant \sum_{n=N+1}^M |a_k| \leqslant \sum_{n=N+1}^\infty |a_k|\]
    %     Пусть $r_N := \sum_{n=N+1}^\infty |a_k|$. Тогда имеем, что все $S_M$ для $M \geqslant N$ лежат в $\overline{U}_{r_N}(S_N)$. Несложно видеть, что
    %     \[\left(\overline{U}_{r_N}(S_N)\right)_{N=0}^\infty\]
    %     --- последовательность замкнутых убывающих по включение множеств. Также по доказанной лемме последовательность $(r_N)_{N=0}^\infty$ сходится монотонно сверху к нулю. Таким образом последовательность замкнутых окрестностей имеет предел и ровно один. Поскольку размеры окрестностей сходятся, а для каждой из них верно, что все члены последовательности $(S_N)_{N=0}^\infty$ начиная с некоторого лежат в этой окрестности, то сама последовательность $(S_N)_{N=0}^\infty$ сходится к пересечению окрестностей.
    % \end{proof}

    % \begin{theorem}
    %     Пусть дан ряд $f(x) := \sum_{n=0}^\infty a_n x^n$.
    %     \begin{enumerate}
    %         \item Если $f$ сходится в некоторой точке $t$, то сильно сходится и во всех точках $s$, где $|s| < |t|$.
    %         \item При этом если $f$ сильно сходится в точке $t$, то сильно сходится и во всех точках $s$, где $|s| \leqslant |t|$.
    %     \end{enumerate}
    % \end{theorem}

    % \begin{proof}\ 
    %     \begin{enumerate}
    %         \item Мы имеем, что ряд $\sum_{n=0}^\infty a_n t^n$ сходится. Это значит, что есть такая константа $C$, что для всякого $n \in \NN \cup \{0\}$ верно, что $|a_n t^n| \leqslant C$, а тогда $|a_n| \cdot |t|^n \leqslant C$.

    %             Пусть дана точка $s$, что $|s| < |t|$. Тогда
    %             \[|a_n s^n| = |a_n| \cdot |s|^n = |a_n| \cdot |t|^n \cdot \left(\frac{|s|}{|t|}\right)^n \leqslant C \cdot \left(\frac{|s|}{|t|}\right)^n\]

    %             Обозначим $|s|/|t|$ за $\alpha$. Понятно, что $\alpha \in [0; 1)$. Следовательно
    %             \[\sum_{n=0}^N |a_n s^n| \leqslant \sum_{n=0}^N C \alpha^n = C \frac{1 - \alpha^{N+1}}{1 - \alpha}\]
    %             Таким образом $C \frac{1 - \alpha^{N+1}}{1 - \alpha}$ сходится, а значит сходится и последовательность префиксных сумм $(|a_n s^n|)_{n=0}^\infty$ (так как не убывает и ограничена). Следовательно $f$ в точке $s$ сильно сходится.
            
    %         \item Мы имеем, что ряд $\sum_{n=0}^\infty a_n t^n$ сильно сходится. Пусть дана точка $s$, что $|s| \leqslant |t|$. Тогда
    %         \[|a_n s^n| = |a_n| \cdot |s|^n \leqslant |a_n| \cdot |t|^n = |a_n t^n|\]
    %         Следовательно
    %         \[\sum_{n=0}^N |a_n s^n| \leqslant \sum_{n=0}^N |a_n t^n|\]
    %         Поскольку последовательность правых сумм сходится, то сходится и последовательность левых сумм (так как не убывает и ограничена). Следовательно $f$ в точке $s$ сильно сходится.
    %     \end{enumerate}
    % \end{proof}

    % \begin{corollary}
    %     Область определения $f$ как функция есть открытый шар с центром в нуле (возможно, нулевого радиуса) вместе с некоторыми (возможно, со всеми, возможно, с ни одной) точками на его границе.
    % \end{corollary}

    % \begin{theorem}
    %     Пусть дана функция $f(t) := \sum_{n=0}^\infty a_n t^n$. Пусть также известно, что для некоторой точки $x$ и некоторого $\varepsilon > 0$ верно, что $f$ сильно сходится в $\varepsilon$-окрестности $x$.
    %     \begin{enumerate}
    %         \item Значит $f$ бесконечно дифференцируема в этой окрестности.
    %         \item Для всякого $k \in \NN \cup \{0\}$ функция $g_k(t) := \sum_{n=0}^\infty a_{n+k}\frac{(n+k)!}{n!}x^n$ сильно сходится в этой окрестности.
    %         \item Для всякого $k \in \NN \cup \{0\}$ верно, что $f^{(k)} = g_k$ в этой окрестности.
    %     \end{enumerate}
    % \end{theorem}

    % \begin{proof}
    %     Докажем все утверждения теоремы только для первой производной $f$. Тогда для всех последующих производных утверждение будет выводится по индукции. Также докажем сильную сходимость не для всей окрестности, а только для точки $x$. Тогда, поскольку все другие точки окрестности так же имеют окрестность, где функция сильно сходится, то для них утверждение будет верно по аналогии.

    %     Возьмём некоторую точку $y$ из $\varepsilon$-окрестности $x$, что $|y| > |x|$. Заметим, что
    %     \[\sum_{n=0}^\infty |a_{n+1} (n+1) x^n| = \sum_{n=0}^\infty |a_{n+1} y^n| \cdot (n+1) \left(\frac{|x|}{|y|}\right)^n\]
    %     Понятно, что $|x|/|y| < 1$; обозначим $\alpha := |x|/|y|$. Поэтому последовательность $\{(n+1)\alpha^n\}_{n=0}^\infty$ сходится к нулю, а значит ограничена сверху константой $C$. Следовательно
    %     \[\sum_{n=0}^\infty |a_{n+1} (n+1) x^n| \leqslant \sum_{n=0}^\infty C|a_{n+1} y^n| = C \sum_{n=0}^\infty |a_{n+1} y^n|,\]
    %     причём последний ряд сходится по условию, значит и первый тоже, что означает сильную сходимость $g_1$ в $x$. Таким образом $g_1$ сильно сходится на всей $\varepsilon$-окрестности $x$.

    %     Теперь покажем, что $f'(x) = g_1(x)$. Пусть $t$ --- любая точка из проколотой $\varepsilon$-окрестности $x$. Тогда
    %     \[
    %         \frac{f(t)-f(x)}{t-x} - g_1(x)
    %         = \sum_{n=0}^\infty a_{n+1}\left(\frac{t^{n+1} - x^{n+1}}{t - x} - (n+1) x^n\right)
    %     \]
    %     Заметим, что
    %     \[
    %         \frac{t^{n+1} - x^{n+1}}{t - x} - (n+1) x^n
    %         = t^n + t^{n-1}x + \cdots + tx^{n-1} - n x^n
    %         = (t-x)(t^{n-1} + 2t^{n-2}x + \cdots + n x^{n-1})
    %     \]
    %     Следовательно
    %     \[\frac{f(t)-f(x)}{t-x} - g_1(x) = (t-x) \sum_{n=0}^\infty a_{n+2}(t^n + 2t^{n-1}x + \cdots + (n+1) x^n)\]
    %     Пусть $y$ некоторая точка из $\varepsilon$-окрестности $x$, что $\delta := |y| - |x| > 0$. Тогда для всякой точки $t$ из проколотой $\delta/2$-окрестности $x$
    %     \begin{align*}
    %         |a_{n+2}(t^n + 2t^{n-1}x + \cdots + (n+1) x^n)|
    %         &= |a_{n+2}| (|t|^n + 2|t|^{n-1}|x| + \cdots + (n+1) |x|^n)\\
    %         &< |a_{n+2}| (|y| - \delta/2)^n \frac{(n+1)(n+2)}{2}\\
    %         &= |a_{n+2} y^{n+2}| \cdot |y|^{-2} \frac{(n+1)(n+2)}{2} \left(\frac{|y|-\delta/2}{|y|}\right)^n
    %     \end{align*}
    %     Тогда мы имеем, что $\alpha := \frac{|y|-\delta/2}{|y|} \in [0; 1)$, а тогда последовательность $\left(|y|^{-2} \frac{(n+1)(n+2)}{2} \alpha^n\right)_{n=0}^\infty$ сходится к $0$, значит ограничена сверху константой $C$. Следовательно
    %     \[
    %         \sum_{n=0}^\infty |a_{n+2}(t^n + 2t^{n-1}x + \cdots + (n+1) x^n)|
    %         < \sum_{n=0}^\infty |a_{n+2} y^{n+2}| C
    %         = C \sum_{n=0}^\infty |a_{n+2} y^{n+2}|
    %     \]
    %     причём последняя сумма сходится, так как $f$ сильно сходится в $y$. Тогда пусть
    %     \[A := C \sum_{n=0}^\infty |a_{n+2} y^{n+2}|.\]
    %     Значит
    %     \begin{align*}
    %         \left|\frac{f(t)-f(x)}{t-x} - g_1(x)\right|
    %         &= |t-x| \left|\sum_{n=0}^\infty a_{n+2}(t^n + 2t^{n-1}x + \cdots + (n+1) x^n)\right|\\
    %         &\leqslant |t-x| \sum_{n=0}^\infty |a_{n+2}(t^n + 2t^{n-1}x + \cdots + (n+1) x^n)|\\
    %         &< |t-x| A
    %     \end{align*}
    %     Таким образом
    %     \[\lim_{t \to x} \frac{f(t) - f(x)}{t-x} = g_1(x),\]
    %     что значит, что $f'(x) = g_1(x)$.
    % \end{proof}

    % \begin{lemma}
    %     Пусть дана функция $f(t) := \sum_{n=0}^\infty a_n t^n$. Пусть также известно, что $f$ сходится в $a$-окрестности нуля. Тогда для всякого $x$ из этой окрестности верно, что ряд
    %     \[f_x(t) := \sum_{n=0}^\infty \frac{f^{(n)}(x)}{n!} t^n = \sum_{n=0}^\infty \left(\sum_{k=0}^\infty a_{n+k} \binom{n+k}{n} x^k\right) t^n\]
    %     сильно сходится в $(a-|x|)$-окрестности нуля и равен $f(x+t)$.
    % \end{lemma}

    % \begin{proof}
    %     Пусть дано $t$, что $|t| < a - |x|$. Тогда из сильной сходимости при модуле меньшем $a$ получаем, что сумма $\sum_{n=0}^\infty |a_n| (|x| + |t|)^n$ сходится. Заметим, что каждый член $|a_n| (|x| + |t|)^n$ можно разложить на $n+1$ членов: $|a_n| \binom{n}{0} |x|^n + |a_n| \binom{n}{1} |x|^{n-1} |t| + \dots$. Тогда сумма новых членов будет равна тому же, а тогда можно получить для каждого $n \in \NN \cup \{0\}$ ограничения
    %     \begin{align*}
    %         \left|\frac{f^{(n)}(x)}{n!} t^n\right|
    %         &= |t|^n \frac{1}{n!} \left|\sum_{k=0}^\infty a_{n+k} \frac{(n+k)!}{k!} x^k\right|\\
    %         &\leqslant |t|^n \frac{1}{n!} \sum_{k=0}^\infty |a_{n+k}| \frac{(n+k)!}{k!} |x|^k\\
    %         &= \sum_{k=0}^\infty |a_{n+k}| \binom{n+k}{n} |x|^k |t|^n,
    %     \end{align*}
    %     так как последнее --- подсумма нашей суммы. Причём по набору членов суммы
    %     \begin{align*}
    %         &\sum_{n=0}^\infty |a_n| (|x| + |t|)^n&
    %         &\text{ и }&
    %         &\sum_{n=0}^\infty \sum_{k=0}^\infty |a_{n+k}| \binom{n+k}{n} |x|^k |t|^n
    %     \end{align*}
    %     совпадают, поэтому мы можем сказать, что вторая сумма сходится. Следовательно сильно сходится и ряд $f_x(t)$.

    %     Далее покажем, что $f_x(t) = f(x + t)$. Рассматривая префиксные суммы ряда $f(x + t)$ и раскрывая скобки, можно получить почленную сходимость (как ряды от $t$) к $f_x(t)$. Действительно:
    %     \[
    %         \frac{f^{(n)}(x)}{n!} t^n
    %         = \frac{t^n}{n!} \sum_{k=0}^\infty a_{n+k} \frac{(n+k)!}{k!} x^k
    %         = \sum_{k=0}^\infty a_{n+k} \binom{n+k}{k} t^n x^k;
    %     \]
    %     таким образом раскрыв скобки в $f(x + t)$ до члена $M$ мы получаем префиксную сумму для $k$ до $M - n$. Заметим, что для всякого $\varepsilon > 0$ есть некоторый хвост
    %     \[\sum_{n=N}^\infty \left(\sum_{k=0}^\infty |a_{n+k}| \binom{n+k}{k} |t|^n |x|^k\right) < \frac{\varepsilon}{4}\]
    %     Тогда для всех остальных членов от $0$ до $N-1$ есть такие значения $M_n$, что для всякого $n$ от $0$ до $N-1$ имеет место неравенство
    %     \[\sum_{k=M_n+1}^\infty |a_{n+k}| \binom{n+k}{k} |t|^n |x|^k < \frac{\varepsilon}{4N}\]
    %     Пусть $M := \max(M_0 + 0, M_1 + 1, \dots, M_{N-1} + (N-1))$. Таким образом
    %     \begin{align*}
    %         |f_x(t) - f(x + t)|
    %         &\leqslant
    %             \left|\sum_{n=N}^\infty \frac{f^{(n)}(x)}{n!}t^n\right|
    %             + \left|\sum_{n=0}^{N-1} \frac{f^{(n)}(x)}{n!}t^n - f(x + t)\right|\\
    %         &\leqslant
    %             \sum_{n=N}^\infty \left(\sum_{k=0}^\infty |a_{n+k}| \binom{n+k}{k} |t|^n |x|^k\right)
    %             + \left|\sum_{n=0}^{N-1} \frac{f^{(n)}(x)}{n!}t^n - f(x + t)\right|\\
    %         &\leqslant
    %             \frac{\varepsilon}{4}
    %             + \left|\sum_{n=0}^{N-1} \frac{f^{(n)}(x)}{n!}t^n - \sum_{n=0}^{M} a_n (x + t)^n\right|
    %             + \left|\sum_{n=M+1} a_n (x + t)^n\right|\\
    %         &\leqslant
    %             \frac{\varepsilon}{4}
    %             + \left|\sum_{n=0}^{N-1} \frac{f^{(n)}(x)}{n!}t^n - \sum_{n+k=0}^M a_{n+k} \binom{n+k}{n} t^n x^k\right|
    %             + \sum_{n+k>M} |a_{n+k}| \binom{n+k}{n} |t|^n |x|^k\\
    %         &\leqslant
    %             \frac{\varepsilon}{4}
    %             + \left|\sum_{n=0}^{N-1} \left(\frac{f^{(n)}(x)}{n!}t^n - \sum_{k=0}^{M-n} a_{n+k} \binom{n+k}{n} t^n x^k\right)\right|\\
    %             &+ \sum_{n=N}^\infty \sum_{k=0}^\infty |a_{n+k}| \binom{n+k}{n} |x|^k |t|^n
    %             + \sum_{n=0}^{N-1} \sum_{k=M-n+1}^\infty |a_{n+k}| \binom{n+k}{n} |x|^k |t|^n\\
    %         &\leqslant
    %             \frac{\varepsilon}{4} + \frac{\varepsilon}{4}
    %             + \sum_{n=0}^{N-1} \frac{\varepsilon}{4N}
    %             + \left|\sum_{n=0}^{N-1} \left(\frac{f^{(n)}(x)}{n!}t^n - \sum_{k=0}^{M-n} a_{n+k} \binom{n+k}{n} t^n x^k\right)\right|\\
    %         &\leqslant
    %             \frac{3\varepsilon}{4}
    %             + \sum_{n=0}^{N-1} \left|\frac{f^{(n)}(x)}{n!}t^n - \sum_{k=0}^{M-n} a_{n+k} \binom{n+k}{n} t^n x^k\right|\\
    %         &\leqslant
    %             \frac{3\varepsilon}{4}
    %             + \sum_{n=0}^{N-1} \left|\sum_{k=M-n+1}^\infty a_{n+k} \binom{n+k}{n} t^n x^k\right|\\
    %         &\leqslant
    %             \frac{3\varepsilon}{4}
    %             + \sum_{n=0}^{N-1} \sum_{k=M-n+1}^\infty |a_{n+k}| \binom{n+k}{n} |t|^n |x|^k\\
    %         &\leqslant
    %             \frac{3\varepsilon}{4}
    %             + \sum_{n=0}^{N-1} \frac{\varepsilon}{4N}\\
    %         &= \varepsilon
    %     \end{align*}
    % \end{proof}

    % \begin{remark*}
    %     Последняя часть с оценкой недостатка заимствует (но сложно) рассуждение из леммы \ref{limit_to_stronge_conv_series_lemma}. В обоих случаях находится малый хвост главной последовательности, после чего при выкидывании мы теряем его дважды (у основного ряда и у рядов под пределом) и нам остаётся с остатком от $\varepsilon$ в запасе оценить разность между членами конечного префикса.
    % \end{remark*}

    % \begin{lemma}\label{limit_to_stronge_conv_series_lemma}
    %     Пусть $\sum_{n=0}^\infty a_n$ --- сильно сходящийся ряд, а $(\sum_{n=0}^\infty b_{k,n})_{k=0}^\infty$ --- последовательность сильно сходящихся рядов, что есть некоторая константа $C$, что для всякого $n \in \NN \cup \{0\}$ верно, что
    %     \begin{itemize}
    %         \item $(b_{k, n})_{k=0}^\infty \to a_n$,
    %         \item $|b_{k, n}| \leqslant C |a_n|$ для всякого $k \in \NN \cup \{0\}$,
    %         \item для всякого $k \in \NN \cup \{0\}$ ряд $\sum_{n=0}^\infty b_{k,n}$ сходится и равен $B_k$.
    %     \end{itemize}
    %     Тогда $\sum_{n=0}^\infty a_n = \lim_{k \to \infty} B_k$.
    % \end{lemma}

    % \begin{proof}
    %     Вспомним, что для всякого $\varepsilon > 0$ есть $N \in \NN \cup \{0\}$, что $\sum_{n=N}^\infty |a_n| < \frac{\varepsilon}{2(C+1)}$. Следовательно для всякого $k \in \NN \cup \{0\}$
    %     \begin{align*}
    %         \left|\sum_{n=0}^\infty a_n - \sum_{n=0}^\infty b_{k, n}\right|
    %         &\leqslant \sum_{n=0}^{N-1} |a_n - b_{k,n}| + \sum_{n=N}^\infty |a_n| + |b_{k, n}|&
    %         &\leqslant \sum_{n=0}^{N-1} |a_n - b_{k,n}| + (C+1) \sum_{n=N}^\infty |a_n|\\
    %         &< \sum_{n=0}^{N-1} |a_n - b_{k,n}| + (C+1) \frac{\varepsilon}{2(C+1)}&
    %         &= \sum_{n=0}^{N-1} |a_n - b_{k,n}| + \frac{\varepsilon}{2}\\
    %     \end{align*}
    %     Тогда для всякого $n \in [0; N-1]$ есть такое $K_n$, что для всех $k \geqslant K_n$ верно, что $|a_n - b_{k, n}| < \frac{\varepsilon}{2N}$. Пусть $K := \max\{K_n\}_{n=0}^{N-1}$. Следовательно для всякого $k \geqslant K$
    %     \[
    %         \left|\sum_{n=0}^\infty a_n - \sum_{n=0}^\infty b_{k, n}\right|
    %         < \sum_{n=0}^{N-1} |a_n - b_{k,n}| + \frac{\varepsilon}{2}
    %         < \sum_{n=0}^{N-1} \frac{\varepsilon}{2N} + \frac{\varepsilon}{2}
    %         = \varepsilon
    %     \]
    %     Таким образом для всякого $k \geqslant K$
    %     \[\left|\sum_{n=0}^\infty a_n - B_k\right| < \varepsilon,\]
    %     что значит, что
    %     \[\lim_{k \to \infty} B_k = \sum_{n=0}^\infty a_n\]
    % \end{proof}

    % \begin{theorem}
    %     Пусть рассматривается ряд вещественных чисел.
    %     \begin{enumerate}
    %         \item Если ряд сильно сходится, то любая его перестановка сильно сходится к тому же значению.
    %         \item Если ряд сходится, но не сильно, то для любого значения $S$ можно так переставить его члены, что итоговый ряд сойдётся к $S$.
    %     \end{enumerate}
    % \end{theorem}

    % \begin{proof}\ 
    %     \begin{enumerate}
    %         \item Пусть даны сильно сходящийся ряд $\sum_{n=0}^\infty a_n$ и любая его перестановка $\sum_{n=0}^\infty a_{\sigma(n)}$. Заметим, что для всякого $\varepsilon > 0$ есть $N \in \NN \cup \{0\}$, что $\sum_{n=N}^\infty |a_n| < \varepsilon$. Значит есть $M := \sigma^{-1}(N)$. Следовательно для всякого $L \geqslant M$
    %         \[
    %             \left|\sum_{n=0}^L a_{\sigma(n)} - \sum_{n=0}^\infty a_n\right|
    %             \leqslant \sum_{n=N+1}^\infty |a_n| < \varepsilon
    %         \]
    %         Таким образом $\sum_{n=0}^\infty a_{\sigma(n)} = \sum_{n=0}^\infty a_n$; чтобы показать сильную сходимость достаточно проделать те же рассуждения для ряда $\sum_{n=0}^\infty |a_{\sigma(n)}|$.

    %         \item Заметим, что сходимость ряда значит, что $(|a_n|)_{n=0}^\infty \to 0$. При этом несильная сходимость значит, что сумма положительных членов ряда и сумма отрицательных расходятся (уходят в $+\infty$ и $-\infty$ соответственно).
            
    %         Выделим из последовательности $(a_n)_{n=0}^\infty$ подпоследовательности положительных членов $(a^+_n)_{n=0}^\infty$ и отрицательных $(a^-_n)_{n=0}^\infty$ (в основной последовательности могут быть нули, но их можно раскидывать по последовательности как угодно --- это не изменит результат). Заметим, что для всякого $\varepsilon > 0$ есть $N(\varepsilon) \in \NN \cup \{0\}$, что для всякого $n \geqslant N$ верно, что $|a^+_n| < \varepsilon$ и $|a^-_n| < \varepsilon$.

    %         Теперь составим нашу последовательность-перестановку следующим образом. В начальный момент у нас есть число $t = 0$ и пустая последовательность $T$. Также у нас есть две бесконечных последовательности: одна с положительными --- $A^+$, другая с отрицательными членами --- $A^-$. Суммы обеих бесконечны. Каждый ход мы можем только взять из одной из $A^+$ и $A^-$ первое невзятое число, записать его в конец последовательности $T$ и прибавить это число к $t$.
            
    %         Какие же конкретно ходы мы хотим делать? Пусть $C_0$ --- максимальный размер членов в $A^+$ и $A^-$, а $C := \max(C_0, S+1)$. Тогда на итерации № $n$ ($n \in \NN \cup \{0\}$) будем удерживаться в интервале $(S-C/2^n; S+C/2^n)$. Чтобы достичь этой цели будем использовать следующую стратегию:
    %         \begin{itemize}
    %             \item если $t \in (S-C/2^n; S]$, то возьмём число из $A^+$;
    %             \item если $t \in [S; S-C/2^n)$, то возьмём число из $A^-$.
    %         \end{itemize}
    %         Заканчивать итерацию № $n$ будем, когда из обеих последовательностей будут вытащены первые $N(C/2^{n+1})$ членов. Поскольку к началу каждой итерации № $n$ оставшиеся члены в $A^+$ и $A^-$ по модулю меньше $C/2^n$, то описанными выше шагами мы не выйдем из интервала $(S-C/2^n; S+C/2^n)$. При этом после каждого момента мы не можем вытаскивать только члены одной из $A^+$ и $A^-$, так как их суммы стремятся к $\pm \infty$, значит каждый член каждой последовательности будет взят, а следовательно мы попадём на каждую итерацию. Значит префиксные суммы будут сходится к $S$ (после конца каждой итерации префиксные суммы будут находиться во всё меньшей окрестности $S$). Таким образом сумма полученного ряда-перестановки будет равна $S$.
    %     \end{enumerate}
    % \end{proof}

    % \subsection*{Практика}

    % Рассмотрим функцию $\exp(x) := \sum_{n=0}^\infty \frac{x^n}{n!}$.

    % \begin{statement}
    %     $\exp(x)$ сильно сходится при любых $x \in \CC$.
    % \end{statement}

    % \begin{proof}
    %     Действительно, есть натуральное $N > 2|x|$, значит
    %     \begin{align*}
    %         \sum_{n=0}^\infty \left|\frac{x^n}{n!}\right|
    %         &= \sum_{n=0}^{N-1} \left|\frac{x^n}{n!}\right| + \frac{|x|^N}{N!}\sum_{n=0}^\infty \frac{|x|^n}{(N+n)!/N!}&
    %         &< \sum_{n=0}^{N-1} \left|\frac{x^n}{n!}\right| + \frac{|x|^N}{N!}\sum_{n=0}^\infty \frac{|x|^n}{N^n}\\
    %         &< \sum_{n=0}^{N-1} \left|\frac{x^n}{n!}\right| + \frac{|x|^N}{N!}\sum_{n=0}^\infty \frac{1}{2^n}&
    %         &= \sum_{n=0}^{N-1} \left|\frac{x^n}{n!}\right| + 2\frac{|x|^N}{N!}\\
    %     \end{align*}
    %     т.е. $\exp$ сильно сходится во всякой точке $x \in \CC$.
    % \end{proof}

    % \begin{corollary}
    %     $\exp$ бесконечно дифференцируема. Причём $\exp'(x) = \sum_{n=0}^\infty \frac{(n+1)x^n}{(n+1)!} = \exp(x)$.
    % \end{corollary}

    % \begin{statement}
    %     Для абсолютных любых $a$ и $b$ верно, что $\exp(a+b) = \exp(a) \cdot \exp(b)$.
    % \end{statement}

    % \begin{proof}
    %     Давайте рассмотрим следующую таблицу.
    %     \begin{table}[H]
    %         \centering
    %         \begin{tabular}{c||c|c|c|c|c|c}
    %             \raisebox{-14pt}{\rule{0pt}{36pt}}$\times$ & $\dfrac{a^0}{0!}$ & $\dfrac{a^1}{1!}$ & $\dfrac{a^2}{2!}$ & $\dfrac{a^3}{3!}$ & $\dfrac{a^4}{4!}$ & $\cdots$\\
    %             \hline
    %             \hline
    %             \raisebox{-14pt}{\rule{0pt}{36pt}}$\dfrac{b^0}{0!}$ & $\dfrac{a^0 \cdot b^0}{0! \cdot 0!}$ & $\dfrac{a^1 \cdot b^0}{1! \cdot 0!}$ & $\dfrac{a^2 \cdot b^0}{2! \cdot 0!}$ & $\dfrac{a^3 \cdot b^0}{3! \cdot 0!}$ & $\dfrac{a^4 \cdot b^0}{4! \cdot 0!}$ & $\cdots$\\
    %             \hline
    %             \raisebox{-14pt}{\rule{0pt}{36pt}}$\dfrac{b^1}{1!}$ & $\dfrac{a^0 \cdot b^1}{0! \cdot 1!}$ & $\dfrac{a^1 \cdot b^1}{1! \cdot 1!}$ & $\dfrac{a^2 \cdot b^1}{2! \cdot 1!}$ & $\dfrac{a^3 \cdot b^1}{3! \cdot 1!}$ & $\dfrac{a^4 \cdot b^1}{4! \cdot 1!}$ & $\cdots$\\
    %             \hline
    %             \raisebox{-14pt}{\rule{0pt}{36pt}}$\dfrac{b^2}{2!}$ & $\dfrac{a^0 \cdot b^2}{0! \cdot 2!}$ & $\dfrac{a^1 \cdot b^2}{1! \cdot 2!}$ & $\dfrac{a^2 \cdot b^2}{2! \cdot 2!}$ & $\dfrac{a^3 \cdot b^2}{3! \cdot 2!}$ & $\dfrac{a^4 \cdot b^2}{4! \cdot 2!}$ & $\cdots$\\
    %             \hline
    %             \raisebox{-14pt}{\rule{0pt}{36pt}}$\dfrac{b^3}{3!}$ & $\dfrac{a^0 \cdot b^3}{0! \cdot 3!}$ & $\dfrac{a^1 \cdot b^3}{1! \cdot 3!}$ & $\dfrac{a^2 \cdot b^3}{2! \cdot 3!}$ & $\dfrac{a^3 \cdot b^3}{3! \cdot 3!}$ & $\dfrac{a^4 \cdot b^3}{4! \cdot 3!}$ & $\cdots$\\
    %             \hline
    %             \raisebox{-14pt}{\rule{0pt}{36pt}}$\dfrac{b^4}{4!}$ & $\dfrac{a^0 \cdot b^4}{0! \cdot 4!}$ & $\dfrac{a^1 \cdot b^4}{1! \cdot 4!}$ & $\dfrac{a^2 \cdot b^4}{2! \cdot 4!}$ & $\dfrac{a^3 \cdot b^4}{3! \cdot 4!}$ & $\dfrac{a^4 \cdot b^4}{4! \cdot 4!}$ & $\cdots$\\
    %             \hline
    %             $\vdots$ & $\vdots$ & $\vdots$ & $\vdots$ & $\vdots$ & $\vdots$ & $\ddots$\\
    %         \end{tabular}
    %     \end{table}
    %     В ней в верхней строчке написаны подряд члены ряда $\exp(a)$, в левом столбце --- $\exp(b)$, а в пересечении строки и столбца --- произведение соответствующих членов. Тогда легко видеть, что
    %     \[\exp(a)\exp(b) = \lim_{n \to \infty} \left(\sum_{k=0}^\infty \frac{a^k}{k!}\right)\left(\sum_{k=0}^\infty \frac{b^k}{k!}\right).\]
    %     В таком случае при раскрытии скобок мы получаем члены, находящиеся в угловом квадрате $n+1 \times n+1$ таблицы. Если же раскрыть скобки у члена $(a+b)^n/n!$ ряда $\exp(a+b)$, то получим члены на диагонали № $n$ (без учёта особой строки и особого столбца); значит при раскрытии скобок у префиксных суммы в $\exp(a+b)$ мы получаем члены в равнобедренных прямоугольных треугольниках размера $n$, вписанных прямым углом в угол таблицы. Тогда получаем, что $\exp(a)\exp(b)$ и $\exp(a+b)$ --- просто суммы рядов, членами которых являются значения из таблицы, но в разных порядках.

    %     Заметим, что ряд членов из таблицы сильно сходится. Действительно, давайте в последовательность подряд выпишем члены диагоналей. Получается, что эо всё та же последовательность $\exp(a+b)$, но только в ней каждый член разбили сразу на несколько подряд идущих. Заметим, что для всякого $n \in \NN \cup \{0\}$
    %     \[\frac{(|a|+|b|)^n}{n!} = \frac{|a|^n \cdot |b|^0}{n! \cdot 0!} + \cdots + \frac{|a|^0 \cdot |b|^n}{0! \cdot n!}.\]
    %     Соответственно выписанный ряд сильно сходится, поскольку сильно сходится ряд $\exp(|a| + |b|)$. Значит при любых перестановках мы получим одно и то же, значит $\exp(a + b) = \exp(a) \exp(b)$.
    % \end{proof}

    % \begin{statement}
    %     \[\lim_{n \to \infty} \left(1 + \frac{x}{n}\right)^n = \exp(x)\]
    % \end{statement}

    % \begin{proof}
    %     Давайте раскроем скобки в подпредельном выражении:
    %     \[
    %         \left(1 + \frac{x}{n}\right)^n
    %         = 1 + \frac{\binom{n}{1}}{n}x + \frac{\binom{n}{2}}{n^2}x^2 + \cdots + \frac{\binom{n}{n}}{n^n}x^n
    %     \]
    %     Заметим, что при всяком $n \in \NN \cup \{0\}$ член степени $k$ равен
    %     \[\frac{\binom{n}{k}}{n^k}x^k = \frac{x^k}{k!} \cdot \frac{n}{n} \cdot \frac{n-1}{n} \cdot \cdots \cdot \frac{n-k+1}{n}\]
    %     Тогда видно, что для всякого $k$
    %     \[\lim_{n \to \infty} \frac{\binom{n}{k}}{n^k}x^k = \frac{x^k}{k!}\]
    %     и заодно
    %     \[\left|\frac{\binom{n}{k}}{n^k}x^k\right| < \left|\frac{x^k}{k!}\right|\]
    %     Следовательно мы получаем последовательность рядов, почленно сходящихся к $\exp(x)$ и почленно ограниченных по модулю константой $C=1$. Значит по теореме предел определён и равен $\exp(x)$.
    % \end{proof}

    % \begin{exercise}
    %     Рассмотрим функцию \[f(x) := x \prod_{n=1}^\infty \left(1 - \frac{x^2}{n^2}\right)\]
    %     \begin{enumerate}
    %         \item Покажите, что $f$ сходится при любом $x$.
    %         \item Покажите, что $f(x+1) = -f(x)$.
    %         \item Превратите $f$ в ряд и покажите, что $f$ сильно сходится при всяком $x$ (осторожно, аккуратная возня с суммами и не очень аккуратная --- с оценками).
    %         \item Какое значение получается, если подставить $x = \frac{1}{2}$? Чему конкретно, можно предположить, равна функция $f(x)$?
    %     \end{enumerate}
    % \end{exercise}

    % \begin{remark*}
    %     До синуса недалеко, но я пока не знаю, что нужно сделать, чтобы окончательно доказать, что это он\dots
    % \end{remark*}

    % \begin{exercise}
    %     Рассмотрим функции
    %     \begin{align*}
    %         &s: \RR \to \RR, x \mapsto \frac{\exp(xi) - \exp(-xi)}{2i}&
    %         &\text{ и }&
    %         &c: \RR \to \RR, x \mapsto \frac{\exp(xi) + \exp(-xi)}{2}
    %     \end{align*}
    %     \begin{enumerate}
    %         \item Покажите, что $s$ и $c$ определены корректно, т.е. они действительно возвращают вещественные значения.
    %         \item Докажите, что $s(x+y) = s(x)c(y) + s(y)c(x)$ и $c(x+y) = c(x)c(y) - s(y)s(x)$ для всевозможных $x, y \in \RR$.
    %         \item Докажите, что $c(x)^2 + s(x)^2 = 1$ для всевозможных $x \in \RR$.
    %         \item Докажите, что $s$ и $c$ --- бесконечно дифференцируемые функции.
    %         \item Докажите, что $s'(x) = c(x)$ и $c'(x) = -s(x)$ для всевозможных $x \in \RR$.
    %         \item Докажите, что $\lim_{x \to 0} \frac{s(x)}{x} = 1$.
    %         \item Докажите, что $s(x) = \sin(x)$, а $c(x) = \cos(x)$.
    %     \end{enumerate}
    % \end{exercise}
\end{document}