jupyter_notebooks/I_probability.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для исследования различных составляющий современных IT продуктов (например, пользовательских метрик) применяются инструменты теории вероятной и мат. статистики. В этом ноутбуке рассмотрим некоторые основные понятия.\n",
    "\n",
    "# Основы теории вероятностей: случайные события\n",
    "\n",
    "Событие называется **случайным**, если в результате опыта **G** оно может либо произойти, либо нет (в противоположность *детерминированным* событиям). Всевозможные исходы опыта __G__ образуют пространство элементарных событий $\\Omega$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Алгебра событий\n",
    "\n",
    "Операции над событиями во многом аналогичны операциям над множествами.\n",
    "\n",
    "* Сумма событий $C=A + B$ обозначает событие, что в опыте произойдёт либо событие A, либо событие B\n",
    "* Произведение событий $C=A \\cdot B$ обозначает событие, что в опыте произойдут оба события A и B\n",
    "* Разность событий $C = A \\setminus B$ обозначает событие, что в опыте произойдёт событие A, а событие B не произойдёт\n",
    "* Событие $\\overline{A}$ называется _противоположным_ событию **А**, если оно заключается в непоявлении события А в опыте __G__ . \n",
    "* События A и B называются *несовместными*, если они не могут произойти в рамках опыта *G* одновременнио, т.е. $A\\cdot B = \\emptyset$\n",
    "\n",
    "Говорят, что в опыте G  событие  **A**  влечёт событие __B__ , если из наступления события A следует наступление события B, обозначается $A \\subset B$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Вероятность события\n",
    "\n",
    "*Определение* вероятность события **A** - это числовая функция P(A) такая, что выполняются следующие *аксиомы вероятности*:\n",
    "* Неотрицательность $P(A) \\ge 0$\n",
    "* Нормировка $P(\\Omega)=1$\n",
    "* Конечная аддитивность: $\\forall A,B: A\\cdot B=\\emptyset \\mid P(A + B) = P(A) + P(B) $\n",
    "* Непрерывность вероятности: пусть $A_1 \\supset A_2 \\supset A_n \\supset \\ldots \\supset A_n \\supset \\ldots$, тогда $\\lim_{n\\rightarrow \\infty}P(A_n)=0$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "*Опредеделение* События $H_1,\\ldots,H_n$ образуют **полную группу событий**, если $\\forall i,j: H_iH_j=\\emptyset$ и $H_1+\\ldots+H_n=\\Omega$, событие $H_i$ называется *гипотезой*.\n",
    "\n",
    "$Определение$ События называются независимыми, если\n",
    "$$\n",
    "P(AB) = P(A)\\cdot P(B)\n",
    "$$\n",
    "\n",
    "Опыт, в котором $\\forall i:P(H_i) = \\frac1n$ (исходы равновероятны) называется *схемой случаев*\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "*Определение* Условной вероятностью события **A** при условии события __B__ называется вероятность события A при условии, что событие B уже произошло в опыте:\n",
    "$$\n",
    "P(A\\mid B) = \\frac{P(AB)}{P(B)}\n",
    "$$\n",
    "\n",
    "Вероятность противоположного события $P(\\overline{A})=1-P(A)$\n",
    "\n",
    "**Алгоритм** решения задач, сводящихся к схеме случаев\n",
    "\n",
    "* Определить общее число случаев n\n",
    "* Определить число случаев m, а которых происходит событие A\n",
    "* Вычислить вероятность события A:\n",
    "$$P(A)=\\frac{m}{n}$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Формулы** комбинаторики, которые помогут решать задачи в схеме случаев\n",
    "\n",
    "* Число перестановок (упорядоченный набор из n элементов)\n",
    "$$\n",
    "A_n = n!\n",
    "$$\n",
    "\n",
    "* Число размещений (упорядоченный набор k элементов) без повторений из n элементов по k\n",
    "$$\n",
    "\\overline{A}_n^k = \\frac{n!}{(n-k)!}\n",
    "$$\n",
    "\n",
    "\n",
    "* Число размещений с повторением из n элементов по k\n",
    "$$\n",
    "\\overline{A}_n^k = n^k\n",
    "$$\n",
    "\n",
    "* Число сочетаний (набор k элементов из n, когда каждый элемент участвует в наборе только один раз и порядок не важен)\n",
    "$$\n",
    "C_n^k = \\frac{n!}{k!(n-k)!}\n",
    "$$\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Домашняя работа по простым формулам\n",
    "\n",
    "См. файл `probability_hw.ipynb`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Основные формулы вычисления вероятности.\n",
    "\n",
    "**Формула** Умножение вероятностей\n",
    "$$\n",
    "P(A_1\\cdot\\ldots\\cdot A_n) = P(A_1)\\cdot P(A_2\\mid A_1)\\cdot P(A_3\\mid A_2A_1)\\ldots\\cdot P(A_n\\mid A_{n-1}\\ldots A_1)\n",
    "$$\n",
    "В случае, если события независимы\n",
    "$$\n",
    "P(A_1\\cdot\\ldots\\cdot A_n) = P(A_1)\\cdot P(A_2)\\cdot\\ldots\\cdot P(A_n)\n",
    "$$\n",
    "\n",
    "**Формула** Сложение вероятностей - для оценки вероятности появления хотя бы одного события из $n$:\n",
    "$$\n",
    "P(A_1+\\ldots+A_n) = \\sum_{i=1}^{n} (-1)^{i-1}p_i, \n",
    "$$\n",
    "где\n",
    "\n",
    "$$\n",
    "p_1=\\sum_{i=1}^{n}P(A_i), p_2=\\sum_{i=1}^{n-1}\\sum_{j=i+1}^{n}P(A_iA_j),\\ldots,p_n=P(A_1\\cdot\\ldots\\cdot A_n)\n",
    "$$\n",
    "\n",
    "Например, для трёх событий\n",
    "\n",
    "$$\n",
    "P(A_1+A_2+A_3) = P(A_1)+P(A_2)+P(A_3)-P(A_1A2)-P(A_2A_3)-P(A_1A_3)+P(A_1A_2A_3)\n",
    "$$\n",
    "\n",
    "**Формула** Схема Бернулли. Пусть проводится $n$ независимых испытаний с двумя возможными исходами - событие $A$ произошло с вероятностью $P(A)=p$, либо событие $A$ не произошло с вероятностью $P(\\overline{A})=q=1-p$, где событие A называется **успехом**. Такой дизайн эксперимента называется *схемой Бернулли*.\n",
    "\n",
    "Веростность, что в серии событие $A$ произойдёт ровно m раз вычисляется по формуле\n",
    "$$\n",
    "p_n(m) = P(A_n(m)) = c_n^mp^m(1-p)^{n-m}\n",
    "$$\n",
    "\n",
    "### Задачи\n",
    "\n",
    "1. Что вероятнее с равносильным противником - выиграть 3 партии из 4-х, или 5 из 8-ми?(схема Бернулли)\n",
    "\n",
    "1. Каждый 10-й договор страховой компании завершается выплатой. Компания заключила 5 договоров. Найти вероятность того, что случится хотя бы случится хотя бы один случай. (схема Бернулли)\n",
    "\n",
    "1. В урне 10 белых, 8 синих и 2 красных шара, извлекают 3 шара. Найти вероятность того, что шары будут одного цвета (сложение вероятностей)\n",
    "\n",
    "1. Телефон находится в одной из комнат с вероятностью 0.5, 0.6, 0.7. Найти вероятность того, что телефон будет найден, если пройтись по всем комнатам. (произведение вероятностей)\n",
    "\n",
    "**Формула** Формула полной вероятности. Пусть $H_1,\\ldots,H_n$ - полная группа событий. Тогда вероятность произвольного события $A$ выражается формулой\n",
    "$$\n",
    "P(A) = \\sum_{i=1}^{n}P(H_i)P(A\\mid H_i)\n",
    "$$\n",
    "\n",
    "**Формула** Формула Байеса используется для вычисления апостериорной вероятности гипотезы \n",
    "$$\n",
    "P(H_i\\mid A) = \\frac{P(H_i)P(A\\mid H_i)}{\\sum_{i=1}^{n}P(H_i)P(A\\mid H_i)}\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Задачи\n",
    "\n",
    "#### Задача 1\n",
    "\n",
    "![ivi_main](img/ivi_main.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Рассмотрим трафик на карточке с фильмом в ivi. На прямые переходы из поисковых сист приходится в два раза больше трафика, чем на  просмотры из центрального промо-блока.\n",
    "\n",
    "При этом конверсия в просмотр при прямом заходе составляет 0.1, а конверсия в просмотр при переходе с ЦПБ 0.3. Найти вероятность того, что случайно зашедший пользователь совершит просмотр."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# ---- ВАШ КОД ТУТ ---\n",
    "\n",
    "\n",
    "# --------------------"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Наивный байесовский классификатор (Naive Bayes)\n",
    "\n",
    "Пользуясь теоремой Байеса, можно выбирать по результатам опыта наиболее вероятную гипотезу, апостериорный выбор наиболее вероятной гипотезы можно рассматривать как решение задачи классификации (каждая гипотеза из пространства гипотез является меткой класса):\n",
    "$$\n",
    "P(C|X) = \\frac{P(C)P(X\\mid C)}{P(X)}\n",
    "$$\n",
    "\n",
    "![bayes.png](img/bayes.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "где $P(C|X)$ - апостериорная вероятность класса, $P(C)$ - априорная вероятность класса, $P(X\\mid C)$ - правдоподобие (likelihood), $P(X)$ - априорная вероятность данных.\n",
    "\n",
    "Для примера возьмём кусок датасета [пассажиров Титаника](https://www.cs.toronto.edu/~delve/data/titanic/desc.html)\n",
    "\n",
    "| Class  | Survived |\n",
    "| --- | --- |\n",
    "|\t2nd\t|\tno\t|\n",
    "|\t3rd\t|\tyes\t|\n",
    "|\t1st\t|\tyes\t|\n",
    "|\t3rd\t|\tno\t|\n",
    "|\t1st\t|\tno\t|\n",
    "|\t3rd\t|\tno\t|\n",
    "|\t3rd\t|\tno\t|\n",
    "|\t3rd\t|\tno\t|\n",
    "|\t3rd\t|\tno\t|\n",
    "|\t3rd\t|\tno\t|\n",
    "|\t3rd\t|\tno\t|\n",
    "|\t2nd\t|\tno\t|\n",
    "|\t3rd\t|\tno\t|\n",
    "|\t3rd\t|\tyes\t|\n",
    "|\t3rd\t|\tno\t|\n",
    "|\t1st\t|\tno\t|\n",
    "|\t3rd\t|\tno\t|\n",
    "|\t3rd\t|\tyes\t|\n",
    "|\t3rd\t|\tno\t|\n",
    "\n",
    "Найти вероятность события \n",
    "$$\n",
    "P(Survived = Yes | Class= 1st) = \\frac{P(Class=1 | Survived = Yes) \\cdot P(Survived = Yes)}{P(Class=1)}\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Самостоятельная работа**\n",
    "\n",
    "Найдите с помощью теоремы Байеса вероятность выжить при условии, что у пассажира билет первого класса"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Class</th>\n",
       "      <th>Survived</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2nd</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>3rd</td>\n",
       "      <td>yes</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1st</td>\n",
       "      <td>yes</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "  Class Survived\n",
       "0   2nd       no\n",
       "1   3rd      yes\n",
       "2   1st      yes"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "\n",
    "df = pd.DataFrame(\n",
    "    {\n",
    "        'Class': ['2nd', '3rd', '1st', '3rd', '1st', '3rd', '3rd', '3rd', '3rd', '3rd', '3rd', '2nd', '3rd', '3rd', '3rd', '1st', '3rd', '3rd', '3rd'],\n",
    "        'Survived': ['no', 'yes', 'yes', 'no', 'no', 'no', 'no', 'no', 'no', 'no', 'no', 'no', 'no', 'yes', 'no', 'no', 'no', 'yes', 'no']\n",
    "    }\n",
    ")\n",
    "\n",
    "df.head(3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Байесовский классификатор текстов\n",
    "\n",
    "Описаный подход можно обобщить на многомерный случай - для примера решим задачу классификации текстов. Возьмём набор данных [с текстами смс-сообщений](https://archive.ics.uci.edu/ml/datasets/SMS+Spam+Collection) В датасете два поля - **текст смс-сообщения** на английском и **класс смс сообщения**. В наборе два класса сообщений: спам и не-спам. Задача классификатора - по тексту сообщения определить его класс, то есть понять, является ли сообщение спамом.\n",
    "\n",
    "Класс смс-сообщения определям при помощи теоремы Байеса:\n",
    "$$\n",
    "c_{MAP} = \\arg \\max_{\\substack{c \\in C}}P(c \\mid X) = \\arg \\max_{\\substack{c \\in C}}\\frac{P(c)P(X\\mid c)}{P(X)}\n",
    "$$\n",
    "\n",
    "MAP - Maximum a posteriori estimation, то есть такая оценка называется \"оценкой апостериорного максимума\", т.к. мы находим гипотезу $c \\in C$, которая имеет максимальную апостериорную вероятность.\n",
    "\n",
    "В формуле выше $X$ -это полученные в результате опыта данные, то есть сами документы (текстовые сообщения), каждый документ представляет собой эксперимент с исходом $x \\in X$.\n",
    "\n",
    "Нужно как-то перейти от числового описания к векторному. Каждый документ $x \\in X$ будем представлять через входящие в этот документ слова в виде вектора $x = [x_1, \\ldots, n_n ]$, где n - общее количество (различных) слов во всех документах коллекции, т.н. размер словаря. При этом\n",
    "$$\n",
    "\\forall i: x_i = \\left\\{ \n",
    "\\begin{array}\n",
    " \\tex{1}, x_i \\in x \\\\\n",
    " 0, \\text{otherwise}\n",
    "\\end{array}\n",
    "\\right.\n",
    "$$\n",
    "тогда\n",
    "$$\n",
    "c_{MAP} = \\arg \\max_{\\substack{c \\in C}}\\frac{P(c)P(x_1\\cdot \\ldots \\cdot x_n\\mid c)}{P(X)}\n",
    "$$\n",
    "\n",
    "Т.к. $\\forall c$ величина $P(X)$ будет постоянной. Ещё мы можем посчитать $P(c)$ как эмпирическую частоту гипотезы по имеющимся данным.\n",
    "\n",
    "Самое сложное это вычислить $P(x_1\\ldots x_n\\mid c)$, формула произведения вероятностей будет слишком сложной. Выход из этой ситуации - применить сильное предположение о независимости признаков.\n",
    "$$\n",
    "P(x_1\\ldots x_n\\mid c) = P(x_1 \\mid c)\\cdot \\ldots \\cdot P(x_n\\mid c) = \\prod_{i=1}^nP(x_i\\mid c)\n",
    "$$\n",
    "При этом $\\forall i: P(x_i \\mid c)$ это частота встречаемости слова $x_i$ в категории $c$ - величина, которую можно  вычислить просто. Этот подход в общем виде описан [в статье Сергея Николенко](https://habr.com/company/surfingbird/blog/150207/). Некоторые улучшения алгоритма (например, сглаживание) описаны в [статье на Хабре](https://habr.com/post/415963/), а по [этой ссылке](https://habr.com/post/120194/) доступен код на python. О разных подходах к векторизации текста можно почитать [тут](http://www.inf.ed.ac.uk/teaching/courses/inf2b/learnnotes/inf2b-learn-note07-2up.pdf) и [тут](http://lpcs.math.msu.su/~pentus/opm/simple_classifiers.pdf)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Обучение наивного байесовского классификатора сводится к вычислению по корпусу текстов (тренировочных данных) относительных частот по категориям, тогда мы получаем т.н *multinomial bayes model*:\n",
    "$$\n",
    "\\forall i,j: P(x_i \\mid c_j) = \\frac{n_{c_j}(x_i)}{\\sum_{k\\in V}n_{c_k}(x_i)}\n",
    "$$\n",
    "где $n_{c_j}(x_i)$ - количество раз, которое слово $x_i$ встречается в теме $c_j$, а $V$ - *словарь* корпуса документов, множество всех слов\n",
    "\n",
    "Задача - реализовать класс наивного байесовского классификатора согласно спецификации"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"имплементация наивного байесовского классификатора\"\"\"\n",
    "class NaiveBayes:\n",
    "    def __init__(self):\n",
    "        pass\n",
    "\n",
    "    def fit(self, data: list, target: list):\n",
    "        \"\"\"\n",
    "\n",
    "        :param data: массив документов, каждый документ - объект типа str\n",
    "        :param target: массив меток объектов\n",
    "        :return:\n",
    "        \"\"\"\n",
    "        pass\n",
    "\n",
    "    def predict(self, data: list):\n",
    "        \"\"\"\n",
    "\n",
    "        :param data: массив документов, для каждого из которых нужно предсказать метку\n",
    "        :return:\n",
    "        \"\"\"\n",
    "        pass"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Реализовать классификатор в файле `naive_bayes_hw.ipynb`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Основы теории вероятностей: случайные величины\n",
    "\n",
    "## Дискретные СВ\n",
    "\n",
    "Случайная величина- это целочисленная функция над случайным событием $X(\\omega): \\Omega \\rightarrow R^1$. *Реализация* случайной величины - это конкретное значение, полученное в результате эксперимента.\n",
    "\n",
    "*Дискретная случайная величина* задаётся таблицей распределения\n",
    "\n",
    "| x  | x_1 | x_2 | $\\ldots$ | x_n |\n",
    "| --- | --- | --- | --- | --- |\n",
    "|\tp\t|\tp_1\t| p_2 | $\\ldots$ | p_n |\n",
    "\n",
    "Причём выполняется условие нормировки $p_1+\\ldots p_n = 1$\n",
    "\n",
    "(дописать примеры)\n",
    "\n",
    "### Числовые характеристики дискретных СВ\n",
    "\n",
    "**Математическое ожидание** это аналог среднего арифметического\n",
    "$$\n",
    "m_x = M[X] = \\sum_{i=1}^{N}x_ip_i\n",
    "$$\n",
    "\n",
    "**Дисперсия** является мерой разброса в реализациях случайной величины\n",
    "$$\n",
    "d_x = D[X] = \\sum_{i=1}^{N}p_i(x_i-m_i)^2\n",
    "$$\n",
    "\n",
    "### Пример: биномиальное распределение\n",
    "\n",
    "Случайная величина $X$ с реализациями $x_k=k, k=\\overline{0, n}$ имеет биномиальное распределение $X \\sim Bi(n,p)$ с параметрами $n$ и $p\\in(0,1)$, если вероятность события ${X = x_k}$ вычисляется по формуле Бернулли:\n",
    "$$\n",
    "p_n(k) = P{X=x_k} = C_n^kp^kq^{n-k}, q=1-p\n",
    "$$\n",
    "Характеристики СВ, распределённой биномиально \n",
    "$$M[X]=n\\cdot p; D[X] = npq$$\n",
    "\n",
    "Другой пример дискретного распределения - распределение Пуассона.\n",
    "\n",
    "## Непрерывные СВ\n",
    "\n",
    "*Непрерывная случайная величина* задаётся функцией плотности распределения $f(x)$. С помощью плотности можно вычислить вероятность попадения СВ в интервал\n",
    "$$\n",
    "P(a\\le X \\le b) = \\int_a^b f(x)dx\n",
    "$$\n",
    "Функция распределения - это интеграл плотности вероятности\n",
    "$$\n",
    "F(x) = \\int_{-\\infty}^{x}f(t)dt\n",
    "$$\n",
    "\n",
    "### Пример: нормальное (гауссовское) распределение\n",
    "\n",
    "$X \\sim N(\\mu, \\sigma)$, где $\\mu=m_x$ - матожидание и $\\sigma^2=d_x$ - дисперсия.\n",
    "Плотность вероятности\n",
    "$$\n",
    "f(x) = \\frac{1}{\\sigma\\sqrt{2\\pi}}exp\\left( -\\frac{(x-m_x)^2}{2\\sigma^2} \\right)\n",
    "$$\n",
    "Функция распределения\n",
    "$$\n",
    "F(x) = \\int_{-\\infty}^{x}f(t)dt = \\Phi\\left( \\frac{x-m}{\\sigma}\\right)\n",
    "$$\n",
    "где $\\Phi$ - функция Лапласа $\\Phi(x) = \\frac12 + \\Phi_0(y)$, которая обладает свойством симметричности $\\Phi(x) = -\\Phi(-x)$\n",
    "$$\n",
    "P\\left( \\frac{|x-m|}{\\sigma} \\le k \\right) = 2\\Phi_0(k)\n",
    "$$\n",
    "\n",
    "Вероятность попадания случайной величины $X \\sim N(\\mu, \\sigma^2)$ в интервал $[\\alpha, \\beta]$:\n",
    "$$\n",
    "P(\\alpha< X < \\beta) = \\Phi_0\\left(\\frac{\\beta - a}{\\sigma}\\right) - \\Phi_0\\left(\\frac{\\alpha - a}{\\sigma}\\right)\n",
    "$$\n",
    "\n",
    "### Центральная предельная теорема\n",
    "\n",
    "{X_n} - последовательность независимых одинаково распределённых случайных величин, причём $\\forall n: D[X_n]=\\sigma^2<\\infty, M[X_n]=\\mu$, тогда\n",
    "$$\n",
    "\\frac{\\sum_{i}^{n}X_i - \\mu n}{\\sigma\\sqrt{n}} \\rightarrow N(0,1)\n",
    "$$\n",
    "\n",
    "Другими словами $\\sum_{i}^{n}X_i \\sim (n\\mu, n\\sigma^2)$\n",
    "\n",
    "## Другие характеристики СВ\n",
    "\n",
    "**Квантилю** уровня $p$ случайной величины с функцией распределения $F(x)$ называется такое значение $x_p$, при котороым выполняется условие\n",
    "$$\n",
    "x_p = \\{\\min{x}: F(x) \\ge p\\}\n",
    "$$\n",
    "Квантиль уровня $p=\\frac{1}{2}$ называется *медианой* распределения."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Случайные величины в жизни\n",
    "\n",
    "Откуда берутся случайные величины в интернет-сервисах?\n",
    "\n",
    "Все процессы случайны - ежедневно приходит случайное количество пользователей, которые совершают случайное количество действий. Задача аналитика - понять законы, по которым протекают эти случайные процессы и учесть влияние случайностей в аналитике для избежания ошибок."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Например, рассмотрим продуктовую метрику \"конверсия из показа карточки контента в просмотр\":  \n",
    "* пользователь заходит на главную страницу ivi\n",
    "* рекомендательная система показывает постеры нескольких карточек контента\n",
    "* если рекомендательная система угадалы вкусы пользователя - начинается просмотр контента. Если выдача рекомендаций пользователю не подходит - событие \"просмотр контента\" не возникает\n",
    "\n",
    "![main_page_ivi](img/main_page_ivi.png)\n",
    "\n",
    "Вычислим эту метрику с помощью SQL на основании данных событийной аналитики\n",
    "* берём только события с платформ `xboxOne` и `Windows 10`\n",
    "* тип события `page_impression` (показ контента) и `click` (клик по постеру)\n",
    "* валидация событий: просмотры, у которых отсутствует `impression` из выборки исключаем\n",
    "* считаем конверсию по датам в разбивке по платформам\n",
    "\n",
    "Цель исследования - понять, есть ли отличия в конверсии между просмотрами на платформах `xboxOne` и `Windows 10`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>date</th>\n",
       "      <th>subsite_title</th>\n",
       "      <th>conversion</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2019-06-01</td>\n",
       "      <td>Windows 10</td>\n",
       "      <td>0.197802</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2019-06-01</td>\n",
       "      <td>xboxOne</td>\n",
       "      <td>0.200704</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2019-06-02</td>\n",
       "      <td>Windows 10</td>\n",
       "      <td>0.287532</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2019-06-02</td>\n",
       "      <td>xboxOne</td>\n",
       "      <td>0.270677</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2019-06-03</td>\n",
       "      <td>Windows 10</td>\n",
       "      <td>0.439331</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         date subsite_title  conversion\n",
       "0  2019-06-01    Windows 10    0.197802\n",
       "1  2019-06-01       xboxOne    0.200704\n",
       "2  2019-06-02    Windows 10    0.287532\n",
       "3  2019-06-02       xboxOne    0.270677\n",
       "4  2019-06-03    Windows 10    0.439331"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import os\n",
    "import pandas as pd\n",
    "from sqlalchemy import create_engine\n",
    "\n",
    "\n",
    "postgres_host = '40.89.151.14' #os.environ['APP_POSTGRES_HOST']\n",
    "database = 'postgres'\n",
    "port = '5433'\n",
    "user = 'mai'\n",
    "password = '1930'\n",
    "\n",
    "engine = create_engine(\n",
    "    f'postgresql://{user}:{password}@{postgres_host}:{port}/{database}'\n",
    ")\n",
    "\n",
    "sql_str = \"\"\"\n",
    "SELECT\n",
    "    date,\n",
    "    subsite_title,\n",
    "    SUM(content_watch)::float / SUM(content_impression)::float as conversion\n",
    "FROM (\n",
    "    SELECT\n",
    "        user_id_for_mai,\n",
    "        content_id,\n",
    "        subsite_title,\n",
    "        to_char(to_timestamp(rocket_datetime), 'YYYY-MM-DD') as date,\n",
    "        MAX(CASE WHEN name in ('page_impression', 'click') THEN 1 ELSE 0 END) as content_impression,\n",
    "        MAX(CASE WHEN name='content_watch' THEN 1 ELSE 0 END) as content_watch\n",
    "    FROM movie.events\n",
    "    WHERE\n",
    "        content_id > 0\n",
    "        AND subsite_title in ('xboxOne', 'Windows 10')\n",
    "    GROUP BY user_id_for_mai, content_id, date, subsite_title\n",
    ") as content_watches\n",
    "WHERE\n",
    "    content_impression > 0\n",
    "GROUP BY date, subsite_title\n",
    "ORDER BY date, subsite_title\n",
    "\"\"\"\n",
    "\n",
    "conversion_df = pd.read_sql(sql_str, engine)\n",
    "\n",
    "conversion_df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Визуализация метрики"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.axes._subplots.AxesSubplot at 0x7f8c976edf28>"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXoAAAEGCAYAAABrQF4qAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjIsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8li6FKAAAgAElEQVR4nOy9eZgjV3k1fq72vRf1vk/Pvnpsj3dsDBgvIbEBY2JDCIQAIUBCfiFfErISSEIgCb+EDwMGQoAkxhCwwYCNwTY2xuss9uxbbzO9t6RWa991vz9u3VKpVCWVtunucZ3nmaenSypVtVR669zznvd9CaUUOnTo0KHj4oVhtU9Ahw4dOnQ0F3qg16FDh46LHHqg16FDh46LHHqg16FDh46LHHqg16FDh46LHKbVPgE5Ojo66MjIyGqfhg4dOnSsKxw8eNBPKe1UemzNBfqRkREcOHBgtU9Dhw4dOtYVCCHn1B7TpRsdOnTouMihB3odOnTouMihB3odOnTouMihB3odOnTouMihB3odOnTouMihB3odOnTouMihB3odOnTouMihB3odOnSsKpZjafz4yNxqn8ZFDU2BnhByKyHkNCFkjBDy5wqPv4cQ4iOEvCL8e5/ksXcTQs4K/97dyJPXoUPH+sd3D0zjI/e/jJV4erVP5aJFxcpYQogRwL0A3ghgBsB+QsjDlNITsqd+h1L6Edm+7QD+FsA+ABTAQWHfYEPOXocOHesevkgKABBKZNDqsKzy2Vyc0MLorwQwRimdoJSmATwA4A6Nr38LgJ9TSpeF4P5zALfWdqo6dOi4GBGIskAfTmRX+UwuXmgJ9P0ApiW/zwjb5LiTEHKEEPI9QshgNfsSQj5ACDlACDng8/k0nroOHTouBgRiTLIJJzOrfCYXLxqVjP0RgBFK6R4w1v7NanamlH6FUrqPUrqvs1Ox+ZoOHTouUnDpJpzQA32zoCXQzwIYlPw+IGwTQSkNUEpTwq9fA3C51n116NDx6obO6JsPLYF+P4DNhJANhBALgLsBPCx9AiGkV/Lr7QBOCv9/DMDNhJA2QkgbgJuFbTp06NCBfJ5imQd6XaNvGiq6biilWULIR8ACtBHA1ymlxwkhnwRwgFL6MIA/JITcDiALYBnAe4R9lwkhnwK7WQDAJymly034O3To0LEOEUpkkMtTAEBEZ/RNg6bBI5TSRwA8Itv2N5L/fxzAx1X2/TqAr9dxjjp06LhIEYilxP+Hkzqjbxb0ylgdOnQ0HQuhpGijlMIXKRRJvRqTsT8+MofvHZxBPN3cm9yaGyWoQ4eOiw8fuf8QOlxWfPldlxdt54zeYjK86pKxmVweH/vuYaSyeXzi4eO4fW8f7rliCLsHWhp+LJ3R69Cho+mYXUlg0h8r2R6IMkY/4nW86pKxZxejSGXz+L3XjuLmnd34/sEZ/MYXfoXP/ew0KKUNPZbO6HXo0NFUUMqcNdFUaSAPRFMwEGCo3YGZYGIVzm71cGRmBQBw9xVD2NDhxN/+xk78/Y9P4PNPjmElkcEnfmMnDAbSkGPpjF6HDh1NRTydQyqbRySZLXHW+GNptDstaLFb6tboKaW47+lxnF2M1PU6FwqHZ0Lw2EwY8ToAAC12Mz77tj34wA2j+Nbz5/BH33kFmVxe02tNKayWpNADvQ4dOpoK7pMHgPlQsugxfyQFr9MKj92ESJ2um4VwEp9+9BR+++svYSmSrLzDKuPo7Ar2DLSCkAJrJ4TgL35tO/7s1m14+PAcPvrAy5pe68FDM2Uf1wO9Dh06moqgpP3w3EqxPBOIpeF1WeCxmRFJZUVPfS0YX2Ksdj6UxAe+dRDJTK7m12o2kpkcTs1HVBOvv3/jRrzn2hE8cnRBE6tfipQ6mqTQA70OHTqaikAZRh+IptDhssJjNwMAonWw+nFfFADwyTt24pXpFfzp9440PKnZKJxaiCCbp7ikjMNmW48bQOUgDhT6BalBD/R1QquGpkPHqxXBWBlGH+WMnvlC6rFYTviicFtNeNfVw/g/t2zFw4fncO8vxmp+PSmWY+mGftd5Inb3QKvqc7o9NgCsBqESdEbfRCxFktj9icfw/HhgtU9Fh441C67Ru6wmzK0UglYyk0MklS1i9KE6ErLjvhhGO50ghOBDN27EHXv78C8/O4PZlfrcPOO+KK7/zJP415+dqet1pDg8HUKHy4K+Fpvqc3igXwpXDvQ6o28iJnwxJDN5nFoIr/ap6NCxZhGMp2E0EGzudmE+VAi6XNLxOplGD9TP6Dd2ugCwpOZvXzMCADg5V/v3M5XN4Q+//TJi6RwePDRTVw5BCqVErBw9wk1goUKgz+cp/ApVx1Logb4OLAofQKU3WYeOix2heAZv//LzOKNgbVyOpdHmsKCv1V6k0fOWCF6XFW4u3dRYNBVLZTEXSmK00ylu29TFgv6Zpdrtlv/y2GkcnwvjrZf1YymSwosT9a/eY6ksxpai2N1fvgK2zWGGxWioGOiD8TSyFW5AeqCvA0thdqH6I/pQYx1rF3d9+Tn8++Nnm3qMX4358dLUMl6cLG1OuxxLo91pRl+LDXMrCTFByqtivS4LWuz1MXpedcsZPcB86T0eG8YWozW95tNnfPjqM5N419XD+Ic374bTYsQPX5mr6bWkOD4XRp4ClwyWD/SEEHR5rGKcUYOWZK0e6OuAzujXNhbDSeQbtNRezzgyE8J/vXAO2SYaB16aZExXSU8OxjJodzJGn8rmRc2ef286XVZRuqnVS88dNxu7XEXbN3e7cHap+kDvj6bwse8extZuN/7yTdthtxhxy84ePHJsvm7bppiI7VdPxHL0eGwVk7GV9HlAD/R1YVF4g/VAv/ZwPhDHdf/0JJ48tbTap7KqSGfzSGXz8EdTeK6JpoGXpoIACuRHiuU4q37tbbEDKFgs/RJG7xKlm9oY/bgvBgMBhoUqU47NXW6MLUWrvuH/2+NnEE5m8Pl7LoXNbAQA3L63D5FkFk+drm+u9eGZEPpabOh0Wys+t9tjU3xPpdAZfZNRYPS6dLPW8MJkANk8xUwwvtqnsqqQthz4wSvNmeIZSmREQ8KigsxQ0OhZcpFbLAPRFOxmIxwWE4wGArfVVCLdZHJ5fPj+Qzg2Gyp7DuO+KAbbHbCajEXbN3e7kMjkqnbeTPnj2NnnwVbByw4Ar9nUAa/TgocP1/c+Hp1hiVgt0BLodUbfZPBlqi+aWrOFGa9WHBQYZuhV1hFRDi6FuG0mPHZsAYl046tFD50LglKg1WEuCUq5PMWKCqPnVbEcHru5JBk7vRzHT47M47HjC2XPYcIXK9LnObZ0CwnZKvvf+IVCLilMRgN+fU8vHj+5VPM0rFA8g6lAXHMr4m6PFbF0ruzxliJJOC1G1ccBPdDXDEopFsMpmAwE6WweEYXOfKuBUCKDbz439aq/8Rw4x5KCr7Ye53LwQH/X5YOIpXP4+cnFhh/jxcllmI0Er9/WVSIjhBMZ5CnQ7rTA67TAYjKIjN4fTcErCaZuWymj5/r0hE+9aVc+TzHpj2K0w1ny2KYuxsir1emVAj0A3L63H+lsHj89Vv7Go4ajwsrkEo2MnlsslVZKHL5ICl0edT8+oAf6mhFJZZHI5LC5m11Ifg3LpwuBx08s4m8fPo5TC+ujg18zEIylMS4EhnoKcDhOL0Rwcn591krwwHnTji70eGz44cuNl2/2Ty1jV38LRrxOLMfSSGULq4Zloc9Nu9MCg4Ggt8WGOc7oo2l0Shm9zVyi0XNr4USZ7oxzoQSSmXxJIhZgzptuj7UqRp8TBpZ3SM6N47KhVgy22/Hw4drcN4fFRKxWRs8Dvbp8sxRJVdT79UBfI7hss7PPA6C4n8dqIiaMJJMWprzacPAck20MpDHj6f7mh8fwlw8drft1VgN8yd9iN+OOvX14+oyvqJtkvUhmcjgys4IrN7Sj28OCjdQOyI/V5mBBs7fFhnkpo3cWApTHbiqZG8sD/aRfPaHKb+pKjB4oJGS1IhhPI0+hyOgJIbjjkn48O+bXpI1Lkc9TPPTyLHb1e9DiMGvaR0sbBL8e6JsHvpTigX6tMPq4oMFKS81fbTh4PgiTgWBXf0tDGL0vklq37ycPnB6bGXfs7Uc2T/GTo/MNe/1XpleQyVFcOdIuygfSFsE80Lc7WaDva2FFU3mBNXtljF6uRS8KAS6ZyasWDo0vKVsrOTZ3u6py3nAXnVKgB4BrNnqRp8DZKguxnjqzhLGlKH73NRs079PDGX2ZtstLkRS69EDfHPA77M4+tgRbKxZLnmx7VTP6qSB29regy20rYYi1wB9NwRdNNaz8/UJCmozd3uvGlm5XQ+WblyaXQQiwb7gd3e5SPTkoD/StdiyEk2I1p1SjZ8lYZekGUNfpJ/xRtNjN8DpLpRaAMfp4WrvzhhdAehWkG6BwA6h2ZfSVX06gt8WGX9/Tp3kfu8UIj80k3vDkiKeziKayOqNvFvgddluvG4QAvjVisUwIxRzz65SB1ot0No/DMyvYN9zGpIA6GX06m0c4yfqkB9bIzbwacIbsspqY7LC3HwfOBTG93Bjb6f6pZWztdqPFYZYkDiVtDuTSTasNuTzFyXnGhjuKGL0JkVS2iHkvhJKic2bSryy/jC8Vmpkpge+vVb6pxOj5TauaQH9kZgUvTCzjvddtgNlYXdjt9thUVzNcPupyNyAZSwi5lRBymhAyRgj58zLPu5MQQgkh+4TfRwghCULIK8K/L2s53nrAUjgFt9UEj82MNodlzTH6uVcpoz82F0Iqm8e+4Ta0KDDEaiH9MpdzPqxVhBNZOC1GmITgctP2bgAFV1I9yObyOHguiCtG2gGw3ixmIylh9HazEXbB/tcnWCy5+6RYozeDUiCaLqzCFsJJ7BlohcNiFLV4OcYlzcyUIPa80ZiQlVbsKqFN0NerqZ/56jOTcFtNuPvKQc37cPS02FSvPR7o62b0hBAjgHsB3AZgB4B7CCE7FJ7nBvBRAC/KHhqnlO4V/n2w0vHWCxbDSXQJyacOl2XNafTyAQ+vFhwSErGXD7c1ZGqR9AZeqbnUWkQkmYHbVkj8jXY6YTaShriyjs+FEU/ncMUGFugJIehy24raIPCqWI5eoWiKF0B1uIs1eqCQQM/m8vBFUuhtsWFDh1PsZyP/+5YiqaJmZnK0OizodFs1Wyz90TTMRgKP3aT4uMloQJvDjOWYtu/89HIcjxydxz1XDRV9FlrR5VYvmloSGX390s2VAMYopROU0jSABwDcofC8TwH4DID1922oAYvhpLhU7XBZ1w6jz3DXTfJV6aU/MBXEYLsdXR6b2Cir1uIWQM7oK1/ayUwO8fTaqKkAmEbPO0MCgNlowMZOF840INDvn2KrgisFRg+wAh9p4jAYKw70fa2M0R+ZZTZDuesGKHSw9EeZ+6XbY8NopwsTCtIN1+3LMXqAyTdah4ZzN1C5FsLtTotm6eY/n50CAfCea0c0PV+OnhYrliLKOSJ+U22ERt8PYFry+4ywTQQh5DIAg5TSnyjsv4EQ8jIh5GlCyPUajrcusBhOicknFugvnEafzuaRzio3qOLSTTqbr9rymczkEF0jhV+1gFKKA+eC2DfMAg8fZlFr61sACEhYm5YBEH/+/SN4/7cO1Hy8RiOSyhQFegDY2uPG6QYE+pcmlzHU7hAJD8BL9ovtlW3OYtbuspowvZwAIQUZBIDIdrn3n6+gejw2jHY4MRNMlDQUE5uZVQj0m7vcOLsU1UR+AtFU0UpDCV6ntu98KJHBA/vP4zcu6RNvctWix8PyGgGFFYQvmoLRQNDuKH++dSdjCSEGAJ8D8DGFh+cBDFFKLwXwxwDuJ4R4FF7jA4SQA4SQAz5ffQ2DLgQopViKJEU72YVm9H/yv4fxof85pPhYXFLiXm1C9p8ePYV3fk2uvK0fnF+Owx9N4fLhNgAQGX09FkveStdhMWqSbo7MhnBsdu0UVzFGXywXbOl2Yy6UrKtqOJbK4tkxP67d6C3aLu/NshxPo13mGe8VbgxtDouYOwBQ0sFyQcgz9bTYMNrpBKXsM5ZiwheD0UAw1F7czEyOzd0uzc4bfzStmojl8Lq0MfrHji8gns7VzOYBiHFmMVQaY5bCKXS4WDFaOWgJ9LMApBmEAWEbhxvALgBPEUKmAFwN4GFCyD5KaYpSGgAASulBAOMAtsgPQCn9CqV0H6V0X2dnp4ZTunBYDCfxhKxsPBjPIJOjYoFIh9uCeLrykv358UBR1WCteHEyoOqaSGZyos2s2oTsVCCGcwH1CsS1jgNTBX0eQEPmkHK9dmOnq2IyNpvLY3o5jlAig1B8bbReCCcy4sqGgw+d1iplKOFHh+cQS+dw176Bou1dHisiyaz4XQjGMkWMHgB6BWYrt0MWpBuB0Qt5pp4WG0Y7GGOf8BXLN2NLUQy3O2AxlQ9lm6tohaDW/kAKrdLNEycX0dtiwx6NvW2UwL30SkTDF01VdNwA2gL9fgCbCSEbCCEWAHcDeJg/SCkNUUo7KKUjlNIRAC8AuJ1SeoAQ0ikkc0EIGQWwGcCEhmOuGXz92Um871sHsBIv1Wq7JYweKD+AZCGUxD1ffQH//cL5us5nOZbGYjiFeEb5phJP58TE1HyVHftCiQxCicy69IsDrFDKbTVhi9CWglcf1sfomV6rpYvgfCiJTI69d9NN7po5HyqVMZQg1+gBiO9PPQnZb++fxuYuFy4baivazuXMpXAKqSyTAuUBvb+1+HvDIR8nuBBOwWxkssRIB2Ps0lYImVwez437sXeoct+YzYLzptIQEkqpOLC8HLxOC4LxdNnvSjKTwzNn/Xj9tq6yen8llGuDsBSuXBULaAj0lNIsgI8AeAzASQDfpZQeJ4R8khBye4XdbwBwhBDyCoDvAfggpbR+X9cFxGwwAUqBl6dXxG2FQM/eYG7D8pfJwvNqwWfO1idN8Xaw8ZTylzyezmGgzQGL0VC18yaUyIDS+pKXHMdmQ00ddKGEw9Mr2DvUCqOwjJW7OGoB77DY7bFWDPRSV4hcYmg0bv/Cs/g3DVOjlAL9QJsdToux5oTsyfkwDk+v4O4rh0oCmHTOaTDG3vcSRi9YLOXBVD5OcDGcRJfbBoOBwG0zo8ttLSqaen48gHAyi9t29VY85zanBR2uyj1vwsks0rm8qrWSo91pAaWsXYIaXpgIIJ7OiZbWWtHhssBAlAM9Y/SVA72yf0gGSukjAB6RbfsblefeKPn/9wF8X8sx1ip4sHz5XBCv29oFoNDLo8stZ/TqgZ4v816aXEY6m6+41FTDKaHQJKYiEyUzOTgsRvRImkdpBQ+IwXgGrRWSO+Wwf2oZd335eezq9+Azd+4Rq4ebjfPLcVG2AQrJ2LoYveAa6fHYEIxnkMzkxEEUckhlr2YG+ng6C18khQNT5TlTMpNDOpcXb3gchBBs6XHXzOi/s38aFqMBb7m0v+QxTn4Ww0nxuPJEYW+LMqM3GQ1wWowFRh9KFiV65RbLnx5fgMNixPWbOzSd95ZuF85UkG4qFUtxeCXVsWrPffLUEuxmI66R5TGqhcloQKfbWtLvhhfxNYTRryX4o6m6x3hVCy5/HDpfyui7JBo9Oz/1uzu/88fTObGDXS3gjD6ZySsuG+NpFuh7W2xiMksLKKVYEXTllTIsRdM5Cp0eZ4IJ3P6FZ/GZn55q+ucWSmQQSWYx0FZwNjgtRhgNpC6NPiDotXz5XK6R1aQ/DpvZgFaHuamBnieIj8+Fy0oH/O+WM3qA6fRnFiNVW3CTmRwePDSDW3b1FNkmOcR+N+GUeM3LGX2fikYPFLdBWAgnRX0aALNYChp9Lk/xs+OLeN22LtUbrxxbe9w4sxAp+55xsqZFugEKn4UclFI8cXIJ123q0Hx+5dDtsYkT7TgCsRTytLKHHlhngf6OLzyLLz89fsGOl8tT8c19ZXpFvEAWI0m0OcziNBvuBS7nvFmOFYLNs2P+ms9JysLkyV9KKRKZHOxmI/pa7VU14oqnc+Ik+ZU6E4kT/hgcFiOe+pMbcedl/fjSU+P47f94qa7XrITZILup9bcW3BeEEHhsprpdN16nBd0t6gkxjnOBGEa8Tgy3OxrWYkDxnITVYSKTE+2FSohIGprJsaXbjWA8U3UHxkePzSOczOKeK5QrPN1WE+xmIxbDSXEVKw/og23sM+puKU0iemxmhJMZUEpLGP1ohxPBeAbBWBoHzwXhj6Zw684ezee+o9eDRCaHqTKGA/7eVkzGCjcCJcsjwL6nsysJ3LS9S/P5lUO3x1bS74YrC50NSsauGSyGkzgfuHCj4ZYiSeTyFPuG2xBNZcVudYvhlMjwAMBiMqDFbi4b6IOxNIwGgl39npoDfS5PcXohApeVMbS4bFpQMsM0cbvFhN4WljzUmliVBsOVRH2MfsrPAl6rw4LPvu0S/N5rR/HS1HJTWT23zfW3FXuVWxSmFmlFPM1mDnhd1iJJQg1TQqAfbHc0mdEXrrOjM+oj9qQNzeTgI/JOV+m8eeClaQx7Hbh6VFmOIIQIRVOpQotiWaAf8jrwzfdeidsvKW3u5baZEElmEU6y976Y0TOTwYQ/hp8eW4DFZMDrtmkPpNt7mbO73GwBzdKNs3xjM+7Ue30V51cOPR5bSQdLX1Rb+wNgHQX6TC6PbJ6KgwwuBDgjftMeluw5dI5JLkvhZMlElw5X+X43y/E02hxmvGZTJ14+v4JYDYVJU4EYUtk8LhVcBvLX4Azfbjagt9WObJ5q9vdLA30wVh+jn/THsEFSkr5VcHnMVekCqgazgstlQBboPXZzzYw+IBleLbaLVbFY5vIU08sJDHc4MNTuwGww0bRktFQuOFpmlmpElG5KGT3/TKopnJrwRfHi5DJ+84rBsr7tLsGhxINgq730+K/d0qkoaXjsjNGLhoeWYukGYEVSjx1fwA2bO0TSowWbu10wGQhOzJUJ9JEUCIGiLCUFL/RSk26eOLWESwZaKk5+0opujxUrQo6IwxfW1v4AWEeBnndlDF7AAR+81e/Vo160Oy04dJ5Puk+hW/bmdrisZe2VQWFA8nWbvMjmKV6qkEhTAk/EXipY2uSMnr9HDosJfS3Fg5groZjR1x7o09k8poOJoiEQA8JSfSbYxEC/koDNbCiRCVqEwFELCuzOgha7GRaTQZXRz60kkM7lscHrxFC7A9k8bVq/IS4v7Or3VAj06oze67Kiw2WtKtD/6PA8DAR42+UDZZ/X7WH9boLxNFrs5qKiqErw2EwIJ7IFD70kUA602WEyEPzo8BxmVxK4pQrZBgCsJiM2dbnKMnpfNI12h0V0bqnBZGS5GCVG74+m8Mr0Cl6/rT63jRRKFsuLktHzO1nwAhai8MrSvhY7LhtqxaHzQeTyFL5osXQDAB3u8tWxvBR833A7LEYDnj1bvXxzeiEMAwH2DjIXS0mgF363C64bQHtzs6JAX8eqaToYRy5PMeKVBnrGspsZ6GeCCfS12kvsfh5b7Yy+MDSD9T3pKeOl57rvsBDoATRNpw9EU3BYjLhyxIvjc+o2Vp7UVAr0ALC1x1XViL3Ti2GMeJ0VC3R6PFYshlPMmlqBGcvBGb1SoDcbDRjyOvDMWT+MBlKTbXF7r0dskayEgIZiKQ6v06Ko0T95agmUAm9okD4PSAN9cUsOj82kKdm7fgJ9ml3MF5LRz4UScFiM8NhNuHSoDRO+GMZ9UeTyhapYjk6XVbzDKiEYZ0zBbjHi8uE2PDseqPp8Ti5EMNrpEnt7yy2WnNHbzUaxHWy1jN5iNNSVjJ0S7G9S6abbY4PJQDDTxCKi2ZUE+hV6iXjq0OhF6UYIVt2eUosbx5SQO9rQ4cSQlwX6Zun03Nu/e8CDZCav2r5XTMYqSCcAS8ieWdQ+eYn1fS/fUwZgn3cik8P5QLxEn68EPjeWE5Qu2feMrxSvGfVW/doAS8guSGQlOfwa+txweJ1WRenmyZNL6PHYxOlzjUCPghnAp9FaCayjQM+DWCSVVW3o1WjMryTR22IDIUSsAOTT3+Xam9dpQSSZVU04LktKwa/b5MXJ+XDVgyxOLYSxrccNJ0/GyoqmOMN3WIxodZhhM5cWTY0tRRVbNfCS/YF2e9kikErgPmepdGM0EPS12jHdTOkmmBAlIinYHNIapZtYsdWu22MT28LKMeWPwWY2oMttRW8LkxiaFeh5d8Xd/SxXoybfRJIZEAK4LMqMfluPG4lMrqiKd8IXVQyCuTzFpD+GjV3q7YA5+HfjzGJEJCVa4bGbkKdsalS701LCVvmN5pZd1ck2HJUSsv5ouqijZjkotUGglOLZcT9u3NpZVzWsHCKjl3yfl8La2h8A6yjQSwNovT5vrZgPJUTP7yWDLTAaCB4VAr2SdAMoDwmnlDJG72TM6tpNrMDj+QntrD6SzGB6OYHtvR44hCEOJYxeCPQ2ixGEEGE+ZyG4+qMp/Nq/P4P/fHaq5PVDiQwMhOnp9dgRJ/wxtDnMJQVXA232pjH6eDqLQCxdkogFmEafzuZrcvwEomk4LEY4hEDZ7bFhQaX9M7dWGgwERgPBQJu9eYw+mkaHy4LRDiecFiOOqtRlhJNZuCwm1cSpvBXCr876ceu/P4O///GJkufOBONI5/IVu0QCEPNXqWxevOa1gltBzyxGS75jAHDZUCtcVhNu2Vmb/r29l/3NaglZLX1uOLwuS8n33RdJIZLMijeURoFJNIZXD6MHcMGcN3OhpFjF57CYsK3HLTIBuXRTrjqWj6Lj7GZPfwvcVlNVNkuupW7rccNp4YxeWbrhN4LeVluRl/7Hh+eQzuUVO/iFhOZX7Q5zXYx+yh/DSEcp62OBvjmMnstTitJNHW0QAtFUUeFMjyBJRBQcU1OBOIa9hRWFFovl2FKkYnWr4nnFUmh3so6FO/tbyjD60vYHUvBAf2YhghcmAnjft/Yjnc3jiMLraW0HDBSToHaN7JiDy0zjvih6PKX73rKzB4f++o2amawc3CqrxOjj6Szi6VwV0k1pvxvei2eDwnegHhBCsLXHg/958Ry++dwU8nkqMPqLONDXa//TgnQ2D380JfblACDKN4SU+mw7yhRQyAckm4wGXDXqxbNj2hk9TyBt6/XAYeWMXkW6MbMvd6+M0T/0yhw7RwXJKJTIoMXOmOBIdZMAACAASURBVHg9Gv2kP6Z4kQ+2OeCLNKeymd9A1Bg9UFsbBJZMLHzOXC+WF67k8hTnA/GiBPSQhkD/6UdO4f3fOlCVDbPQdIudy+7+FpyYDyu+Rlg2XUoOp9WEwXY7fnJ0Hu/9xn4MtDnwzquGMOGLlvZ9X+IDPrRIN4X3rFpGz29M6Wy+qFiKgxBSc/sQju29HpxQCPRcb9fK6Hm/G6nCMNmkQA8A9/3W5bh61Iu/ffg47v7KC0hkchcfo09JA/0FYPSL4SQoBfpaCxfbZcNME/U6rSUDfst1sFxWKAW/erQd55fjYrOzSji1EIbbxmyTFqMBRgMRpRoOfjO0Wdi59bUwTTmTy2PSH8NhoTGbUquGQqA3I5LM1uQBj6ezmA8li/R5joF2FoS19AOvFjzQy4ulAMnwkRp0el4Vy6HkfACYxJfO5YtWMkPtDqzEM2VvMBP+GILxTFF7jUoIJ7LI5ql4XnsGWpDM5DGmUCEbSWZUx+FxbO324NRCBN0eG+5/31W4fnMn8rTUXz/ui6LDZdHUA8lhMYkBu2qNXnJjUpJuGoEdvR6MLUVLWob7JHZaLWh3lcq1k/4YLCZDzUNGyqGnxYb/fM8V+Ke37sbxObbqkier1bBuAn2RdHMBnDc8ianE6OWyDVDwsio5b0RGL7not/UwDU/rZPpT8xFs7/GAEAJCCBwWo4JGz37nmnJvqx2UspvWD1+ZBSFs7Fs5Rs+/mLUw4Ck/Y7DK0k3zvPSzKwmYDERxOV8foy+VboDSNgj875ZKN5UslplcXmT8j8vmHZQDTxBzYrGrn1ltjyhUyCoNHZHj9du6sKPXg/vffxW6JE4ROeMd90U1OW44eJCuVHgkh9Qh1KvA6BuB7b0eZPO05LtXLaPvUOh3M+GLYYPXWdGHXysIIbj7yiH89I9uwIdu3Ig3aLSYrp9Any4wzAthseSSh5TRD7U70CGpkpTCZjbCZTUpeumXZdINUJhMryXQU0pxaiGCbUIiCQCcFpOq68YuOBV6JV76H7w8i2tGvdjR51G0hPEBFa1CxV8t9QrcS660bC146RufoJwVPPRKXy6PrPWtVsglEkC9L7jS3z1YIdDPBBPI5SmMBoLHT2gP9NJqXQDY4HXCZTWJw7alqKTRA8A7rhrCIx+9XiQ0A212uK2mkmTluC+mSbbh6Kk10EvOt2mMnt/MZH+j1vYHHLzfzXIRo482RbaRY7DdgT+9dZtiHyMlrJtAzzVDQi5M0RRPYvZIGD0hBJ+/+1J87OativuwNgilQVSpi1+3xwq31aQp0M8EE4imsuIqAAAcVgVGn8nBYjKIAY8vH396bAFTgTjevLcfnW4rIqlSG+hKIoNWe8EtE6qh3w3XJ6VaNUeX2wazkWB6uZjRR5IZ/On3Dmuax6oGNQ89UDujl0skACtE89hMJec65Y/BajKIQzcAVPTS83qDX9/Tiwl/rGxzMimWueVTyB0YDAQ7+5QrZCPJ0nmxlUAIKdGwl2NpLMfSmhKxHFxSqDbQS1cgShp9IzDidcJmNpQUTmntXMnB/zb+mWSFVdqGKm6IFwrrJtBz6abTZb0gGv18KAG3zVTSS+PaTR0iI5CDtUFQYvQZWIRe2xyEEGzscmkK9Nz+VsLoFSpjHZJjcEb/7ZfOw2Iy4NbdPYX2qhIWQiktaPRCYKwlITvhi6HHYxN9/lJwL72c0T912ofvHpjBd/ZPl+yjFTPBuKI+D0gGTlcZ6OUSCUe3x1Yq3QiJWKmN0WMzl21XzG+K73vNKABoZvV+UV4oBKPd/S04MVeckKWUIpzMamZ8Uuzo8+DUfFgspJqownHDwdl4tUVNFpNBXJEqrZwbAaOBOVhOzBffHP3RFNw2k9iVthK4FMs/k9mVBDI5ekEYfbVYN4E+lcmBEHaXr1ejD8UzFXt8zK0kxepSrVAbEh6MpdHqMJcUUGzSGOhfmAjAYjSIsz4BZqGUNzVLpHPilwRgQc5lNQlTbrrgsZnFwCXV6WPpHHJ5WqTR17JqmvRHxZFvSlCyWB48x/oHPSLUJ1SLdDaPpUhK0XEDFAJHtYxebLErY3c9LbaSZOy5QKxIn+co57yZCsTgtpmwq9+DHb0ezTo9l26kAXT3QAtS2XzRPNREhn2mlTR6Jezo9SCWzonnXo21kuPNe/vx0TdshruKpmMcHrsJVqEjbLOwQ2iFIK2J8MfSFSdLSSHvdzOhUCy4VrBuAn0ik4PNZES74F2tB196ehy3f+FXZQc4z4cS6G2tjlF0uJU7WC7H04pL2E1dLixFUmWDEKUUj59cxDUbvWKSFWCBPiGTX+KZHOyWYjbCWf0de9k0IB64pOfJj99iN4tzVmspSpsKxLGhQz0YDLY5FAM9IaxSccpf/WDy+RAb9agm3QC1NTbjN0L559blLu53k89TnFuOK1tKy/Sl5zZUQghu2tGNg+eCmghMIJZCq8Nc5PrifnjpmL1yDc0qYYcsITvuY04StVWTErb2uPH/vXFLTdWhHptZrEhvFnb0uhFKZIqmsPkj2oulOKTVsZO+5lkr68W6CvR2ixFtjvoD/exKAqlsHj86Mqf6nPlQsshxowUdLiuC8UxJiwbeuVKOTZ2VE7LjvijOBeIlAwwcVlNFRg8wy6HHZsKNWzvFcwSKLZb8htdiN8NjM8FoIFVLNytxpuOWYzMDbfaiKWHxdBYn5sN4i3ATerQGVl/OWsnhsVc/fMSv4sDoabFiKZISZY35cBLpbB7DCnmJoXaHmHSVY1Lo2Q8Ab9zejTwFfnFqqeJ5yS2fQMHtIx2oESkzXaoSNnW5YJS08x1fimK0o3lOEjm6PFYMKbyfjQS/mZ2UJGT9sgI5LehwFlbxk/4YPDZT1XmJC4F1E+iTmTzsZiHQayiYipbpicN19AcPzagcK4flWFps9asV3EIo94qrMfrN3UJ/7TKB/vGT7Msvt1E5LcaKGj0A/Okt23Dfu/YVpmFVYPSEELTYzVUPHxETsWUDfbHFkk/t+o29fbhkoAWPHpsvewxKKV4+HyxqwsUnSw20qktGtQwfESUS2Q2622NDLk9FDX9K/LuVpRvWrrj4ekhlc5hbSYjv1a5+D7o9Vk3yDe9zI4XDYkK3x1q0IgqXmS5VCTazEZs6XRJGH61KtqkX/3LXJfjsnXuaeoytPR4YDQQ/eGVWlG/8UfX5r2ooYvT+GDZ0upq6EqkV6ybQJzI5WM0GtDvNiKayJcUOctz5xefwb4+fUXzMH2XDBQ6dXxETTVKIHvoqix42dJQyK0Bg9AoVggNtDlhMBnFylRKeOLmIHb2ekgIMh6WU0TPpppjB7ejzFA0ndlhMcFiMRRZLHui5h7nVYa5ao9dSESi3WB4S9PnLBttw2+5eHJkJqdovKaX49KOn8JYvPodvPDclbp9ZScBAyjs0+Hi6ahCIpcQe9FLwJONSmA3n/suHjsJsJNjc5S55jeF2ZefN9HIceVrQcglhLXefPuOrWDnMO1eWHMvrLLruwuJnWj2jB9h1c3I+jFSWafXVWCvrRW+LvWmOGw6X1YQ/fP1m/PjIPP7jV5NIZ/MIJTLVB3pXIdBP+KJrUp8H1lGgTwqyBE9CVZIWZoJxnFlUZsr+aApv2NYNAwEeenm25HE+ELxaRs+X71JmlctTrCQyRcVSHEYDwWiHU1W64bMxleZOOq2M0UuTSYl0FnZz5Y/U67IUJWO5lZJ76Fvt5rL5CyVM+WMwkEKhkBI4o+ddLA+cC2JLtwstDjNuE7oR/lRFvvnCk2P4yi8nYDcb8fVnJ0WHyUwwjm6PrWxZfEsNU6aYh770M+OB/h9+chJ33fc8snmKb733KsVSdDUv/aRCYdlNO7oRT+fwQoVGd/L+OxwbvE6xVTIg1ehrS2ju6PVgPpTEy+dXkKfAxq4Lx+gvFP7g9Ztw264e/OMjJ/EDIQ5o7XPD0SHkDGOpLOZCyTWpzwPrKdBnc7AJ0g1Qvg0CpRTxTA4+hfYCmVwewXgGO/s8eM3mTjx4aLakH/dcjYze67TAbTXhnOQLF0pkQKm6zWxTl0uxfB0AfnF6CXlaKtsAjJln8xRpiaUukckVJWzVwNxBpYyeuxxqyYNM+GPiCkUNXW4rzEbWlz6fpzh0LojLh1m18bDXiZ19HjxytFS++cazk/jXn5/BWy/tx///m5dgJpjAzwQ74mxQ3UPPwXrSV8/olYZmcMvf8xMBvPOqITz2RzcUrZik6G2xwWExlnjcJ/3s894g0aGvGfXCZCDYX6bJWVa4dpXa6A53sF5CUWGVV08yFii08/2xkMe6kNLNhYLBQPAvd12CLd1ufPyhowCguUUxR7vTgjxlMiSwNhOxwDoK9DzRyAN9OYdCKpsHpVDsHc7363Rbcedl/ZhdSeDFyeIvF2f01ZZgE0Iw3OEQZQzp8dQSNJu73JgJJkr61gDAEyeX0OW2YrdQ5i4F1+Kl1bGJdE7TtBmv01qi0RsNRKwZaHGYq07GqjUzk8JgIOhvZRbLMV8U4WQWlw+3i4/ftqsHh86viJo2pRT//cI5fOJHJ3Dzjm589m178MYdPRj2OvC1ZyYAsHyImrWSw2M3I5LKah6wAfCkZ+mXvttjxf+5ZSv+531X4e/fvFuxZoDDZDTg6lEvnpFNE5v0x9HmKDicAKaLtyn0N5eC90xS6sXCE7vnBPmm3LxYLeDtfB85ylZYazWA1Qun1YSv/vY+keR0Vsnoeb+bA1NMhlyr75OmQE8IuZUQcpoQMkYI+fMyz7uTEEIJIfsk2z4u7HeaEHJLrSeayORhMxvFgFkuIcu1a5/EHcHhixQKYW7e0QOX1YTvy5Kyc6Gk4tADLRj2OsUvGyCpilVp7rSpywVKUVIZmc7m8fQZH96wvUuxn7jYqjhTHOjlyVgldLqL+2iHEhl4bCYxidTmsFRlr6SU4lwgjhEFL7kcA4LFkvvnOaMHgNt2syHsjx1bwHNjfrz53mfxVz84hus3d+D/vuNSmIRmbu+9bgMOnV/B/qllLISSFW1/HpsJlEKxvbAa1LRwQgg+/LpNuE6YKVAJN2zuwLlAvOiaUGvl3KYyg5Sj4O0vvQGNiLIhW02Gk2y+gFPD9aAEr8uKHo9NNCWUu6Gtdwy2O3Dfuy7HNaNebO4uzbWUA1/1HTjHyOK6DfSEECOAewHcBmAHgHsIITsUnucG8FEAL0q27QBwN4CdAG4F8EXh9apGKpODzWwQk5rletJzN0o2T0skCM5kO91srN+bdvfi0aPzRVOX5kOJmhsqbfA6MR1MIJMrHn2oxuh5zxt5oH9xMoBoKos3qAwY5q2KeU96LldpCfRepxXLsbR4EwwlskXFKa12M2LpnOZJXuFkFtFUVnHCkxyD7XbMBuM4MBWE12kpujls7HRha7cb//TTU3jH116EL5LCP79tD77xO1cWVSu+7fIBeGwm/OMjJ5HNU/SXcdwABUlKq3zDJJK0YkCtFtdvYbZWKaufCiivfphkpn6O8tGGUsgtlryhWT0OEG5BvBj1eTmuGGnHtz9wddUuJU4GXj6/oloVvhaghdFfCWCMUjpBKU0DeADAHQrP+xSAzwCQCuN3AHiAUpqilE4CGBNer2okMky6abVzRq8e6KWFRHL5Ru6PvvPyAcTSOTx6tJAEZCMENejzyTDwldcBi8fFTcNeB3J5Ktr+lPrcSDHS4YCBlHrpnzi5BKvJoMocOaPnPem5XKVJunFZxCQxUOhcydHKE94aLZZcatFSYDbQ5oA/msZz435cNtxWEojecdUQPDYz/upN2/Hkn9yIu/YNlvi3nVYT3nHVMF4W2vtqkW4A7f1ugnGWV9HarrYcRjuc6G+145dnfADYqms+lCzS5zmYdVj9PeckRekG5LSa0OUuWCy1NDSrBC7fXIz6fKPACVw0lV2zbB7QFuj7AUgbkcwI20QQQi4DMEgp/Um1+wr7f4AQcoAQcsDn8ymeBC+YspgMcFtNZZOFUtthaaAv7mGyb7gNm7pc+PhDR3Hf0+PI5SnmQomirpWqCE4Bc4eA2UPiJv5hc2a1LEhMSq4bALCajBjxFjtveDXsazZ1lFS6chQ0eva3JtLF06XKoVA0xd6LUCKDFsn58X43Wp03fMKTlh7cPCjPh5JFsg3Hu68dwUt/eRPed/1o2ZvWu68dhkm4AVSSbqpl9AFZ47B6QAjBDVs68Px4AJlcXrwuFKUbpzZGr3YDGvE6RSNApMLQES3Y0ctyQxfSWrneIJVk12IzM466k7GEEAOAzwH4WK2vQSn9CqV0H6V0X2dnp+JzkplCorHNWZ75SBOb8k6D/kgKdrNRXGIZDATffv/VeN3WTsGn/Swiyaw2H286WvwTpRbLYDwNm9mgGrABtjSW9in5ydF5zAQTuLXMAGR+/pzRc61eXhmrBHnRVCieLmL01fa7mRU6fVZyvwDF7HufQqDXit4WO359Ty+MQoK3HMRxghq99MvR8nJbtbhhcyciqSwOT6+I14WydGPGSjytOJMWYDcgk4GoygsjHQ7xRhJuAKO/erQdlw614jWblb+TOgCz0O8GWJs9bji0BPpZAIOS3weEbRxuALsAPEUImQJwNYCHhYRspX01gVKKpJCMBVigXy4ThKQVo0qMXu6V7XRb8eXfuhyfv+dSsbhFS9BCKlL8E4xtOS1G0dO8HEursnmOTV0uTPljyORY0cbf/egEdvV78JZLSxY/IkRGny5m9OVuKBydYmMzFtCYdFMICq1V9ruZFwZ/aCk24Tq+xWgQh2bUik/cvhP/9btXVpSruLtFq3Tjj5VnztXi2o0dMBDgl2d8mCzD6NudFmTzVDVpHIim0SbMilXCsNeJpUgKsVSWzReoM9B7XVY89KHr1rQksRbACcFafp+0XAn7AWwmhGwAC9J3A3gHf5BSGgIgCsmEkKcA/Aml9AAhJAHgfkLI5wD0AdgM4KVqTzIlJAU5W21zmBWHZ3BI+7T7FDR6pYBECMHtl/ThmlEvHnp5BjfvUGfThRMrDfSEEIx0FKoUWVVshUDf6UI2z5wr33xuCoFoCv/x7n0wGdXvw9wvHxPslQXppvJH6pVIN7ydbZFGLwZ67dJNT4tNUy+UTpdVCPKemlxNUrQ6LLh2Y2X3S7XDR/gqsNoqSTW0OMy4ZLAVvzzrx5ZuFzpc1pL21wDEWQDBWFqRtfsV+txIwQPNuUAckRpbFOuoHl6nhU2WqiXQ5/OAofku94pHoJRmAXwEwGMATgL4LqX0OCHkk4SQ2yvsexzAdwGcAPBTAB+mlFY9HZoHMZtQ9dleoaBHqlfLZ7L6o+U71HW6rfjADRs1MWMl6QYo1krV+txIwXvefO/gDP77xXP47WtGsGegtew+outGuKnxn1qkm1a7GUYDQSCaRjSVFVsUi487qkvGVtPS2WAguPPyAdx9xZCm5zcCLqsJBqKd0U/4Y+L83Ebhhs2dODKzgsPTIdUlPh+krSaZBWLlr12p86aWoSM6aoPXaYXRQMRKaM2ILwNfvAr45T8358Qk0HQlUEofAfCIbNvfqDz3Rtnv/wDgH2o8PwAFF41do0bPpZthrxNL4VLp5tKh2rXhIqSixT8FjHQ48NjxBWbTi6UxWMF2yF0NX356HN0eKz5285aKh3aYeaAXGH1Gu3RjMBC0O1lLZXlVLMC81yYD0azRz4USVentn37rbs3PbQQIIaw6VqNGP+GLYrTT2dDmVDds6cC/P3EWpxcjePu+AcXnSBm9EgLRNIaG1K8lnh+a9McQTVWeF6ujMbhmoxcGA4paR1dEPgc8+H7AfwaYP9y8kxOwLipjk7Ig1u60IJbOqTaA4ux2xOso0uhzeYrlWBqdDdJe1Rj9sNeJbJ5idiWB5VgabRWYodNqEvvq/N3tOzV9QU1GA6wmgyhTiRq9RjnE62RjD5UCPSEErQ6LJukml6dYCCWbMvW+kWipog3ChC+G0TJ99WvBJQOtIsNW6/DZXqG9R0Chc6UULqsJnW4rTsyFkae1tz/QUR3efe0IvvjOy6vb6enPAGOPA2YnEPNXfn6dWBeBnrNVXjTDXSFqgSiezsEkuDGWIknRxRCIpZCnQIdCA6qaoKDRAwWtdGyJlflrGad2884evPWyftyyU0NuQIDTWhgQzt8jLfZKgOnPgZiU0RefY6vgAKkEXySFbJ5W3RfoQsNj09bYLJLMYCmSwmiDrXImowHXCfkEJQ89gLLtPZKZHGLpXMV+6SNeB47MsvoCndGvUZz+KQv0e98JbLkZiClbyhuJdRHo5YyeM2Q15hNPM899l8eKZCYvuhj8EeVhEjWDB/gSRs+W17zRkRab3idu34nPvX1vVXKBw1IYEB6vwkcP8EHmqaKhI1K0aex3MycUS/VXOY3rQsNjN4k92suB9ylqhnecD3/hORk53GWGvgQ0OoFGvE5xAHutLYp1AMhlgUztA+tVsTwBPPQBoGcP8KZ/BZxdQFQP9ADY0BEAsAmdEduc5bXMeDoLp8WELnehdzhQWixVN9LKGn2nywqnxShWbqr1uakXDouxwOh5wlpjoPe6rAhIpRuZvNRi19bBsppiqdWE1lbFfBzfaBOqQe/aN4jv//412KTQux5guZNWu1mxvQdvK12piEsqC+mMvg48+qfA124CVGoaasbT/8ycNr/5X4DZDjg7gVQIyJY2YCwLSoGZA0zr14B1EejlHnHOkNX63cSF5l5dgkTDnTeFQN+gwJtS1ugJIRj2Oqti9LXAYTGJhVLyhHUldLisiKdzWBCshEqMXhoYKaUYkw5IOfFD4Gd/jXmhWKrasYsXGh6bNo1+wheFgUBx2He9MBpIUbdOJbQ5lRvKiX1uNDB6Dl2jrwNjjwOLR4Hpqt3g6qAUGH8S2PxGoG2EbXMJxWjV6vTHvg987Q3A4Qc0PX19BHq566aCOyEhkW6AgpdeDPSN0uhFRl86IWqkwyH2Bm8Wo3dajWILhHg6B7ORaM7884Ax4YvBaCAlXQ7ZlKnC+/uDV2Zx0+d+icPCzQsv/w/w/L1YXF6By2qquzin2dDK6MeFvvrSJmoXEmodLLWuRqU3qLX+maxZRBaAlXPs/4fvb9zr+k4B0QVg9MbCNicP9FXIN8kw8NhfsP+f+IGmXdZFoOcaPS+w4f7mZZVWxTFBuukskW7SYq+chkCq0eeLOz1KmVUzGT1vgZDMlA4GLwe+qhn3RcVZsVK0Oiz4A3o/UuPPgFKKLz01DgCFwRj+MwDNgSydQF+rbU3OyZTCYzcjlc1XHNU34Ys1PBFbDdpU3E6BCl1QOXTppgGYFhrwdm4Hjj0IZBLlny8FpcCDvwcc/V7pYxNPsZ8bX1fYVkugf+rTQHSJ3TDGfwEkQ5X2WJ+B3mw0wG1Tb2zGGb3HZoLVZChIN5EUOl3WxgUlqWSTKZ4TKw30jSy8kYINCC8UTGmpiuXgzHDCFyuRbQDAa8ngw6aHkT/wTTx12ieOZTwyI+iJAuNpCZ1c87INUJgMxecBKyGfp5j0RxturawGbQ7l4SOBaAo2s6Fist1lNYmfrV4ZWyOmXwJMNuDmvwdSYeCUvFdjGSweA448wIqg5Pr++C+A9lGgVVIs6BQqu7UG+oVjwIv3Aft+B7jxL4B8BjjzWMXd1kWgVyoGaneqJwu5Rk8IQZfHKnrpfdFU42QbgGn0xFD4vwR8Ce20GOsu9VeDw2oSWyBwp5FW8DYIiUxOMdD3gV14xHcK9/1yHL0tNty0vQuHZ1aYc4CyFUxP/MyaT8QC6vNbpZgPJ5HM5FeX0TsZo5c3NvMLE6+0kJQRrwMmAxEryXVUiekXgb7LgI2vBzwDwOFva9/32IPsp+8UsHC0sD2XAaZ+BYy+rvj5TmEetJZAn88DP/kYYG8FXv/XwMAVgLuX5csqYF1cCXLXDaDOfAAe6Bm77XLbiqSbhhVLAUy6cQmDQWQJWe6l1+KhrxVSRl+tdCPtmaIU6DszbHarafkMXprw43dfswGXDbfhXCCO2OwJAAC1t2FjbqLqIeqrAd41cyaovgyfEIa/rK50Y0Y6lxclOY6ZYLxiO2aOTV0utDstta1cZw4CK+er368a5DLAjz4KBMabe5xakEkCc68Ag1eyHjSX3M0SqOHSWcYloBQ4/iC7SRhMwJHvFB6b2c9W/aM3Fu9jcQImu7ZAf/jbwPQLwE1/Bzja2flt+3Vg7AkgHSu767oI9IkMSzRKm3y1yZKFUjAZgwW9Lre1yHXTMGtlLgtkE+yOCpQkZDvdVjgsxqbp8wBgt5iQSGdAf/zH6I6eqorR28xGMVehFOjbUmwotCmfwjbbMu6+cgiXCP13lqaOAQAiG34N28h59LVU+BtXpoHJX2o+t2ag22MTB5OrgVsrV3PQhpp1eCaYqNhKg+OPb96Cr7/niuoPTilw/9uBJ/+++n2rwdIJ4OA3NDtGasbcy2wwUCJY3T75DDB4Fft97zvY6lUatMvtG5xissrmm5kzhtsfJ55iq/8NNxTvQwjT6bV46X/1OaD/clZoxbHjdhaHxh4vu+v6CPQKQ69Zvxv1ytjiQM9mxy7HlDtX1gTO4HmgV7BYbu521zySUAucFiM6EAY58B/YE3tOc7EUB3feKAV6V6IwR/d9W5JwWU1iW+HU/CnA04+F1r2wkzQ2GhZK9i/Cc58H/uftmj2/zYDRQNDXasd0BUbvlNhyVwNtCm0Q0tk8FsLJipO0OLrcttpaQIdmgLgfCJ6rft9qwF9/poHWRSVMPMUGA50tHwSLwBOxg8IgPO9GFvQPf7uyp/74g4DBzFj2nrcDkXlg6hn22PgvGNO3KzQrdHZUZvSZJFsBbXpjcbfLoWsBhxc48XDZ3ddFoE9lSwO9WgfLXJ4ilc0XpBuPDZFkFvPhJHJ52jgPvRjohZYFMo0eAL70zsvwqTfvaszxFOCwmtBJmN3Rng1VJd0AhYSsUqC3R6dxLs/0w5s7l8XnjXY6YV0ZBzo2Y9I0CgDoT54pZJloLwAAIABJREFUf6DoEmMdwamqzq/RGGizl2f0/hhGO12r6iBS6mA5t5IApZVHJtaNhSPsZ7jqkRHVgVsXqyj4qQn8hlKB7RZh+iWgfWMhSQoAl9zDNPe5l9X3y+eBYw8xXd/RDmy5FbB6gCPfZa6Y2YOlsg2Hq6tyoF+eAECBjs3F240mYNubKiZk10WgT6RL9ec2pwVxhcZmXLPm7LZTYGcn58IAGtnnpjyjB1i1KK/ObQacFiO6hEDvyIWVpZvZg+xiy5cO+i7H6A2hcxg3jCBo7oErdFbcfkl/CzrT04B3M85k+5GiZrSFT5U/0YRgyfSd1viXNQeDbQ6xPYASVttaCSh3sOR5harb4FaLeR7o55ocgKfYz3QUWDrZ/OOMP6F4/ZeAUsboh64u3r7zLUxHf+rT6qx+Zj8QngF2vZX9brYzWeXEw8DZnwM0V2yrlEILow+MsZ/ejaWPbb8DSJfW8kixLgJ9MpMvDfQqnf7kVbR8GX5iXgj0DZduOKMPN+Z1q4DDUmD0rnxYWbp56p9YO9T/fgsQKmZqXjVGTylIcApXXnYpPMN7gKVCIL+qKwMX4gi7NmAmnMG4YQimxaMoizgP9BVuCE3GQJsd/mhK0UufSOcwu5JYVWsloNzBkq9CLhijpzkguti84wTPAXahQphLJU05zhRgdrAgyv+2clieYNIVl2047K3AGz8JnP0Z8MKXlPc9/iBgtAJbf62wbc9vsgD8+N+x8xhQyZs4O9k5lpOGAgLZ8m4qfWzDDYC1vFS3LgJ9IpMrsYqJS1yZTs+be9106MPAi/eJjPrEXIMDPQ/sYjK2lNE3G06rEZ1gxRLufFjZxhnzA+4+YHo/8KVrigo5ROlG7vOPLgLZJFw9m2Hs3s4ushx7ny91MOZxOteLuVACM5ZN7EtU7iKNrxKjlzWl4mMMleQb3sxstRm9x24GIcWMfjoYh9FAxFqApmH+CGAX5gqEZso/tx6snANGrmMBbmZ/c46RzwGhaWDXnez3sZ9X3kfU568qfezK9wNb3wT8/G9KJZx8Djj+A9bawOYpbB9+DeDpB0LngeHrAJNK7HF2AvkskFxRP7fAOODqAawKfZJMFmDrbWX/tHUU6OUl+sqMPpbOgiCPLt9zwNSvxDYInNF3NizQC4Hd1QWAKEo3zYbDYhQZvQdRZUYf9wMbrgc++AzQsRX4/u8CrzBfcIeadMO1zbYRoGsHkEsLGiEwCmYz2x/xYm4lgYBnG3M1lAsMiVVg9L4zwGdG2LJZwGA7Y8RKCdkJ/+pbKwGWNG61m4s0+plgAn2ttrKjJetGfJlJD5tvYb83K9BTyuybrcPAwJWN7SUjRXiWBc+BK4DevcyCWAnTLzJm3LG19DFCgDu+wL7v33tvscvu/POstcHOtxTvYzAAu9/G/j96o/pxRS99mX43/rOl+rwUl/6W+mNYJ4E+pRDoeXCS9y9JpHPwIgIDzQGRebQ7LDAZCM4vx2ExGhrXupUHdqub/VsFRi+VbloRVa6MjS+zrLx3I/A7j7ILefYgAGCo3QFCUOoM4tpm2wjQuY39X9BSzcExJGDDc0tWzK0kkfDuZI+rLY3TcSCbBIiRtU3QopU2As//X5YAnj0kbioweoVAL1gr18KA5zaHpahh30wwgYHWZuvzwpQjzgyblZAVVotoG2ESyfJ4cwZviNfwMLDpJnZDSZRhzAB7zuAV6jNcHe3AnV9jr/3QB4Ff/gtw/93Ad36Lafhbbi3d5/L3AH2XMr1eDTzxG11Sf05gTFm24dhwvfpjWCeBPqFQDKQW6OPpHLqJ4JuNLMBgIKJE4XXVWESihJQk0FtcFZMhzYDTYkInEaQbkoDDKAuimSS7ITkEPdRoAjy9zPYF4LVbOvHkx24UR9CJCE4BIEDLINC5lf2fJ838Z7BsH8L+c0EkMjkYenaxx+dVAj1n8317gUycLWObjegScFjwPQsrEUAYTG4yYEahOnbCF0Vfi62qNhLNgryD5fRyvD59/qHfr+xZ5zfqDTew6znUpEDPV4utwwUtvBnyjZSsbLqJ5R0mn1Z/fmKFXeODV6s/BwCGrwVu/Dhw6sfAk59iAXjLbcA7vgNYFfI77aPAB54qbnsgR6V+N/Fl9j0qF+grYPWvag1IZErL+3n/mNJAn0WXGOjngXweXR4rFsLJxunzQCGwW1zsA14NRm81oguFYpBWIjsHHmQd3sI2V7eYaCOEKDPY4BTg6QPMAtNv3wD4hEAfOItM2y6kguym0u1tZ0tKNUYfD7Cfw9eylYTvdKFFa7Pw0leBXIoFk+CkuNlgIBhotSszesFauRbQ5jBjVmj/nMzksBRJ1e64yWVZsU8qzKo81TB/mJX7O9qZrhxuknQjZdqtQ6yCdPqlihpzTcchRvY3eQbYSnbscWDHHcrPP/88AMoYfSVc/yfMRtk+WiBR9aBSoPcLidhy0k0FrAtGn8zkS5KxdrMRZmPpNJ4iRp/PAvGA6LwRPfTTL7FlVz1IRdlFarIKjH4VkrECow+bWCD35GXOH74kdkg8we5e1oa1HIJTxcG4awdjO+k4sDINZ9928aHeVjublqPG6Hkiduha9rPZOn06Duz/GnM/jL62iNEDwEC7A9OyZCyldE1YKzlYB0vG6Plgl5oZfWSOsdlKNQzzR4DePez/Lf31M/rAOPD8F0uT9NxD3zrELIg9e5qj0wfPAa2DbBVrNLFrYewJddPAS19lWvnQNZVf22AABvY1JsgDAhEj6hKWaK2sndGvj0CvUBlLCFHsMR5P59AtYbmIzIntikVGf+hbrMw7W3mCkirSURbgCVk1Rm+jcbhIEtOmYQCAm8rkI86mpYze3cMCfTmXTHCKsWGOzm3si7t0EgBF+9BO8cbb12pjASI8UwjqUvBVRfsG5hpotvPm8P3smNf+AdC2gbEkSeKMFU0VM/r5UBLRVHZVWx9I0eYs9HHi5zqgsf1BCXjfmuCU+meeirJg0iMEek9//Rr9i/cBj3289HWC59h1YBZuXINXsurVnLbB7ZohJyubbmLnouTbXzjGvPZX/Z66M6aZMJrYTSOmotEHzjJSKf1OVol1EeiVNHqAWdHkU4Pi6WyB0QNAZKHA6HmxVGgaABW16pqQihSsThb3qjB6IiRvxjEIgHnpi6AW6PMZ5aAMMF0/Midj9NsZKzz9CADA2LUVu/paYDEa0OG0FgIET+gVnYNwHHs70/ubyejzOeD5e1mp+dA1bGkNAMsF+WagzY7lWBqxVGF+7IuT7H3aN9LWvHOrAm0OC1LZPBLpnLj64I6hqrEyzX6mo4XrQY7F4wCohNEPCEnTKsfbSTEnJMGFxH/hfM4x2YZj8EqWu1k8VvuxlCAnK5vewH4qVck+fy/zue97b2PPoRpwL70SAmOMtBhrV9o1BXpCyK2EkNOEkDFCyJ8rPP5BQshRQsgrhJBfEUJ2CNtHCCEJYfsrhJAvV3uCmVwe2TxV9Ii3qjD6LhIE5cEtPCdaLEVGzy/+eliLNNBbXatSMMWz9CeyfQAAR1Y2gCCuoNHzAi+1mxxngPJADwAnHwZAAO9GvPnSfty2uwcGAwF6L2GPLygUTvGGUo52tjLwnW78HE6O048wqebaP2ArrfYNbLtEpx9UcN48OxZAq8OM7T0erAW08cE68TRmggmYjaT2CmtpJ0rJDa8IPL8iZfQAq5CtBblM4VqYOVD8WPBccQAeEBKy0w1MyKYizFYsvYZbBoRBIt8vXj2E54Cj/wtc+q7GSTG1wNmpLt34x+rS5wENgZ4QYgRwL4DbAOwAcA8P5BLcTyndTSndC+CzAD4neWycUrpX+PfBak8wWWYWaovdjJVEaWVsj2EFpGcPACIwei7dWJi9j3uEteiQ518AHi25txWkG4D9XAXphidVX06yoi17SaD3AyCFIhigUOAVVdHppW4FDu+mgj2ydRAw2/FbVw/j3+++lD3uaGdJXr9Cz5t4gPX8MJoZo09Hm+PRzqaBpz/LtN/tgpWtTQj0Ep2+0K6YMWVKKZ4fD+CaUS+7aa0BSDtYMg+9HcZazy10HoCwr5pOP3+YXSMtA+z3Fh7oayRCSyeYhRKkyN6KXIZJfFJG3zLACvoa2eBMWgcixXUfBeZfAX7woYLN98X72Gr1mg817vi1wNmpbK/M59j1W4c+D2hj9FcCGKOUTlBK0wAeAFCUuqaUSumsE0DDKBsfOmJTKAZS0uhjXLppHWTFDZE57OzzYKDNjt39LWx5lBOWpFqcBSd+CLz4pdJ+z6lowU5lXZ1kLA/0Y9lOpKgJ1ow80AdY+bZ0ycf756slZFcUviQma+FC69iivJ9akje+XLjRcE9+M3T6xz/BmOkbP1X4e20eloiWMFn5AJLzy3HMriRw7Uav/BVXDdL2HtPLcc3tiRWxMg10C4311AL9whG2KuPWY48Q8GtNyPLgvvmNQttfoeVEaJq1/JUyekKY00WtFUJ8Gfj8ZdV1oFS6hgFg7z1sYMfR7wI/+0s2e/XAfzInTrOdYJWgxuhD0yxeXYBA3w9gWvL7jLCtCISQDxNCxsEY/R9KHtpACHmZEPI0IUTR1U8I+QAh5AAh5IDPV6xTpRSGjnC02M0IyVw3yVQKXoRY4BESj32tdvzqz17P7HMhyZ+i5ULmupn8bitl9FY3qx6tJ7lbC6KLyMGAZbixAhcsaVlBSDxQLNsAEummDKM32YWKXwm6hCBdbaBPLBeWxGKgb7BOf+onwAv3Ale8H9j55uLH2keLGL3XaYHNbBClm2fHmG597aYOXHAc/Cbws78q2SztYDkTTNTnoV85z5b97t4iCUtELsMSlFy2ASSMvsaV19zL7Oa+6042bIN/3iLTliUVh65l56mUKH3lflZUdfZn2o+vtCrluP5jwFW/D7zwReC/3gKkQkzqW204O9m5yPMifsFx02zpRisopfdSSjcC+DMA/OqdBzBEKb0UwB8DuJ8QUiKEUkq/QindRynd19nZWfSY0hhBjhaHBZFUFrl8YQFhTvhhAGUBzd1bOhmGa5ZGq7alKQ/08kRJKlqcjAUuPKuPLiJsbAOFAUHqhllLoDfbAVtr+UDfNlJgdxxdglqnxizcPcq6f3y50MDK6WUMu5GBPjgF/OD3WZn7Lf9Q+nj7hiImSwjBQFvBYvncuB/dHitGV6Mi9tj3gOe+UEI4eHuP+ZUE/NFU7YGey5StQ+wzVWL0vlOMpPA8C8CmHtnbamf0c4dYNShv4sV1ejWmveftbEarvGEYpcCBr7P/KyX61RCcYnKhXSG5Tghwyz8Cu+8CZg+wfjT9l2t/7WZBnB0rY/UNsFYC2gL9LCDYOhgGhG1qeADAmwGAUpqilAaE/x8EMA5AhRIqQ+xGqaLRUwpEkgVWb00IzNvdK7BMWfDhjL7/Mm1aMX/j5Yw+FZEweldh24VEZFH00K/ABaO8KVIsUOyh51ALykCpLY2jW2h10LW99DGAvddxf+mqJrFcfLPhCdlGIJsG/vd3WEC46xvK1rj2UfY5S5jSoGCx5Pr8tRs7VqcHfWgWAGVSggStQtX30VkmxdVsrYwuMIdV6yDLVyglY+dliVgOz0BtGn0mASyeYM6n9lFGKrjzJniO2QQ9MkHA0c6KuY58h12zHJO/ZGze08+Su1rbZwSn2KpB7TM1GIA7vgi89s+AX/ts1X9iU8BX0HKLZeAsK/ZydpbuUwW0BPr9ADYTQjYQQiwA7gZQNM6EECJdV7wJwFlhe6eQzAUhZBTAZgDFFSwV8P/aO/P4qso7/7+/Cdk3SAj7KkQFWZRNFkEp7lZRp7YqbbXVaWvH1tHOqB1b7dhNnam1Y9tXW2vR9ucoblXqWG21LiC0gAgqoBhkCyCQQBLIvjy/P77nyT25OXfJfgPP+/XKKzfnnnPPc5/c+znf890eG4wNyroJaoOQWWeFfohPfHy3Q+W7IT1PBac9Fr2/basxWhmb5gvGQnSLvrlJ/cgdCUQ2Nwd/SY/upyrFCn0OSbVhS6ZVlwVnEuQMCW5Da0xkoT/pQrjy8cgFJdYlFP661Ydaj2FQF2berH1IrcfFPw9l2IQzYCxgWq2aNGJAJiWHa/hw/xHKqup7xz9vTOjzt/GJVvPRLzmJ3PR+LULf6dTK/qP1f3pkb5uOnuzbqKmF4X3O84Z37LP6yXsa3Bw+TYV2+PSQ0Jfv1OBrUkDzvdNv0ADu278LbVv3sFrl87+lLqBDca4xe3hnbJ97v1RY+B8hA6a3aamODbDoC8ZFvmjFSUyhN8Y0AjcCLwNbgCeNMZtE5G4RsZ16bhSRTSKyAXXRXONtXwC8621/GviaMSZCAncwNe0U+ux6b6JyhmpfF2gtPuW7IG+UfpCry9QCiURzcyj32O+6aajRoJI/vRKiZ97s3wQrfwrr/xB5n0i8eR88OL2tG+roAWrSVKSOSk7r3Hhjgl03oAUrgYHTMr1YhftQQb+cJ18Y+QNns3n8r9vUoGmnGT6hLzxZfZGxqnPjYddqtRojlbVDKJfen2KZn0FFTQMvv6+fizm9IfTVh1TYCicErl6Un5XKzjLbh76TxVJ5I0PCF77wd8labzHrsO9XbgeF3gZih03T38OnaxZOfVXb1Eo/g07WtgJrfqt3akc+0djLqUtCPXHicd80N3u5+mPaP/bepMV1E+Yi7oLUSojTR2+MedEYc6IxZpwx5ofetjuNMcu9xzcZY07xUigXGmM2eduf8W2fZoz5U3sHWGuDsSlthxrU7yanoZRmkvQKacXHL5AVu/VW1mYWRMsVri3XNgrQ2nVjLfeW9EpP8KO5bqyvbdfqyPsEUbEHVj6gVtJeX6pacxNUHaA2TS2Bo8m56iaxlmHdEb1tz4rkugmojo0WxIpFUH6+P4feUui1gD0YEHhrL3s3tvYtB5EflGKpwvnU27sZXZDZcSHtDDbQOedfNF4U1nTM+ulT+yV1vLW2bSDXf2RgTQENNZpxM2JG22PzhuvnPzzbLBZ716shYY2sETPUKNq7IeRSicTsf1F30+bn4J0/6Hdv+pfUOEhOjU/obXfMTlSR9gpB/W7qq/VzUtBDQt+bxMqjB1r1u+nfVMaRfvlqobRYmZ74GKO3s3kjQ5kF0awW/22U33dmBT3coo/WwdIKfck6bTQVL3/7voq8JLXuJ1NdBqaZhgz9gNT0y9Mvhh1bte1zE2Ct5gwNro7tlNAHWPQtVbG+oFhXpVhWH1IhG3pq9P0yCzQw50+x9BVNzR3XC9k2EAp0Dp6oDb3ef7pVfCPfy6Uf0T+j4/n95bv1/admhf6n/oDsvo36mQlfUQk6nmK5Z726bSw20Ln9Tf1MRhPgcZ/SrK7VP9eMpLFnwsDxWoMxaGJ8Qt/yGY7gyktUUrM1281vUFpXVdDyge0k4YU+atZNgOtmQHMZR1O9L2+40NeWqxj3H+mr/ovyQbZXV0mGo/4rbbhFH4frxgp9QxXEWnrPsme9rj4/++sadfd3iPTcUU2ZGsSpTvaWErO9ZYKqYi05Npc+zBVkvyQdsYYyCzTQ1sqiDxhDVqEK//5N7T+Hn30b9Hcsi15ERS6gaArovfx5+7nLHQGnXq0Xbl95vr1bHd7Z1Mo8L48iqxBSsloLvW0PPDyCRQ9tUyyjxVZqKzV4OMwn9FkD9fO06Y/6dzQjIikJTv+aCnrFbph5Xei5oVNjr2QGkTN7Eh2Rtrn0XdC10pLwQt8SjO0XW+iNMQxsPkS1584gM19v+az42OBUnk/oo1ksVugHFrX287f0ovfl0UP0YGxZcSgHfdffI+9nMUZzrDMHwvxb2naIPKLjafYKoOpTPaG3Ah/U58YSqTr28Hbt4JfaAVdGUlJb33/LGHyuGxFdqm3nqvafw8/eOIUe1E/vc1n0z0whyzMcZp/QS0JfUQJJKfrlHvcp/b3x8Zan7dqxnXIrVewO9UFvueD5XDcla/V5e+H3E/T9WPVzjRVFyn6xF9/hp7XePnw6lHp3cLEEeOpVmqmTPbj1+qtDp3grme2OfCyE1lLoPzL6folI+CLhtq7Axpk6QcILfTSLPj0lmbR+SS2Nzeqbmhkkh6lL91KVRNR3bH309kPSf6T2Ws8cGL0oxLo/Bk1s/Q+w7hHrm7dCH8miN0aDKmMXaCA4HqH/4AXY+ZZmBqTnte0QaS88XlpWfWp//bsmHqGPUDT1yfuR0yfjITxt09/QzM+YM/S2tKO9VECtvv6j4+tPkj9WA4FehaaIMDI/k5MG51CY00H/d2ep3KM9/5OS1DUx+QrY+lLLnNk2CB3OuLFuSv+CF+G59LvXhnrNhJM7LDROUF/9ip/o/y1Sam54INbijwHEultMzYQrlupKTsm+JS6tiy6W+8aupdAbXSg7S/agkIv46EFY8xt1X6V2vsYj4YW+1sujTwuojAWv343no6+priZfjlKX4bNQ/Ln0LRa99+GP1Xe7yif09Uc1OAK+ZQQ9iz45RQNqkXz0VaWaaVIwHkbNVqGPdgva1KiLEBeeDNO8BKbwDpGe0Cd7ot2Q6vnBq70AaDShzw4Q+sZ6zY4YFsPnHY2cMIu+xXUTIPQAO97q+Ln2bYjPmge1iJobWsVj7rr4FH50+aSOn7+zVOwJ9ZYBzSNvqtdAJKE2CB226KtKdSnFPJ9la4vHjNHzH9kbKmoKp1+aWtXWOHrnsdD/M1Ka4971wRdf6xpKyQxODghn3KfUKPIz+BR1oUZa98ASKT24L5A1MKQ5r9ylOnNB1+T5J77QN+qiI5EKWvz9bmoPq4XYZIUMWgt9xW4NeNgPW6yikKqD6k+2GQT2ahsejIXoPenLPF9bQRGMOl1dJtEWgtj9d/UpL/j3UN+Wlg6R3gf96H5IyyU9Sy82zeme0NsvY1WpugaCVo1PSW9bHXtwS9sKyfaSO6ytRZ+cpl9wP0OmaBHIjjc7dp6awzp/8V6UApqbzRlXwPTRvditsLKkdeHQkClqfW97DaCltfaYgg4KfUvGTZhF31ijnx3rn48k9OClWO5Rw2P1gyEXgo03hbPnndaBWMvQKaF+6h3NB0/JUNdnuEX/zPXwX0Xw9HW6zkTZtj4s9F6r4p2rYcNjmpFlW490koQX+pr64F70Fr/QN5ZHEnpP0Mp3qdvGfthiWvQHdfLtKu02Ih4ejLWPI/noW8qYx4UKjiI1cQLY+rKKdNG5oW2Z+Xph2ucT+uxBZHlrnJr0AB99ZkH0vHe/j95+gWJlsUQjZ4gGvG1tgq2KDR9DUrIuLbhjZcfOY+egPRY9BPd66Q2am9WdmOcTehHt+bJrNRjDwpMH8eiXZ2kjvo5Q7kuttPgzb0rW6kV4yOTIr5HnLUCy6Y/6euf+QFsVlAVY9FWlenEJd9uAivTI2aF+9x3FBmQtu9doi+H+IzWrZ/k31Bjraxk3lqxCzYJ6/uv6XV9wa5e9dOILfYRFRyz9M0NC3+T5fMUv9LlDVYBrK9Wi99/K5g5Xl0qk/PeqUp387DChrwsQ+rScKBZ9sQaF+4/SApm0vOj59FtfhjHztPuiH/8H/egByB5MVprOTVpamvry/Vk30W6Tcwa3tuj3bdQ0xM58ScKznMKrYv2Mna8Wdkf6qbT3opQzVEXtULuKsruPqgPqSgpvBTB6jhoXZdtIThLOPLGw460Z/IkHlpY7m+1eodSpWiEaidwR+v9562cw8CRdBDt/XLDQ2/7zkS6+Vy+Di3/W/vfhZ+gU/Wwd2a/up1fv1u/nF5fDv22FG1bDJT/v3QVEOoM1KA99DOf/OHix8Q6S8EJf29B2GUE/uT6LvrlChSspb2hoB39+d/nu1hZOXoxc4apStUjD+1DUH9VUtSTf9KVGWXyktFityqRkPWbkrMgB2UPbNUOh6Ly2zw2doilX9VX6frIHk+lZ9BmpyRr0bGXRR3FNhHeb3LtB3QdJnfhIhAd5/S2Kw2nx03fAqt+3QUUoHn8v6HvKj9DrpTewnze/jx5C6+ru6mRGEqgFnpanbaot/UcCousG7N0Q3W0DatHbdOB539R5LBgX7Lqx6bKRWgqkZYeWD+wofvflx6/BjhW6UHeat6Tn4Ikw7QvaPK8vYj/P48+GCRd36Uv3eaH3u26SqvZRb5JJzfE1ALJCf+hjzaIJt+ghcuZNi+vGez2bS193pO3VNlpP+rLi1t3nRs3Wsveg5fxsO9YTA4R+yBTA6JfKs+gzvWykzJRkFXZbjVpdGhyItWQPDlXHNjXqUm6d8c9DW4u+JopFP3iyxgl2rGj/efZtbH/QOFJTr97Aft7CLfqBRZoJtrOd1dNBVOxum2LYL00vLlv+pD3OYwm9HV/OMJj8WX1cME5dP+FFfwc262cq3otvR7Bupn0b1JrPGwkzvtR95+tphk/T7KuLftLp3jbhJLzQ1zQ0BaZWWvpnpHK0rpGGpmaSq/ZzgAFkpvkW2rDiY4NP/uBUtOrYpkYVqqxCzarJGBBKafR3rrREct0ErRDT4qcPWFVn60satA2qhrM+zl1/1wyf7EHkpqfw2RkjWHBioVr0NWE++kj4q2NLP9Sy8c5k3ECwRR9pDElJMHpe+4W+tlIvnO2NJdhc+u5axrA9RLLoRbysrC6y6P2fdcuAMaHkgFhCb336c74ecvEUjPcymMJ65uzfFGpl3V2k5+kF+x+/0d5AZ93eN9MoI5Gep2ml3RBMTnihr21oDuxzY8nLUFGvrGkgpfoA+82AFisXCImPDX76LfqcoYAEu25seqK1ULIHt3bdhFv0kYKx5Tv1i+EX+uHTNNi6O8x9U3dUXRlB1jyohZWRH7L6c3TN1vs+M5WpI/ur9Vx9yLtIlQe3KG5577bb5Cc+n3cnLfr0/hqsO7JPA441h9vm0PsZO1+tQ+tPjodYvuBI5I/VRaiDunZCz14AKvfoPAW5tUbP1TkJb2DXHvytPsKxvWZyhrUOBgcx7DS4+imtVrXkewaI30/f3KR3qD3RCXLoVP0eFhTBlCs4iHvyAAAgAElEQVS7/3zHCAkv9DGzbnyNzdJqrND7LPq0bA0y2mIO/+1scopXUBUg9LZAyrptsgp9rpuj+pp+Iln09gvhL2NOyVDrOdxP//HrmuIYSehF1Kq3gdzwVaAyPNdNbTlgYlj0viZk+zZqzKGTixu0FKgd+USD3KYpepzA+ul3tiOf3lZfttt1M0Z/B6W11pTDvaPVpdETVHiplUG356Nm6+/OWPX+Vh/h2IDsyBjWPOj4Tjy3deGS/Yz4hf7Qx3pH2FNCD/CpO1ovkemISsILfW1DE2kxfPSgQp9Ru7+tRQ8qPg1VmsubM7T1c5Hasdqq2BaL3le1Vh/gurEWfbhlaPtVhIvoyNP14uMXnq0v6QUkUs93UD+97aiZHVa6npmvAWHrOokajPW5WfZuUP9nUJ/w9mKDvJGqYv0MOkWt2u3tcN/s26jnCL/IxcKfcRLOwQ+htkJT9XqCyj2RrekhU/Wi2xk/fXlADr3FXvBiuW0ikTVQg7z+gKwNxHa36wa0gPCSn8OEKK2pHW3oE0IfPY9efYdHK8tJa6riIAPaVtFacc8d1lbMbK5wOLZCrcWiHxRm0QcEYzFt27qWFavvLdy6nvZFtewf+bRaRM3N6pIZv6i1BRWO32XhTyOFkCvA+mCjBmO9Yyv3qjuks24bi22DENSiOJyO+On3buhYrn//UYAEW/S20nPb6+3rLNpRKvaEukOGk9xPre142mREIii10jJipho3/hqN9iACBSe0FXpJCrWg7k6yCjSzpjPZYcchCT9bsfLorUVf5xVLlScXtM09tkKfF2Dh2FzhcEs83HWTPUgt+frq1guDWyKtMlVWrP7E8DEVngTXLNcLw9KLYNOz6j8OSqv0Y1shSHJbEbV/2wWFo2VA2OrYHSv1bqfLhD7Moo92sQEYM1/jGOELYgRRd1RTAzsy1n6pGvwMKpqy+fV1FaGgfXfR1KhxkWj+8VFzNQuqpjzyPtFosegD+soMGA23bO6cKBeMb90G4cBm3dbZ9ElHt5HwQh87GKtC31ShwauKfgHCYlsYBPks84ZrWbi1QC1VB1VM0708ZH8ufWB6ZYTGZuGplX6GToVrvFS3Z64DBIrOCd7XUjDO6xlS2PbupD0WPagoW/94ZzNuWl5ziF7sbLvYSHn0ltGemyoegd2xEjAddzuEd2+0lG3TOzZJbtUquFs4sk8X4ghPrfQzeg5ggrOy4qF8l35G4mn41hHyx+ldg12WsCcybhydIqGF3hgTt0VvvCyFo6kBi+i2WPRBQm+LpsL89FUH1SK2t4i2aq1ynwaeUsN6yLT0pPcVTdVXqVtoYJQg55BJcO3/qXCPOSN2HnJSslr1trugH+sPt3GBaP5xUFFubtQMkIFddNtt59r6bWOJzcAT9bb/4NbYr/3uE/qeTjizY2ML795oObRNYxQjZ0HxXzv22vFSGSG10s/wGZqV1dGA7CfvaUO87lrwvGA8ug7vdjVsDu9InLVXHYEkdNi6rtFbRjBKHn1qvyQyU5NJrtK0uapAoff80UEWfcuSgnta9+KoKmudnpjtva69zY9k0ftdNzYzIVY2y6AJ8I31aunFw8U/05TNcKyolhXrhSclPfrr2HkZfErXZTDY1zywWQU8LUavlpQMFeCDH0Tfr7YCPvwznPaF6DGMaOSP9e7IfDEWY9TKH3m63rX97QdeMVqcwd4DW3TR9+zB+voDxmrmTM6Q4P0rIhRL+UnN1DusjgRkm5s0M2lqN6YeFvhSLOurAOOEPsFJaKGPtuiIn7yMFFJr9lMnaZjwtEfQ7I6klOAgXqSiKWvRW/x9KKBtV8igBcJbmpnFkbYY3tcmGpE62lkLvq4yvlWirBh1ppFZm9e0Fv1mddvEEzQrPDn20oKbl+udVGcEzGbeHN6hd1LgtZCu1IKqUXNU6ItfhVOvCh1XX6V3PukBF63VP9f90/NCmVqFE+Drq4Mt6haLPkYO+6g58I9fqXsk1gXbT+lHamwENRfrKlqEvjhUb+JcNwlNQrtuoi064icvI4W0ujIOS1hVrGXgeLhjX3D3vKxBehEIz7yx7Q9a9guz6NsEY6NY9PkBVa7dQWqWNk+D2P55CGXedFUgFkIXj/oj8Y0B1H1TVhw94+XdZTqPdg3SjhCUS2//n/nj1CWWVdjaT193BH51Bjx6cduAfUONXoAmXwG3boPbd8Oiu7Tlc6QFMir26Gcl6KLhZ8x8ranY9rf2vMPQAvJB7YK7ivQ8naeyYr1zS8nqe4txH2ckttDXR14Y3E9uRgoZ9Yc5LHltc+gtkW73k5LUXxrekc92rrT0S1ULNaZF7+uEWfaRuoY6sjRfRxAJWfXxiKy90whaHLqjpOWELnqxYgSWwpPVFRWpjXBFiQZip3yuc37nfGvR+87jX4A5KUkbSm17tWU1Kl68Vf/n+za2Lez68EW9G5j6Of07PRemX6uGQ6Sc/Gg59H7GLdS7o3UPx/32AK3NSM0OLVvZXRSM13nZv0ldjy7dMaFJ6P9ObYPno4+SdQPQPyOF7MbDlJHbuio2XuwaptZia6hVizQ8MJo1KIpFH5BeuX9z9EBsd5DZDqEfv0hjA51ZPjAIa9XHm/VhU/0i+enffRIwMOWznRtXxgC1Rv0Wfdk2zbaxxUXjz9YMrL3vwPvPwMb/hbnf0GP/8evWr7dxmbYSGDM/tC0zXzOn3n8mdLHwY6tiY5GcosVBxa8GZwp98l5wU7y969UV1xXFb9HIH6duov2bnH++DxCX0IvI+SLyoYgUi8jtAc9/TUTeE5ENIrJSRCb6nvu2d9yHIhIjSbw11nUTrXslqOsmt7mcsuacyBZ9NMacof5V6ycOr4q1ZA8KZdW06XWTBUjIR39ou7Z3Hbeo/ePpDNaKjqeLoEhw87TOYoU+XoveWp9BQm+Mum1Gzg5Z5J0hvIvloY9V5O0d37hPAQJvL4U/3aypnIu+p6L7wQuhYqSjB9XFM+WKtqI6+QpNowxqwVy5Nz6LHmD6NRrQfntp6+0HPoDfLIS/fLf19sZ6vQCEL87dHRSM08B2zSEn9H2AmEIvIsnAL4ALgInAVX4h9/hfY8xkY8ypwH3A/d6xE4ErgVOA84Ffeq8XFzYYG8t1k5fej/6mkv1NnRB6CFVohhdLWfyZGOEWvUjrxmbe2p+ccmn7x9MZMr289e7KoY4HG5CNdwxp2VrMFhSQ/eRdvQB01pq35I9t67rxX+wy8zUO8M7/0149lz+kGUkzr9PnrSvl/Wf0+aDGWieer5+F955svb2xTsUxUlVsOLnD4KQLdCyNdbqtuRleuFldXR/8ScXdcmCT+vW7MxBr8c+ZC8QmPPFY9LOAYmPMx8aYeuAJoFWjCWOMf8WNLMBGrRYDTxhj6owx24Fi7/XiojZOi35QSi0p0sT+phwyOuK6GTBGv3zWAgtvf2DJ8gl9UHZPWnbIR7/pORWMoH4j3Ul7fPTdRXtdN6DumyCLfuMyDTCfclnXjG3AGC0oam7Su4Wyj0NLDVpse4AL/zt0F9F/FJx0Ibz9qAZh331Cc+8HB4hcaqYuHLH5T6GiIlBrHuK36EEvMNVlsPl5/XvDY5pfP+FiTTnd7lt3d08PBGIt/kwyZ9EnPPEI/XDA30e2xNvWChH5FxHZhlr032znsV8RkXUisu7gwYMt2+PNuhncT8W11OSS1RGLXkSt+h0r9cvfYtGHu258wh+0zFeqJ/SHtmsu88QetuahfT767sJa9PG6bkCFvvSj1n5tY7Q1RNG5XXeHMmCspkpWlOgFvf5I26yo2TfAkqfbpnKe/lV1Vbz+Y/XhR2uTO/kKbalgW0pDKLMrHh+9ZexZeiFa+7DWdvz1u+rGuvwhDXrbO0dQ/3xGfs9kwNiLY87Q3r17dMRFlwVjjTG/MMaMA24DvtPOY39jjJlhjJlRWBgSU5t1EyuPPp8KAMqIknUTC7+fPpLrxlr0SSnBCx6k5ajrxlpfE3uhw16LRd+NK/3EokMW/cmaJ+/vebNvo/q6T/50143Nn3njz7jxk56rAdXwDJ8x89VN8dbP1Hc++TORzzP2TP38WPdNydvwwi0a+PW3rI5FUpKugbr77/DkF9WQuPgBLTQ76QKNGzR5xXN73lFrvrsqYv2kZKi7zVnzfYJ4hH4P4C8pHeFti8QTgDVl23tsK2pbKmOjD3MA6jk6ZDrouoHWfvqqUm0LEO6Ht22BIy3am5atwdjNz6mfdEAv5BbbOEJ72/h2JUMma6+VwgiFXUG0ZN74/PRbXyKu/j/twZ9L35JDf0KkvVsjArO+oo9PWBi5+hXUrz/pn3Sh95fvgIfPViNgyZPR2x8EceoSXdx850rNALJZUhMXa4bQjhVa1HVwS8/45y2X/wbO/WHPnc/RYeIR+rVAkYiMFZFUNLi63L+DiPhNlIsAr9kKy4ErRSRNRMYCRUDcnZpq482jb9Yuf6Umr2OuG2jtp68qVYs43DKyrpvwPjeW1Bxv4eV3us6n3F4mLobP/qF7smniZWCRFqi1x3INyrzZ+pLm+HflOqS5w/WO7ND2tqmV8TDlszD6DJh7Y+x9J39Wg6Orf65i/fXVmr7ZXjLz4bQl6hdfcGto+/hFaoxsfl7vfkxz5wrK2svoOZGrtB0JRUzz1xjTKCI3Ai8DycDvjDGbRORuYJ0xZjlwo4icDTQAh4FrvGM3iciTwGagEfgXY0xAcnEw8QZjcxpV6A+TE9OfHxHrpy9+RfuMBImLdd1Es+jtmq294bYBvaWeeEnvnLszZPRXf6+16Cv36QVz0Z1de54kT9gPb1f3y4DR7eudk5oFX/q/+PYdPk3HP3RqxwTez4U/0Swf/1hTMnQ1si0vhO5KeiIQ6+hzxOXnMMa8CLwYtu1O3+Obohz7Q6BD93c1DU30SxJSkqPfeGQ0HKLcZNFAv44VTFnGnKHZFLvXBleLWp99uEvHYrf3ltumr+PPvPnoZf194gVdf578saGiqXjdNh1BBOZ/q2teKymJwBvwiYs11XPNQ3pH2psuO0fCktCVsbFaFFtSaw9RZjTdscPBWAj56esq2gZiQdsgpPdv2/7AYi39ns6dP1awzc2MUd923qiur9oFr2hqh5da2Ysurq5g/DkaD6nY3TOFUo4+SUILfW1Dc9T1Yi1JNWWUizaJ6pTQWz89RPYLF4wP7gUPoYyX3nLb9HUKT9LVrsq2wbbX4KTzuyeDZMAYvZjXH+ndWEZXkJoZyvvvyUCso0+R0G2Kq+sb4xPuqoMcSdaVoDrlurF++nefiCz0Vz+pln0Q076owTCb2eFoHzZLZ+1DuurXie3qmBE//lYK3em66Skm/ZNmeo08vbdH4khQEtqir6hpaFlBKipVB6nqp6X/mWmdbOZk3TdBrhvQxYkjuW4y82Hs/ODnHLGxq1yt/722vh3TTXPpvxAfC0I/4WK4/m8wem5vj8SRoCS00FfWNJCbEcNCb2qE6kPUpqrbJDMOV09Uis7VvuTDZ3TudRztJ6tA01obqrVNb1BRWldghT6p37HRR10ERkzvmUIpR58ksYW+tjG2RV9zCDDUpxeQmpxEvxgZOjHJGQxfWwGF3dzP2xGMdd+c1A3ZNpbULC1+6z+q65ZQdDgSmIQW+oqaBnLTYwi914DMZBaQne6+tH0eW4BjA4zdxfDp2oLY4TgOSGhlVNdNLKHXvjSfmnYKw+Z14ZJ4jt5h7jdg7ILuzwf/7B+69/UdjgQiYYW+tqGJusbm2K4bT+iHDBvJkEGuWKTPM2BMz2QtOZeN4zgiYV03lbXakS83ljsmUu94h8PhcACJLPQ1jQCxXTfVpdqzJGNAD4zK4XA4+h6JK/TWoo/HdZNZ4FahdzgcjggkrDpW1jRwZtJGij56OPqOVaXObeNwOBxRSFihr6hp4Irk1xn+9n1wZH/kHasOdm2/cofD4TjGSFihr6xtpIAjiGmGLcsj71h10Fn0DofDEYXEFfqaBvJFlwhk03ORd6wqc0LvcDgcUUhooS+QI7rU28634MgnbXdqrNN2s725ELbD4XAkOAkr9Edq6ugvR+DkCwEDmwPcNy059E7oHQ6HIxIJK/SNVYfpRzOMmguDToFNz7bdyauKda4bh8PhiEzCCr3xW+unXAa7VkPl3tY7uapYh8PhiEnCCn1ybZk+yCwIrcG6+fnWO1U7143D4XDEImGFPqX2kD7IGggDi2DwZNj0x9Y7tbhunNA7HA5HJBJW6FPrD+sDm1FzyqWw+x9QURLaqeogJKdCWm7PD9DhcDj6CHEJvYicLyIfikixiNwe8PwtIrJZRN4VkVdFZLTvuSYR2eD9RKl8CmGMIbOhXP+w1vopl+nv958J7WjbH7gl1BwOhyMiMYVeRJKBXwAXABOBq0RkYthu7wAzjDFTgKeB+3zP1RhjTvV+LolnUNX1TQygkvrkrNC6oQXjYPQ8WP1LaKjRbVWlzm3jcDgcMYjHop8FFBtjPjbG1ANPAIv9OxhjXjPGVHt//h0Y0ZlBVXhVsXVpYa2HF/4HHP0E1v1O/3btDxwOhyMm8Qj9cGC37+8Sb1skrgP+7Ps7XUTWicjfReTSoANE5CvePusOHjxIZW0D+RyhMa2g9Y5jzoATzoIV90PdUbXoXVWsw+FwRKVLg7Ei8nlgBvBfvs2jjTEzgKuBB0RkXPhxxpjfGGNmGGNmFBYWUlnTSIFUYjILwneFhd/RtMo1v3adKx0OhyMO4hH6PcBI398jvG2tEJGzgTuAS4wxdXa7MWaP9/tj4HXgtFgn1IZmRyArQOhHzoSi82DlA9BY41w3DofDEYN4hH4tUCQiY0UkFbgSaJU9IyKnAb9GRf6Ab/sAEUnzHg8E5gGbY52worqefCpJzo4g4gv/A+q8zpZO6B0OhyMqMYXeGNMI3Ai8DGwBnjTGbBKRu0XEZtH8F5ANPBWWRjkBWCciG4HXgHuMMTGFvqaqnDRpJCUngogPOxUmXKyPndA7HA5HVPrFs5Mx5kXgxbBtd/oenx3huFXA5PYOqrFSWxuk5Q2KvNOiuzQYO3Rqe1/e4XA4jiviEvqepumotjawrpuGhgZKSkqora1tveOcn0LJIeBQD4/w+CI9PZ0RI0aQkhJjoXaHw5GQJKTQS43XrMxLnSwpKSEnJ4cxY8Ygrgq2RzHGUFZWRklJCWPHju3t4Tgcjg6QkL1ukqu9zpVe1k1tbS0FBQVO5HsBEaGgoKDt3ZTD4egzJKTQ96vzXDG+Yign8r2Hm3uHo2+TkEKfVl9OvaRCalZvD8XhcDj6PAkp9JkNh6lK7p8wXSlvvvlmHnjggZa/zzvvPK6//vqWv7/1rW9x//33s3fvXj7zmc+067UfeeQRbrzxxi4bayS+/OUvM2jQICZNmtRq+6FDhzjnnHMoKirinHPO4fDhw90+FofD0bMkpNBnN5VTkzIg9o49xLx581i1ahUAzc3NlJaWsmnTppbnV61axdy5cxk2bBhPP/10bw0zKtdeey0vvfRSm+333HMPixYt4qOPPmLRokXcc889vTA6h8PRnSRk1k2uqaA+LTiH/j//tInNeyu79HwTh+Vy18WnRHx+7ty53HzzzQBs2rSJSZMmsW/fPg4fPkxmZiZbtmxh2rRp7Nixg09/+tO8//77PPLIIyxfvpzq6mq2bdvGZZddxn33affmpUuX8uMf/5j+/fszdepU0tK0FfOOHTv48pe/TGlpKYWFhSxdupThw4czfvx4Pv74YyoqKigoKOC1115jwYIFLFiwgIcffpi9e/dy0003AepPf/PNN8nJyWn1HhYsWMCOHTvavLfnn3+e119/HYBrrrmGs846i3vvvbezU+pwOBKIhLPom5oNBRyhMT2gz00vMWzYMPr168euXbtYtWoVc+bM4fTTT2f16tWsW7eOyZMnk5qa2ua4DRs2sGzZMt577z2WLVvG7t272bdvH3fddRdvvfUWK1euZPPmUKHwN77xDa655hreffddlixZwje/+U2Sk5M56aST2Lx5MytXrmTatGmsWLGCuro6du/eTVFREf/93//NL37xCzZs2MCKFSvIyMiI+73t37+foUOHAjBkyBD279/f+QlzOBwJRcJZ9E3NhnypZE9GsNBHs7y7k7lz57Jq1SpWrVrFLbfcwp49e1i1ahV5eXnMmzcv8JhFixaRl5cHwMSJE9m5cyelpaWcddZZFBZqMdjnPvc5tm7dCsDq1at59tlnAfjCF77ArbfeCsD8+fN588032b59O9/+9rd56KGHOPPMM5k5cyagrqVbbrmFJUuWcPnllzNiRMeWAxARl2HjcByDJKBF30SW1CVc+2Hrp3/vvfeYNGkSs2fPZvXq1S3++SCsSwYgOTmZxsbGDp17wYIFrFixgjVr1nDhhRdSXl7O66+/zvz58wG4/fbb+e1vf0tNTQ3z5s3jgw8+iPu1Bw8ezL59+wDYt28fgwZFaTvhcDj6JAkn9KZJxTA5UkOzXmLu3Lm88MIL5Ofnk5ycTH5+PuXl5axevTqi0Adx+umn88Ybb1BWVkZDQwNPPfVUq3M88cQTADz22GMtQj5r1ixWrVpFUlIS6enpnHrqqfz6179mwYIFAGzbto3Jkydz2223MXPmzHYJ/SWXXMKjjz4KwKOPPsrixYtjHOFwOPoaCSf0zU0NAKTmJJZFP3nyZEpLS5k9e3arbXl5eQwcGP9Yhw4dyve+9z3mzJnDvHnzmDBhQstzDz74IEuXLmXKlCn84Q9/4Gc/+xmgdwYjR45sOff8+fM5cuQIkydrv7gHHniASZMmMWXKFFJSUrjgggvanPeqq65izpw5fPjhh4wYMYKHH34Y0LuBv/71rxQVFfHKK69w++1t1n53OBx9HDHG9PYYWnFS0QnmwyVlHLjieQadchYAW7ZsaSWIjp7H/Q8cjsRGRN72VvNrQ8JZ9DSr6yZzwOBeHojD4XAcGySu0OcN6eWBOBwOx7FBwgm9NDfSQDJJmf17eygOh8NxTJCQQl9JbsL0uXE4HI6+TuIJvWmiMjmvt4fhcDgcxwwJJ/RJpomqfs5t43A4HF1F4gk9TQnVuTIar7/+Op/+9Ke75LVKSkpYvHgxRUVFjBs3jptuuon6+voueW2Hw3F8k3BCn2yaqE/tG0LfVRhjuPzyy7n00kv56KOP2Lp1K0ePHuWOO+7o7aE5HI5jgIRrapZME43p+ZF3+PPt8Ml7XXvSIZPhguh92NeuXct1113HmjVraGpqYtasWdxwww1UVlZy0UUXUVxczMKFC/nlL39JUlISjz/+OD/60Y8wxnDRRRdx7733snPnTs4++2xWr15Nfn4+Z555Jt/97ndJTk4mPT2dL33pS4D2xfnpT3/K2LFj+c///E+efPLJiC2P//KXv3DXXXdRV1fHuHHjWLp0KdnZ2V07Pw6Ho08Tl0UvIueLyIciUiwibWrkReQWEdksIu+KyKsiMtr33DUi8pH3c00852vOSKz2BwAzZ87kkksu4Tvf+Q633norn//855k0aRJr1qzhwQcfZPPmzWzbto1nn32WvXv3ctttt/G3v/2NDRs2sHbtWp577jlGjx7Nbbfdxg033MBPfvITJk6cyLnnnsumTZuYPn16q/Pl5uYyatQoiouLgeCWx6WlpfzgBz/glVdeYf369cyYMYP777+/N6bH4XAkMDEtehFJBn4BnAOUAGtFZLkxZrNvt3eAGcaYahG5AbgP+JyI5AN3ATMAA7ztHRt1vTrJjiL0MSzv7uTOO+9k5syZpKen8z//8z+sWLGCWbNmccIJJwDaT2blypWkpKS0akW8ZMkS3nzzTS699FKuv/56nnrqKX71q1+xYcOGuM8d1PK4vLyczZs3t7RJrq+vZ86cOV38rh0OR18nHtfNLKDYGPMxgIg8ASwGWoTeGPOab/+/A5/3Hp8H/NUYc8g79q/A+cDj0U6YnJ1YnSstZWVlHD16lIaGBmprawHa9G+P1c+9urqakpISAI4ePUpOTg4TJ05sswRhZWUlu3btYvz48axfvz6w5bExhnPOOYfHH486nQ6H4zgnHtfNcGC37+8Sb1skrgP+3MFjqSGNfgna/uCrX/0q3//+91myZAm33XYbAGvWrGH79u00NzezbNkyzjjjDGbNmsUbb7xBaWkpTU1NPP7445x55pkA3HbbbSxZsoS7776bf/7nfwbUWq+urub3v/89AE1NTXzrW9/i2muvJTMzM+J4Zs+ezVtvvdXi3qmqqmpZxMThcDgsXZp1IyKfR900/9XO474iIutEZF2xGU7q4BO7clhdwu9//3tSUlK4+uqruf3221m7di3Nzc3MnDmTG2+8kQkTJjB27Fguu+wyhg4dyj333MPChQuZOnUq06dPZ/HixbzxxhusXbu2RexTU1NZunQpIsIf//hHnnrqKYqKijjxxBNJT0/nRz/6UdQxFRYW8sgjj3DVVVcxZcoU5syZ065e9A6H4/ggZptiEZkDfM8Yc57397cBjDE/DtvvbOBB4ExjzAFv21XAWcaYr3p//xp43RgT0dcw6ISJ5u116xiZH7JkXYvc3sf9DxyOxKazbYrXAkUiMlZEUoErgeVhJzgN+DVwiRV5j5eBc0VkgIgMAM71tkVkVH5mK5F3OBwOR+eIGYw1xjSKyI2oQCcDvzPGbBKRu4F1xpjlqKsmG3jKC0buMsZcYow5JCLfRy8WAHfbwKzD4XA4eoa4CqaMMS8CL4Ztu9P3+Owox/4O+F1HB+h7nZgZLY7uIdFWIXM4HO0j4VogBJGenk5ZWZkTnF7AGENZWRnp6em9PRSHw9FBEq4FQhAjRoygpKSEgwcP9vZQjkvS09MZMWJEbw/D4XB0kD4h9CkpKYwdO7a3h+FwOBx9kj7hunE4HA5Hx3FC73A4HMc4TugdDofjGCdmZWxPIyJHgA97exx9gIFAaW8Pog/g5ik2bo7iI9HnabQxJrAjZCIGYz+MVMbrCCEi65YegYwAAAcuSURBVNw8xcbNU2zcHMVHX54n57pxOByOYxwn9A6Hw3GMk4hC/5veHkAfwc1TfLh5io2bo/jos/OUcMFYh8PhcHQtiWjROxwOh6MLcULvcDgcxzgxhV5ERorIayKyWUQ2ichN3vZ8EfmriHzk/R7gbT9ZRFaLSJ2I/FvYa90kIu97r/OvUc55voh8KCLFInK7b7uIyA9FZKuIbBGRb0Y4fqyI/MM7fpm3YAoiskBE1otIo4h8Jr4pio8+Ok+Pece/LyK/E5GUWGPrDAk2RytEZIP3s1dEnotw/I3esUZEBvq2d8scea/dF+fpYRHZKCLvisjTIpLtbT9evnOLvPe5QURWisj4gGMzReT/ROQD7zz3+J5LE9WqYlHtGtP5GfJhjIn6AwwFpnmPc4CtwETgPuB2b/vtwL3e40HATOCHwL/5XmcS8D6QiebvvwKMDzhfMrANOAFIBTYCE73nvgT8Hkiy54ow5ieBK73HvwJu8B6PAaZ4r/GZWO+9PT99dJ4uBMT7edw3T4FjO5bmKGy/Z4AvRhjzad7nZgcw0Le9W+aoD89Tru/x/b5xjuH4+M5tBSZ4j78OPBJwfCaw0HucCqwALvAd8yvv8ZXAsq6cq5gWvTFmnzFmvff4CLAFGA4sBh71dnsUuNTb54AxZi3QEPZSE4B/GGOqjTGNwBvA5QGnnAUUG2M+NsbUA0945wK4AV2lqtmeK/xgERHgU8DTAWPbYYx5F2iO9b7bS1+bJ2/7i8YDWAOMiDG2TpFgcwSAiOSin5dAS9UY844xZkfA9m6ZI++1++I8VXr7CZABGG/78fKdM0Cu9zgP2Bsw3mpjzGve43pgPd53LmzMTwOLvLnsEtrlo/duJ04D/gEMNsbs8576BBgc4/D3gfkiUiAimag1OTJgv+HAbt/fJd42gHHA50RknYj8WUSKAo4vAMq9f1j48T1CH5kn/3hTgC8AL8UYW5eRAHNkuRR41QpVotGX5klElnrjOhl4MMbYupQEmKfrgRdFpAT9Lt1DFESkP3Ax8Gr4a3vaVYFqWZcQt9B7PrdngH8N/2d7FmHUPE1jzBbgXuAvqKBsAJraOd40oNZoGfJDdMEShV1NH52nXwJvGmNWtPM8HSJB5shyFeq2Sjj62jwZY74EDEMt68918DztJkHm6WbgQmPMCGAp6r6KNN5+6Fz+jzHm43aep0PEJfSexfcM8Jgx5llv834RGeo9PxQIdA/4McY8bIyZboxZABwGtnoBFRvs+Rqwh9ZX0xHeNtArqD3/H1HfHyLysnf8b4EyoL83meHHdyt9bJ7smO8CCoFbOvau20cCzRGiwdVZwP/5trWZo96gr86TMaYJdWn8U/vfdftJhHkSkUJgqjHmH972ZcBcEUn2HX+377jfAB8ZYx7wbWt5bU+78lAt6xJiNjXz/EQPA1uMMf6r1HLgGvQW5Rrg+Thea5Ax5oCIjEJ9YLONMeXAqb59+gFFIjIWffNXAld7Tz8HLAS2A2eiARCMMeeFnec14DPoBy6usXWWPjpP1wPnAYusP787SbA5Av2MvGCMqbUbwueoN+hr8+SNd5wxpth7fAnwQTvfdrtJoHk6DOSJyInGmK3AOd6YmvzHe6/xA1TErw8bgh3zanS+/+bdjXQNJnZk+wz01udd9JZmA+rDKkD9Sx+hUep8b/8hqEVZCZR7j3O951YAm9Fo9aIo57wQFadtwB2+7f1Rq+I9b0KmRjj+BDS4WAw8BaR522d646lCr5abYr3/eH/66Dw1esfa8d4Za2zHyhx5z70OnB9jzN/0ztuIBth+251z1BfnCfUMvOV93t4HHvOd/3j5zl3mvf+N3nydEHDsCG+8W3zjvd57Lh3VqmJUu9oc35kf1wLB4XA4jnFcZazD4XAc4zihdzgcjmMcJ/QOh8NxjOOE3uFwOI5xnNA7HA7HMY4TeocjDBH5nkTpSCkil4rIxJ4ck8PRGZzQOxzt51K0S6LD0SdwefQOByAid6CViQfQ5lJvo42lvoK2lC1Gm1WdCrzgPVdBqNT/F2griWrgn40x3V4Z6nDEixN6x3GPiEwHHgFOR9uCrEfXMVhqjCnz9vkBsN8Y86CIPIK2BHjae+5V4GvGmI9E5HTgx8aYT/X8O3E4gonZ68bhOA6YD/zRGFMNICLLve2TPIHvD2QDL4cf6HVOnAs8JaH24WndPmKHox04oXc4IvMIcKkxZqOIXAucFbBPErr+wakBzzkcCYELxjoc8CZwqYhkiEgOuiAE6PJ0+7xWuEt8+x/xnsNo//PtInIFtKzXO7Xnhu5wxMYJveO4x+hydMvQzoN/BtZ6T30XXbHoLVq33X0C+HcReUdExqEXgetEZCOwibBl+ByO3sYFYx0Oh+MYx1n0DofDcYzjhN7hcDiOcZzQOxwOxzGOE3qHw+E4xnFC73A4HMc4TugdDofjGMcJvcPhcBzj/H8bNZDOsMvxfgAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "%matplotlib inline\n",
    "\n",
    "df1 = conversion_df[conversion_df['subsite_title']=='Windows 10']\n",
    "df2 = conversion_df[conversion_df['subsite_title']=='xboxOne']\n",
    "\n",
    "\n",
    "ax = df1.plot(x='date', y='conversion', label='Windows 10')\n",
    "df2.plot(x='date', y='conversion', ax=ax, label='xboxOne')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Мы видим, что конверсия - это случайная величина. В связи с этим бывают дни, когда конверсия выше на `Windows 10`, а иногда - на `xboxOne`. Как ответить на вопрос \"Где конверсия выше\", если в разные дни по-разному?\n",
    "\n",
    "На этот вопрос поможет ответить аппарат математической статистики. Для начала проверим распределение конверсии с помощью гистограммы: "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.axes._subplots.AxesSubplot at 0x7f8c9745c898>"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYgAAAD4CAYAAAD2FnFTAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjIsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8li6FKAAAchElEQVR4nO3de3wV5b3v8c+PiEY9qCBRUa62wC63IgbkIlTKVhEtKG1VxBbxglqtx8vrJVh9qVVPpccLbsWzka1c7HEjeMG6rbZg5Q4KkR0FUQERIchBE0SMCAL5nT/WJC7CJKwka9bk8n2/XuuVmWeemfk9a0J+zPPMepa5OyIiIuU1ijsAERGpnZQgREQklBKEiIiEUoIQEZFQShAiIhLqsLgDSKfmzZt727Zt4w5DRKTOePfddwvdPSdsW71KEG3btiUvLy/uMERE6gwz+6yibepiEhGRUEoQIiISSglCRERC1asxiDB79+6loKCA3bt3xx1Kg5OdnU3Lli1p3Lhx3KGISDXU+wRRUFBAkyZNaNu2LWYWdzgNhrtTVFREQUEB7dq1izscEamGet/FtHv3bo4//nglhwwzM44//njduYnUYfU+QQBKDjHR+y5StzWIBCEiIlVX78cgypswd21aj3fL2R0q337LLbRp04abb74ZgHPPPZdWrVrx9NNPA3DbbbdxyimncOmll3LTTTfx4osvpnzuadOmkZeXx8SJE6vfgBRceeWVvPbaa5xwwgmsXr26rHz79u1ccsklbNy4kbZt2zJr1iyaNm0aaSwikjkNLkFkWr9+/Zg1axY333wzJSUlFBYWsnPnzrLtS5cuZcKECZx88slVSg6ZdMUVV3DjjTfy29/+9oDy8ePHM2jQIMaNG8f48eMZP348f/7zn2OKUlKV7v8kZdKh/kMm6aUupoj17duXZcuWAfDBBx/QpUsXmjRpwldffcWePXv48MMP6dGjBxs3bqRLly5A4s5g+PDhDB48mPbt23P77beXHW/q1Kl06NCBXr16sWTJkrLyjRs38vOf/5xu3boxaNAgNm3axP79+2nXrh3uzo4dO8jKymLhwoUADBgwgHXr1rFgwQK6d+9O9+7dOe200/jmm28OasOAAQNo1qzZQeV//etfGTVqFACjRo3ilVdeSd8bJyKxU4KI2Mknn8xhhx3Gpk2bWLp0KX369OGMM85g2bJl5OXl0bVrVw4//PCD9svPz2fmzJmsWrWKmTNnsnnzZrZu3co999zDkiVLWLx4MWvWrCmr//vf/55Ro0bx/vvvM3LkSG666SaysrLo2LEja9asYfHixfTo0YNFixaxZ88eNm/eTPv27Xn44Yd58sknyc/PZ9GiRRx55JEpt23btm20aNECgJNOOolt27bV/A0TkVpDCSID+vbty9KlS8sSRJ8+fcrW+/XrF7rPoEGDOPbYY8nOzqZTp0589tlnvPPOO5x11lnk5ORw+OGHc8kll5TVX7ZsGZdddhkAv/nNb1i8eDEA/fv3Z+HChSxcuJA77riDxYsXs2LFCnr27AkkusBuvfVWHn/8cXbs2MFhh1Wv19HM9NSSSD2jBJEB/fr1Y+nSpaxatYouXbrQu3dvli1bxtKlS+nbt2/oPkcccUTZclZWFvv27avWuQcMGMCiRYtYvnw5Q4YMYceOHcyfP5/+/fsDMG7cOJ5++mm+++47+vXrx0cffZTysU888US2bt0KwNatWznhhBOqFaOI1E5KEBnQt29fXnvtNZo1a0ZWVhbNmjVjx44dLFu2rMIEEeaMM85gwYIFFBUVsXfvXl544YUDzvH8888D8Nxzz5UlgF69erF06VIaNWpEdnY23bt356mnnmLAgAEAfPLJJ3Tt2pWxY8fSs2fPKiWIoUOHMn36dACmT5/OsGHDUt5XRGq/BvcUUxxPQXTt2pXCwsKyLqDSsuLiYpo3b57ycVq0aMG9995Lnz59OO644+jevXvZtieeeILRo0fz0EMPkZOTw9SpU4HEnUirVq3o3bs3kOhymjFjBl27dgXgscceY968eTRq1IjOnTtz3nnnHXTeESNGMH/+fAoLC2nZsiV//OMfueqqqxg3bhwXX3wxzzzzDG3atGHWrFnVen9EpHYyd487hrTJzc318l8Y9OGHH/KTn/wkpohE73/to8dcJZmZvevuuWHb1MUkIiKhlCBERCSUEoSIiIRSghARkVBKECIiEiqyx1zNbApwAfCFu3cJymYCHYMqxwE73L17yL4bgW+A/cC+ikbYRUQkOlF+DmIaMBF4trTA3cvmhjCzR4CvK9l/oLsXpj2qeQ+m93gD76jyLvPnz+fhhx/mtddeq/HpCwoKuOGGG1izZg0lJSVccMEFPPTQQ6HzO4mIVEVkXUzuvhDYHrbNEpP2XAzMiOr8DYG7M3z4cC688ELWrVvH2rVrKS4u5s4774w7NBGpB+Iag+gPbHP3dRVsd2COmb1rZmMqO5CZjTGzPDPL+/LLL9MeaE2tWLGCbt26sXv3br799ls6d+7M6tWr2blzJ+effz4dO3bkuuuuo6SkBKDsU85dunRh7NixAHz22We0b9+ewsJCSkpK6N+/P3PmzOGtt94iOzub0aNHA4k5myZMmMCUKVPYtWtXpdOGz5kzhz59+tCjRw9+/etfU1xcnPk3R0RqtbgSxAgqv3s40917AOcBN5jZgIoquvtkd89199ycnJx0x1ljPXv2ZOjQodx1113cfvvtXH755XTp0oXly5fzxBNPsGbNGj755BNefvllPv/8c8aOHctbb71Ffn4+K1as4JVXXqFNmzaMHTuW66+/nkceeYROnTpxzjnn8MEHH3D66acfcL5jjjmG1q1bs379eiB82vDCwkIeeOAB3nzzTVauXElubi6PPvpoHG+PiNRiGZ+LycwOA4YDp1dUx923BD+/MLPZQC9gYWYiTL+7776bnj17kp2dzeOPP86iRYvo1asXp556KpCY62jx4sU0bty4bDpvgJEjR7Jw4UIuvPBCrr76al544QUmTZpEfn5+yucunTYcKJs2fMeOHaxZs6ZsqvHvv/+ePn36pLnVIlLXxTFZ378CH7l7QdhGMzsaaOTu3wTL5wD3ZTLAdCsqKqK4uJi9e/eye/dugIO+O+FQ36Wwa9cuCgoSb1lxcTFNmjShU6dOB31N6c6dO9m0aRM//vGPWblyZei04e7O2WefzYwZGgISkYpF1sVkZjOAZUBHMysws6uCTZdSrnvJzE42s9eD1ROBxWb2HrAc+Ju7/z2qODPh2muv5f7772fkyJFl4wrLly/n008/paSkhJkzZ3LmmWfSq1cvFixYQGFhIfv372fGjBn87Gc/A2Ds2LGMHDmS++67j2uuuQZI3B3s2rWLZ59NPCi2f/9+brvtNq644gqOOuqoCuPp3bs3S5YsKeuG+vbbb1m7tu5O4CYi0YjsDsLdR1RQfkVI2efAkGB5A/DTqOKqzmOpNfHss8/SuHFjLrvsMvbv30/fvn0ZPnw4PXv25MYbb2T9+vUMHDiQiy66iEaNGjF+/HgGDhyIu3P++eczbNgwFixYwIoVK1iyZAlZWVm89NJLTJ06ldGjRzN79mx+97vfcf/991NSUsKQIUP405/+VGlMOTk5TJs2jREjRrBnzx4AHnjgATp00EyZIvIDTfctkdL7X/vU5em+o9RQpxLXdN8iIlJlShAiIhKqQSSI+tSNVpfofRep2+p9gsjOzqaoqEh/rDLM3SkqKiI7OzvuUESkmuL4HERGtWzZkoKCAmrjNBz1XXZ2Ni1btow7DBGppnqfIBo3bky7du3iDkNEpM6p911MIiJSPUoQIiISSglCRERC1fsxCKnD0vHtfxmeWiVUTdtRG9ogDZLuIEREJJQShIiIhFKCEBGRUEoQIiISSglCRERCKUGIiEgoJQgREQkV5XdSTzGzL8xsdVLZvWa2xczyg9eQCvYdbGYfm9l6MxsXVYwiIlKxKO8gpgGDQ8onuHv34PV6+Y1mlgU8CZwHdAJGmFmnCOMUEZEQkSUId18IbK/Grr2A9e6+wd2/B54HhqU1OBEROaQ4xiBuNLP3gy6opiHbTwE2J60XBGWhzGyMmeWZWZ6+80FEJH0ynSD+HfgR0B3YCjxS0wO6+2R3z3X33JycnJoeTkREAhlNEO6+zd33u3sJ8B8kupPK2wK0SlpvGZSJiEgGZTRBmFmLpNWLgNUh1VYA7c2snZkdDlwKvJqJ+ERE5AeRTfdtZjOAs4DmZlYA3AOcZWbdAQc2AtcGdU8Gnnb3Ie6+z8xuBP4BZAFT3P2DqOIUEZFwkSUIdx8RUvxMBXU/B4Ykrb8OHPQIrIiIZI4+SS0iIqGUIEREJJQShIiIhFKCEBGRUEoQIiISSglCRERCKUGIiEgoJQgREQmlBCEiIqGUIEREJJQShIiIhFKCEBGRUEoQIiISSglCRERCKUGIiEgoJQgREQkV2RcGidQK8x6MOwKROkt3ECIiEiqyBGFmU8zsCzNbnVT2kJl9ZGbvm9lsMzuugn03mtkqM8s3s7yoYhQRkYpFeQcxDRhcrmwu0MXduwFrgTsq2X+gu3d399yI4hMRkUpEliDcfSGwvVzZHHffF6y+DbSM6vwiIlIzcY5BXAm8UcE2B+aY2btmNiaDMYmISCCWp5jM7E5gH/BcBVXOdPctZnYCMNfMPgruSMKONQYYA9C6detI4hURaYgyfgdhZlcAFwAj3d3D6rj7luDnF8BsoFdFx3P3ye6e6+65OTk5EUQsItIwZTRBmNlg4HZgqLvvqqDO0WbWpHQZOAdYHVZXRESik1KCMLOuVT2wmc0AlgEdzazAzK4CJgJNSHQb5ZvZpKDuyWb2erDricBiM3sPWA78zd3/XtXzi4hIzaQ6BvF/zOwIEo+uPufuXx9qB3cfEVL8TAV1PweGBMsbgJ+mGJeIiEQkpQTh7v3NrD2JJ4/eNbPlwFR3nxtpdFK3aZoLqUMmzF0b6fFvObtDpMePQspjEO6+DrgLGAv8DHg8+FT08KiCExGR+KQ6BtHNzCYAHwI/B37h7j8JlidEGJ+IiMQk1TGIJ4CngT+4+3elhe7+uZndFUlkIiISq1QTxPnAd+6+H8DMGgHZ7r7L3f8SWXQiIhKbVMcg3gSOTFo/KigTEZF6KtUEke3uxaUrwfJR0YQkIiK1QaoJ4lsz61G6YmanA99VUl9EROq4VMcgbgZeMLPPAQNOAi6JLCoREYldqh+UW2Fm/wJ0DIo+dve90YUlIiJxq8p03z2BtsE+PcwMd382kqhERCR2KSUIM/sL8CMgH9gfFDugBCEStXRMWTKwsm/3FQmX6h1ELtCpou9vEBGR+ifVp5hWkxiYFhGRBiLVO4jmwJpgFtc9pYXuPjSSqEREJHapJoh7owxCRERqn1Qfc11gZm2A9u7+ppkdBWRFG5qIiMQp1em+rwFeBJ4Kik4BXokqKBERiV+qg9Q3AP2AnVD25UEnRBWUiIjEL9UEscfdvy9dMbPDSHwOolJmNsXMvjCz1UllzcxsrpmtC342rWDfUUGddWY2KsU4RUQkTVJNEAvM7A/AkWZ2NvAC8F8p7DcNGFyubBzwT3dvD/wzWD+AmTUD7gHOAHoB91SUSEREJBqpJohxwJfAKuBa4HUS309dKXdfCGwvVzwMmB4sTwcuDNn1XGCuu29396+AuRycaEREJEKpPsVUAvxH8KqpE919a7D8/4ATQ+qcAmxOWi8Iyg5iZmOAMQCtW7dOQ3giIgKpz8X0KSFjDu5+ak1O7u5uZjWavsPdJwOTAXJzczUViIhImlRlLqZS2cCvgWbVPOc2M2vh7lvNrAXwRUidLcBZSestgfnVPJ+IiFRDSmMQ7l6U9Nri7o8B51fznK8CpU8ljQL+GlLnH8A5ZtY0GJw+JygTEZEMSbWLqUfSaiMSdxSH3NfMZpC4E2huZgUknkwaD8wys6uAz4CLg7q5wHXufrW7bzez+4EVwaHuc/fyg90iIhKhVLuYHkla3gdsJPjDXhl3H1HBpkEhdfOAq5PWpwBTUoxPRETSLNWnmAZGHYiIiNQuqXYx3VrZdnd/ND3hiIhIbVGVp5h6khhgBvgFsBxYF0VQIiISv1QTREugh7t/A2Bm9wJ/c/fLowpMRETilepUGycC3yetf0/4J6BFRKSeSPUO4llguZnNDtYv5If5lEREpB5K9Smm/2VmbwD9g6LR7v7f0YUlIiJxS7WLCeAoYKe7/xtQYGbtIopJRERqgVS/cvQeYCxwR1DUGPi/UQUlIiLxS/UO4iJgKPAtgLt/DjSJKigREYlfqgnie3d3gim/zezo6EISEZHaINUEMcvMngKOM7NrgDdJz5cHiYhILZXqU0wPB99FvRPoCNzt7nMjjUxERGKVypTdWcCbwYR9SgoiIg3EIbuY3H0/UGJmx2YgHhERqSVS/SR1MbDKzOYSPMkE4O43RRKViIjELtUE8XLwEpEMWLahKK3He3vf2rQeTxqGShOEmbV2903urnmXREQamEONQbxSumBmL6XjhGbW0czyk147zezmcnXOMrOvk+rcnY5zi4hI6g7VxWRJy6em44Tu/jHQHcqekNoCzA6pusjdL0jHOUVEpOoOdQfhFSynyyDgE3f/LIJji4hIDRwqQfw06AL6BugWLO80s2/MbGcazn8pMKOCbX3M7D0ze8PMOld0ADMbY2Z5Zpb35ZdfpiEkERGBQ3QxuXtWVCc2s8NJTAB4R8jmlUAbdy82syEkxkLaVxDjZGAyQG5ubhR3OSIiDVJVvg8i3c4DVrr7tvIb3H2nuxcHy68Djc2seaYDFBFpyOJMECOooHvJzE4yMwuWe5GIM70PhouISKVS/aBcWgXThZ8NXJtUdh2Au08CfgVcb2b7gO+AS4PpxkVEJENiSRDu/i1wfLmySUnLE4GJmY5LRER+EEuCEBFpaCbMjW66k1vO7hDJceMcgxARkVpMCUJEREIpQYiISCglCBERCaUEISIioZQgREQklBKEiIiEUoIQEZFQShAiIhJKCUJEREIpQYiISCglCBERCaUEISIioZQgREQklBKEiIiEUoIQEZFQShAiIhIqtgRhZhvNbJWZ5ZtZXsh2M7PHzWy9mb1vZj3iiFNEpKGK+ytHB7p7YQXbzgPaB68zgH8PfoqISAbU5i6mYcCznvA2cJyZtYg7KBGRhiLOOwgH5piZA0+5++Ry208BNietFwRlW5MrmdkYYAxA69ato4tWpA7rvan8P6+qebv1mDRFInVJnHcQZ7p7DxJdSTeY2YDqHMTdJ7t7rrvn5uTkpDdCEZEGLLYE4e5bgp9fALOBXuWqbAFaJa23DMpERCQDYkkQZna0mTUpXQbOAVaXq/Yq8NvgaabewNfuvhUREcmIuMYgTgRmm1lpDP/p7n83s+sA3H0S8DowBFgP7AJGxxSriEiDFEuCcPcNwE9DyiclLTtwQybjEhGRH9Tmx1xFRCRGShAiIhJKCUJEREIpQYiISCglCBERCRX3ZH0iddKyDUVxhyASOd1BiIhIKCUIEREJpQQhIiKhlCBERCSUEoSIiIRSghARkVBKECIiEkoJQkREQilBiIhIKCUIEREJpak2JNy8B+OOoMY0HYZIzegOQkREQmU8QZhZKzObZ2ZrzOwDM/ufIXXOMrOvzSw/eN2d6ThFRBq6OLqY9gG3uftKM2sCvGtmc919Tbl6i9z9ghjiExERYriDcPet7r4yWP4G+BA4JdNxiIhI5WIdgzCztsBpwDshm/uY2Xtm9oaZdc5oYCIiEt9TTGb2P4CXgJvdfWe5zSuBNu5ebGZDgFeA9hUcZwwwBqB169YRRiwi0rDEcgdhZo1JJIfn3P3l8tvdfae7FwfLrwONzax52LHcfbK757p7bk5OTqRxi4g0JHE8xWTAM8CH7v5oBXVOCuphZr1IxKmH2kVEMiiOLqZ+wG+AVWaWH5T9AWgN4O6TgF8B15vZPuA74FJ39xhiFRFpsDKeINx9MWCHqDMRmJiZiEREJIym2pBKRTldRZ9Tj4/s2CJSc5pqQ0REQilBiIhIKCUIEREJpQQhIiKhlCBERCSUEoSIiIRSghARkVBKECIiEkoJQkREQilBiIhIKE21EZgwd23Zcu9Nk2t0rLdbjzlg/ZazO1T9IPMerFEMIiI1pTsIEREJpQQhIiKhlCBERCSUEoSIiIRSghARkVBKECIiEkoJQkREQsWSIMxssJl9bGbrzWxcyPYjzGxmsP0dM2ub+ShFRBq2jCcIM8sCngTOAzoBI8ysU7lqVwFfufuPgQnAnzMbpYiIxHEH0QtY7+4b3P174HlgWLk6w4DpwfKLwCAzswzGKCLS4MUx1cYpwOak9QLgjIrquPs+M/saOB4oLH8wMxsDlM5tUWxmH9cwvuZh56maRw5Yu7VmB6uuNLQjdvWhDVAv2vFIPWgDUC+uxcFtqOHfmDYVbajzczG5+2SgZpMnJTGzPHfPTdfx4lIf2lEf2gD1ox31oQ1QP9qRyTbE0cW0BWiVtN4yKAutY2aHAccCRRmJTkREgHgSxAqgvZm1M7PDgUuBV8vVeRUYFSz/CnjL3T2DMYqINHgZ72IKxhRuBP4BZAFT3P0DM7sPyHP3V4FngL+Y2XpgO4kkkilp666KWX1oR31oA9SPdtSHNkD9aEfG2mD6j7mIiITRJ6lFRCSUEoSIiIRqUAkihSk+bjWzNWb2vpn908zaJG0bZWbrgteo8vtmSg3bsN/M8oNX+QcDMiqFdlxnZquCWBcnf9rezO4I9vvYzM7NbOQHxFitNphZWzP7LulaTMp89AfEWWk7kur90szczHKTyurEtUiqd0Ab6tq1MLMrzOzLpHivTtqW/r9R7t4gXiQGxD8BTgUOB94DOpWrMxA4Kli+HpgZLDcDNgQ/mwbLTetSG4L14rivQxXacUzS8lDg78Fyp6D+EUC74DhZdawNbYHVcV+HVNsR1GsCLATeBnLr2rWopA116loAVwATQ/aN5G9UQ7qDOOQUH+4+z913Batvk/iMBsC5wFx33+7uXwFzgcEZijtZTdpQm6TSjp1Jq0cDpU9TDAOed/c97v4psD44XqbVpA21SSpT3wDcT2JOtN1JZXXmWgTC2lCbpNqOMJH8jWpICSJsio9TKql/FfBGNfeNSk3aAJBtZnlm9raZXRhFgClKqR1mdoOZfQL8b+CmquybATVpA0A7M/tvM1tgZv2jDbVSh2yHmfUAWrn736q6b4bUpA1Qh65F4JdBF/KLZlb6oeNIrkVDShApM7PLgVzgobhjqa4K2tDGEx/Rvwx4zMx+FEtwKXL3J939R8BY4K6446mOCtqwFWjt7qeRmEbnP83smLhirIyZNQIeBW6LO5bqOkQb6sy1CPwX0Nbdu5G4S5h+iPo10pASRCpTfGBm/wrcCQx19z1V2TcDatIG3H1L8HMDMB84LcpgK1HV9/N5oPSOp05diyRlbQi6ZIqC5XdJ9Dt3iCjOQzlUO5oAXYD5ZrYR6A28Ggzy1pVrUWEb6ti1wN2Lkv5NPw2cnuq+1RL3wEymXiQ+Nb6BxGBa6QBQ53J1TiPxC9K+XHkz4FMSgz9Ng+VmdawNTYEjguXmwDpCBvJqUTvaJy3/gsSn7AE6c+DA6AbiGRitSRtySmMmMSC5JY7fp1TbUa7+fH4Y4K0z16KSNtSpawG0SFq+CHg7WI7kb1TG34Q4X8AQYG3wB/TOoOw+Ev/TBngT2AbkB69Xk/a9ksQg3HpgdF1rA9AXWBX80q0Crqrl1+LfgA+CNsxL/odC4u7oE+Bj4Ly61gbgl0nlK4Ff1OZrUa5u2R/XunQtKmpDXbsWwINBvO8Fv1P/krRv2v9GaaoNEREJ1ZDGIEREpAqUIEREJJQShIiIhFKCEBGRUEoQIiISSglCRERCKUGIiEio/w+0p8YX9q8lnQAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Windows 10\n",
    "ax = conversion_df[\n",
    "    conversion_df['subsite_title']=='Windows 10'\n",
    "]['conversion'].plot(kind='hist', alpha=0.5, bins=13, label='Windows 10', legend=True)\n",
    "\n",
    "# xboxOne\n",
    "conversion_df[\n",
    "    conversion_df['subsite_title']=='xboxOne'\n",
    "]['conversion'].plot(kind='hist', alpha=0.5, bins=12, label='xboxOne', legend=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Распределение конверсии для платформы `Windows 10` смещено влево относительно конверсий на платформе `xboxOne` - это подтверждает нашу догадку о том, что конверсия на `Windows 10` выше. Об инструментах, которые помогут ответить на этот вопрос более точно, мы поговорим в разделе \"Проверка статистических гипотез\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для закрепления материала выполните домашнюю работу в файле [probability_hw2.ipynb](./probability_hw2.ipynb), раздел **Часть I: исходные данные**."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Работа с СВ в Python\n",
    "\n",
    "Для работы со случайными величинами в python  существует несколько модулей\n",
    "\n",
    "* random: https://docs.python.org/3/library/random.html\n",
    "* scipy.stats https://docs.scipy.org/doc/scipy/reference/stats.html\n",
    "* numpy.random https://docs.scipy.org/doc/numpy-1.15.1/reference/routines.random.html\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "import scipy.stats as sts\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пример дискретно распределённой случайной величины"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "p1=None, p2=None, p3=None, p4=None\n"
     ]
    }
   ],
   "source": [
    "X = np.random.choice([1, 2, 3, 4], 100)\n",
    "\n",
    "# задача - посчитать вероятности p_1,..., p_4\n",
    "p1 = None\n",
    "p2 = None\n",
    "p3 = None\n",
    "p4 = None\n",
    "\n",
    "print(f\"p1={p1}, p2={p2}, p3={p3}, p4={p4}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Функции распределения из библиотеки scipy, statsmodels"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "ename": "AttributeError",
     "evalue": "'NoneType' object has no attribute 'rvs'",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mAttributeError\u001b[0m                            Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-12-6d9f6de30895>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[1;32m      3\u001b[0m \u001b[0msample_size\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      4\u001b[0m \u001b[0;31m# выберите подходящий масштаб\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 5\u001b[0;31m \u001b[0mx\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mrandom_var\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mrvs\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0msize\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0msample_size\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      6\u001b[0m \u001b[0mcdf\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mrandom_val\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mcdf\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mx\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      7\u001b[0m \u001b[0mplt\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mplot\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mx\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mcdf\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mlabel\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;34m'theoretical CDF'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mAttributeError\u001b[0m: 'NoneType' object has no attribute 'rvs'"
     ]
    }
   ],
   "source": [
    "# выбрать распределение https://docs.scipy.org/doc/scipy-0.16.1/reference/stats.html#continuous-distributions\n",
    "random_var = None\n",
    "sample_size = None\n",
    "# выберите подходящий масштаб\n",
    "x = random_var.rvs(size=sample_size)\n",
    "cdf = random_val.cdf(x)\n",
    "plt.plot(x, cdf, label='theoretical CDF')\n",
    "\n",
    "from statsmodels.distributions.empirical_distribution import ECDF\n",
    "ecdf = ECDF(sample)\n",
    "plt.step(ecdf.x, ecdf.y, label='ECDF')\n",
    "\n",
    "plt.ylabel('$f(x)$')\n",
    "plt.xlabel('$x$')\n",
    "plt.legend(loc='upper left')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Сгенерируйте точки из гаусссовского распределения и найдите экспериментально квантиль уровня 5%. Найдите теоретическое значение квантили c с помощью scipy."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "p005_empirical=None, p005_theoretical=None\n"
     ]
    }
   ],
   "source": [
    "mu,sigma = 0.0, 0.1\n",
    "# зададим нормально распределенную случайную величину\n",
    "norm_rv = sts.norm(loc=mu, scale=sigma)\n",
    "# сгенерируем 1000 значений\n",
    "norm_rv.rvs(size=1000)\n",
    "\n",
    "# найдите квантиль уровня p = 5% по выборке\n",
    "p005_empirical = None\n",
    "\n",
    "# найдите теоретическое значение квантили\n",
    "p005_theoretical = None\n",
    "\n",
    "print(f\"p005_empirical={p005_empirical}, p005_theoretical={p005_theoretical}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Гистограмма - это способ отображения плотности распределения случайной величины. Сгенерируйте выборку из любого распределения и постройте график гистограммы."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "plt.hist(sample, density=True)\n",
    "plt.ylabel('fraction of samples')\n",
    "plt.xlabel('$x$')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Визуализация Центральной предельной Теоремы"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Text(0.5, 0, '$x$')"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYIAAAEGCAYAAABo25JHAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjIsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8li6FKAAAXCElEQVR4nO3de5BmdX3n8ffHcUQUBHU6isDQWLJrXFe5tIiXdVHLkosBE7HEMiqImVojK66XFd1aiSQbYVMxxmAkU4KO6KIpQB0RyrAKonFBGhwuw2gyixhANoyA6ARFB7/7x3MmNE1fTs/0eZ6eOe9X1ak+l99zzme6pvvb5/zO+Z1UFZKk/nrUqANIkkbLQiBJPWchkKSesxBIUs9ZCCSp5x496gALtWLFihofHx91DEnaoVx77bU/qaqxmbbtcIVgfHycycnJUceQpB1Kkh/Ntq3zS0NJliX5XpKLZ9i2S5IvJNmY5Ook413nkSQ93DD6CE4BNsyy7STg3qp6BvAXwJlDyCNJmqLTQpBkH+Bo4JOzNDkWWNPMXwC8PEm6zCRJeriuzwg+CvxX4DezbN8buA2gqrYA9wFPnt4oyaokk0kmN23a1FVWSeqlzgpBklcBd1XVtdu7r6paXVUTVTUxNjZjp7ckaRt1eUbwIuCYJLcCnwdeluSz09rcAewLkOTRwB7A3R1mkiRN01khqKr3V9U+VTUOHA98o6p+f1qztcCbm/njmjYOhypJQzT05wiSnA5MVtVa4BzgvCQbgXsYFAxJ0hANpRBU1RXAFc38B6es/yXw2mFkkCTNbId7sliaz/ipXx3ZsW894+iRHVvaVg46J0k9ZyGQpJ6zEEhSz1kIJKnnLASS1HMWAknqOQuBJPWchUCSes5CIEk9ZyGQpJ6zEEhSz1kIJKnnLASS1HMWAknqOQuBJPWchUCSeq6zQpDksUm+m+T6JOuTfGiGNick2ZRkXTO9tas8kqSZdfmGsgeAl1XV5iTLgW8nubSqrprW7gtVdXKHOSRJc+isEFRVAZubxeXNVF0dT5K0bTrtI0iyLMk64C7gsqq6eoZmr0lyQ5ILkuzbZR5J0iN1Wgiq6sGqOhDYBzg0ybOnNfkKMF5VzwEuA9bMtJ8kq5JMJpnctGlTl5ElqXeGctdQVf0UuBw4Ytr6u6vqgWbxk8Ahs3x+dVVNVNXE2NhYt2ElqWe6vGtoLMmezfyuwCuA709rs9eUxWOADV3lkSTNrMu7hvYC1iRZxqDg/G1VXZzkdGCyqtYC70hyDLAFuAc4ocM8kqQZdHnX0A3AQTOs/+CU+fcD7+8qgyRpfj5ZLEk9ZyGQpJ6zEEhSz1kIJKnnLASS1HMWAknqOQuBJPVclw+UqefGT/3qqCNIasEzAknqOQuBJPWchUCSes5CIEk9ZyGQpJ6zEEhSz1kIJKnnLASS1HMWAknqOQuBJPVcly+vf2yS7ya5Psn6JB+aoc0uSb6QZGOSq5OMd5VHkjSzLs8IHgBeVlXPBQ4Ejkhy2LQ2JwH3VtUzgL8AzuwwjyRpBp0VghrY3Cwub6aa1uxYYE0zfwHw8iTpKpMk6ZE67SNIsizJOuAu4LKqunpak72B2wCqagtwH/DkGfazKslkkslNmzZ1GVmSeqfTQlBVD1bVgcA+wKFJnr2N+1ldVRNVNTE2Nra4ISWp54Zy11BV/RS4HDhi2qY7gH0Bkjwa2AO4exiZJEkDXd41NJZkz2Z+V+AVwPenNVsLvLmZPw74RlVN70eQJHWoyzeU7QWsSbKMQcH526q6OMnpwGRVrQXOAc5LshG4Bzi+wzySpBnMWwiSPB74RVX9Jsm/AZ4JXFpVv57rc1V1A3DQDOs/OGX+l8BrF5xakrRo2pwRXAn8hyRPBP4OuAZ4HfCGLoNJO6JRvaf51jOOHslxtXNo00eQqrof+D3gr6vqtcC/6zaWJGlYWhWCJC9gcAaw9c+dZd1FkiQNU5tC8E7g/cAXq2p9kqczuBVUkrQTmLePoKq+CXwzyeOa5VuAd3QdTJI0HPOeESR5QZKbaZ4BSPLcJH/deTJJ0lC0uTT0UeCVNE/8VtX1wEu6DCVJGp5WTxZX1W3TVj3YQRZJ0gi0eY7gtiQvBCrJcuAUYEO3sSRJw9LmjOA/AW9nMGT0HQxeMvP2LkNJkoanzV1DP8GniCVppzVrIUjyVzzyjWL/qqq8hVSSdgJznRFMDi2FJGlkZi0EVbVm6nKSJwxW1887TyVJGpo2D5RNJLkRuAG4Kcn1SQ7pPpokaRja3D56LvCHVfUtgCQvBj4FPKfLYJKk4Whz++iDW4sAQFV9G9jSXSRJ0jC1OSP4ZpK/Ac5ncBfR64ArkhwMUFXXdZhPktSxNoXguc3X06atP4hBYXjZTB9Ksi/wGeApTbvVVfWX09ocDnwZ+GGz6qKqOr1VcknSomjzQNlLt3HfW4B3V9V1SXYHrk1yWVXdPK3dt6rqVdt4DEnSdmrz8vo9gTcB41Pbz/dAWVXdCdzZzP88yQYGw1RMLwSSpBFqc2noEuAq4EbgN9tykCTjDC4lXT3D5hckuR74MfCeqlo/w+dXAasAVq5cuS0RJEmzaFMIHltV79rWAyTZDbgQeGdV/Wza5uuA/apqc5KjgC8BB0zfR1WtBlYDTExMzDrshSRp4drcPnpekj9IsleSJ22d2uy8Gbb6QuBzVXXR9O1V9bOq2tzMXwIsT7JiIf8ASdL2aXNG8Cvgz4D/xkOD0BXw9Lk+lCTAOcCGqvrILG2eCvxzVVWSQxkUprtbZpckLYI2heDdwDOa4agX4kXAG4Ebk6xr1n0AWAlQVWcDxwFvS7IF+AVwfFV56UeShqhNIdgI3L/QHTdPIGeeNmcBZy1035KkxdOmEPwLsC7J5cADW1f6PgJJ2jm0KQRfaiZJ0k6ozZPFa+ZrI0nacbV5svgA4MPAs4DHbl1fVXPeNSRJ2jG0eY7gU8AnGIwd9FIGA8l9tstQkqThaVMIdq2qrwOpqh9V1R8BR3cbS5I0LG06ix9I8ijgH5OcDNwB7NZtLEnSsLQ5IzgFeBzwDuAQBg+JvbnLUJKk4Wlz19A1zezmJCcBu80weJwkaQc17xlBkv+V5AlJHg/cBNyc5L3dR5MkDUObS0PPas4AXg1cCuzP4PKQJGkn0KYQLG+Gk341sLaqfs1Do5BKknZwbQrB3wC3Ao8HrkyyH2AfgSTtJOYtBFX1sarau6qOaoaI/icGD5ZJknYCbZ4jeJimGGzpIIskaQTaXBqSJO3EZi0ESV7bfN1/eHEkScM21xnB+5uvF27LjpPsm+TyJDcnWZ/klBnaJMnHkmxMckOSg7flWJKkbTdXH8HdSf4O2D/J2ukbq+qYefa9BXh3VV2XZHfg2iSXVdXNU9ocCRzQTM9nMMrp8xf0L5AkbZe5CsHRwMHAecCfL3THVXUncGcz//MkG4C9gamF4FjgM00H9FVJ9kyyV/NZSdIQzFoIqupXDH45v7CqNiXZrVm/eaEHSTIOHARcPW3T3sBtU5Zvb9Y9rBAkWQWsAli5cuVCDy9JmkObu4aekuR7wHoG4wxdm+TZbQ/QFJALgXdu62B1VbW6qiaqamJsbGxbdiFJmkWbQrAaeFdV7VdVK4F3N+vm1QxNcSHwuaq6aIYmdwD7Tlnep1knSRqSNoXg8VV1+daFqrqCwXATc0oS4BxgQ1V9ZJZma4E3NXcPHQbcZ/+AJA1XmyeLb0ny3xl0GgP8PnBLi8+9iMEopTcmWdes+wCwEqCqzgYuAY4CNgL3Aye2jy5JWgxtCsFbgA8BFzEYdfRbzbo5VdW3gczTpoC3t8ggSepImzeU3cvgNZWSpJ2QYw1JUs9ZCCSp5ywEktRz8/YRJBkD/gAYn9q+qubtMJYkLX1t7hr6MoM7hf438GC3cSRJw9amEDyuqt7XeRJJ0ki06SO4OMlRnSeRJI1Em0JwCoNi8MskP2+mbRo8TpK09LR5oGz3YQSRJI1Gmz4CkhwDvKRZvKKqLu4ukiRpmOa9NJTkDAaXh25uplOSfLjrYJKk4WhzRnAUcGBV/QYgyRrgezz0cntJ0g6s7ZPFe06Z36OLIJKk0WhzRvBh4HtJLmcwrPRLgFM7TSVJGpo2dw2dn+QK4HnNqvdV1f/rNJUkaWhmvTSU5JnN14OBvYDbm+lpzTpJ0k5grjOCdwGrgD+fYVsBL+skkSRpqGYtBFW1qpk9sqp+OXVbksfOt+Mk5wKvAu6qqmfPsP1wBgPa/bBZdVFVnd4yt1oaP/Wro44gaYlrc9fQd1qum+7TwBHztPlWVR3YTBYBSRqBWc8IkjwV2BvYNclBPPQi+icAj5tvx1V1ZZLxRcgoSerQXH0ErwROAPZh0E+wtRD8DPjAIh3/BUmuB34MvKeq1s/UKMkqBv0VrFy5cpEOLUmCufsI1gBrkrymqi7s4NjXAftV1eZmmOsvAQfMkmU1sBpgYmKiOsgiSb3Vpo/gkCT/+mRxkicm+ZPtPXBV/ayqNjfzlwDLk6zY3v1KkhamTSE4sqp+unWhqu5lMP7Qdkny1CRp5g9tsty9vfuVJC1MmyEmliXZpaoeAEiyK7DLfB9Kcj5wOLAiye3AacBygKo6GzgOeFuSLcAvgOOryss+kjRkbQrB54CvJ/lUs3wisGa+D1XV6+fZfhZwVovjS5I61GasoTOT3AC8vFn1x1X1tW5jSZKGpdUbyqrqUuDSjrNIkkagzRvKDktyTZLNSX6V5EFfXi9JO482dw2dBbwe+EdgV+CtwMe7DCVJGp5Wbyirqo3Asqp6sKo+xfxjCEmSdhBt+gjuT/IYYF2S/wncSftXXEqSlrg2heCNDH7xnwz8F2Bf4DVdhpK0MKMabvzWM44eyXG1uOYsBEmWAX9aVW8Afgl8aCipJElDM+clnqp6ENivuTQkSdoJtbk0dAvw90nWAv+ydWVVfaSzVJKkoWlTCP5vMz0K2L3bOJKkYZvrDWXnVdUbgZ9W1V8OMZMkaYjm6iM4JMnTgLc07yB40tRpWAElSd2a69LQ2cDXgacD1/LQqyoBqlkvSdrBzXpGUFUfq6rfBs6tqqdX1f5TJouAJO0k5n1CuKreNowgkqTRcKgISeq5zgpBknOT3JXkplm2J8nHkmxMckOSg7vKIkmaXZdnBJ9m7lFKjwQOaKZVwCc6zCJJmkVnhaCqrgTumaPJscBnauAqYM8ke3WVR5I0s1H2EewN3DZl+fZmnSRpiHaIzuIkq5JMJpnctGnTqONI0k5llIXgDgbvNthqn2bdI1TV6qqaqKqJsbGxoYSTpL4YZSFYC7ypuXvoMOC+qrpzhHkkqZfajD66TZKcDxwOrEhyO3AasBygqs4GLgGOAjYC9wMndpVFkjS7zgpBVb1+nu0FvL2r40uS2tkhOoslSd2xEEhSz1kIJKnnLASS1HMWAknqOQuBJPWchUCSes5CIEk9ZyGQpJ6zEEhSz1kIJKnnLASS1HMWAknqOQuBJPWchUCSes5CIEk9ZyGQpJ6zEEhSz3VaCJIckeQHSTYmOXWG7Sck2ZRkXTO9tcs8kqRH6vLl9cuAjwOvAG4Hrkmytqpuntb0C1V1clc5JElz6/KM4FBgY1XdUlW/Aj4PHNvh8SRJ26DLQrA3cNuU5dubddO9JskNSS5Isu9MO0qyKslkkslNmzZ1kVWSemvUncVfAcar6jnAZcCamRpV1eqqmqiqibGxsaEGlKSdXZeF4A5g6l/4+zTr/lVV3V1VDzSLnwQO6TCPJGkGXRaCa4ADkuyf5DHA8cDaqQ2S7DVl8RhgQ4d5JEkz6OyuoarakuRk4GvAMuDcqlqf5HRgsqrWAu9IcgywBbgHOKGrPJKkmaWqRp1hQSYmJmpycnLUMRZs/NSvjjqCtFO59YyjRx1hh5Lk2qqamGnbqDuLJUkjZiGQpJ6zEEhSz1kIJKnnLASS1HMWAknqOQuBJPWchUCSes5CIEk9ZyGQpJ6zEEhSz1kIJKnnLASS1HMWAknqOQuBJPWchUCSeq6zN5RJUpdG9bKnnfGFOJ4RSFLPdVoIkhyR5AdJNiY5dYbtuyT5QrP96iTjXeaRJD1SZ5eGkiwDPg68ArgduCbJ2qq6eUqzk4B7q+oZSY4HzgRe11Um3xssSY/UZR/BocDGqroFIMnngWOBqYXgWOCPmvkLgLOSpKqqw1yStM1G+QdlV/0TXRaCvYHbpizfDjx/tjZVtSXJfcCTgZ9MbZRkFbCqWdyc5AedJH7IiukZlihzLi5zLi5zLq4VOXO7cu4324Yd4q6hqloNrB7W8ZJMVtXEsI63rcy5uMy5uMy5uLrM2WVn8R3AvlOW92nWzdgmyaOBPYC7O8wkSZqmy0JwDXBAkv2TPAY4Hlg7rc1a4M3N/HHAN+wfkKTh6uzSUHPN/2Tga8Ay4NyqWp/kdGCyqtYC5wDnJdkI3MOgWCwFQ7sMtZ3MubjMubjMubg6yxn/AJekfvPJYknqOQuBJPVcbwtBknOT3JXkplm2vzfJuma6KcmDSZ60BHPukeQrSa5Psj7JicPO2OSYL+cTk3wxyQ1Jvpvk2cPO2OTYN8nlSW5uvl+nzNAmST7WDH1yQ5KDl2jOZyb5P0keSPKeYWdcQM43NN/HG5N8J8lzl2jOY5uc65JMJnnxUsw5pe3zkmxJctx2H7iqejkBLwEOBm5q0fZ3GNzRtORyAh8Azmzmxxh0uj9mCeb8M+C0Zv6ZwNdH9P3cCzi4md8d+AfgWdPaHAVcCgQ4DLh6ieb8LeB5wP8A3rOEv58vBJ7YzB+5hL+fu/FQv+lzgO8vxZzNtmXAN4BLgOO297i9PSOoqisZ/NJs4/XA+R3GmVWLnAXsniQM/iPfA2wZRraHhZg/57MY/Melqr4PjCd5yjCyTVVVd1bVdc38z4ENDJ5wn+pY4DM1cBWwZ5K9llrOqrqrqq4Bfj3MbNMytMn5naq6t1m8isEzRUPVMufman7LAo9n8LM1VC3/fwL8Z+BC4K7FOG5vC0FbSR4HHMHgm74UnQX8NvBj4EbglKr6zWgjzeh64PcAkhzK4HH3of9CmKoZ7fYg4Oppm2YaHmWmH8ahmCPnktIy50kMzrZGZq6cSX43yfeBrwJvGW6yR2QZZ4acSfYGfhf4xGIdy0Iwv98B/r6q2p49DNsrgXXA04ADGQzc94TRRprRGQz+sl7H4K+Z7wEPjipMkt0YFPd3VtXPRpVjPjtTziQvZVAI3jfMbNMyzJmzqr5YVc8EXg388bDzbTVPzo8C71vMP/h2iLGGRux4RnRZqKUTgTOaU9qNSX7I4Br8d0cb6+Ga/8wnwqAzFvghcMsosiRZzuCH7HNVddEMTdoMj9K5FjmXhDY5kzwH+CRwZFWNZBiZhXw/q+rKJE9PsqKqhjogXYucE8DnBz9GrACOSrKlqr60rcf0jGAOSfYA/iPw5VFnmcM/AS8HaK65/1tG9At2Lkn2bIYaAXgrcOUo/sJtitA5wIaq+sgszdYCb2ruHjoMuK+q7hxaSFrnHLk2OZOsBC4C3lhV/zDMfFMytMn5jKYdzZ1iuzDksc/a5Kyq/atqvKrGGQzf/4fbUwSgx08WJzkfOJxBRf1n4DRgOUBVnd20OQE4oqpGNvTFfDmTPA34NIO7DcLg7OCzSzDnC4A1DDrg1gMnTelAHGbOFwPfYtCfsvXU+gPAyilZw6Dv5QjgfuDEqppcgjmfCkwCT2jabGZwh8nQCmzLnJ8EXgP8qNm+pYY82mfLnO8D3sSg8/0XwHur6ttLLee09p8GLq6qC7bruH0tBJKkAS8NSVLPWQgkqecsBJLUcxYCSeo5C4Ek9ZyFQJJ6zkIgST1nIZC2UzN+/Cua+T9J8lejziQthGMNSdvvNOD0JL/FYLTIY0acR1oQnyyWFkGSbzJ4H8ThzTjy0g7DS0PSdkry7xmM9fQri4B2RBYCaTs0by77HIO3mm1OcsSII0kLZiGQtlHz9rqLgHdX1QYGLzI5bbSppIWzj0CSes4zAknqOQuBJPWchUCSes5CIEk9ZyGQpJ6zEEhSz1kIJKnn/j/9DghyzapEaAAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "results = []\n",
    "n = 100\n",
    "exp_rv = sts.expon(1)\n",
    "for i in range(10000):\n",
    "    x = exp_rv.rvs(n)\n",
    "    results.append(x.mean())\n",
    "\n",
    "plt.hist(results, density=True)\n",
    "plt.ylabel('fraction of samples')\n",
    "plt.xlabel('$x$')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Предсказательный и доверительный интервалы\n",
    "\n",
    "Величина $1-\\alpha$ называется *доверительной вероятностью* или *уровнем доверия(надёжности)*, если для случайной величины $X$ выполняется условие\n",
    "$$\n",
    "P\\left(X_{\\frac{\\alpha}{2}} \\le X \\le X_{1-\\frac{\\alpha}{2}} \\right) = 1 - \\alpha\n",
    "$$\n",
    "\n",
    "В этом выражении $[X_{\\frac{\\alpha}{2}}, X_{1-\\frac{\\alpha}{2}} ]$ - это значения квантилей уровня $\\frac{\\alpha}{2}$ и $1-\\frac{\\alpha}{2}$ соответственно, которые являются границами предсказательным интервалом."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Пример** пусть результат эксперимента представляет собой нормально распределённую СВ $X\\sim N(\\mu, \\sigma)$. Тогда предсказательный интервал имеет вид\n",
    "$$\n",
    "P\\left(\\mu - Z_{\\frac{\\alpha}{2}}\\sigma \\le X \\le \\mu + Z_{1-\\frac{\\alpha}{2}} \\right) = 1 - \\alpha\n",
    "$$\n",
    "\n",
    "для тренировки сгенерируйте решите задачу: постройте предсказательный интервал для случайной величины $X\\sim N(\\mu, \\sigma)$:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "z_05 = None, z_95 = None\n"
     ]
    }
   ],
   "source": [
    "from scipy.stats import norm\n",
    "\n",
    "mu = 5\n",
    "sigma = 0.9\n",
    "# используйте функцию ppf - Percent point function (обратная к кумулятивной функции (функции вероятности) cdf)\n",
    "\n",
    "z_05 = None\n",
    "z_95 = None\n",
    "\n",
    "print(f\"z_05 = {z_05}, z_95 = {z_95}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Точечная оценка параметров по выборке\n",
    "\n",
    "Мы знаем, что метрики в IT-сервисах являются реализациями случайных величин - например, мы выгрузили выборку конверсии по дням и увидели, как колеблется график этой метрики.\n",
    "\n",
    "Основная задача статистики - проанализировать выборку и сделать выводы о характеристиках случайной величины, которая эту выборку породила (спойлер: чаще всего интересно оценивать математическое ожидание $m_X$)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В результате эксперимента мы получаем выборку $X^n = \\left( X_1,\\ldots,X_n \\right)$, порождённую СВ $X$. Мы делаем какие-то предположения о законе распределения $X~F(x, \\theta)$, где $F(\\cdot)$ - некоторое семейство функций распределения, а $\\theta$ - параметры, которые определяют конкретную функцию из семейства. Тогда доверительный интервал для параметра $\\theta$ имеет вид (в общем случае):\n",
    "$$\n",
    "P\\left(\\theta_1(X^n) \\le \\theta \\le \\mu + \\theta_2(X^n) \\right) = 1 - \\alpha\n",
    "$$\n",
    "где $[\\theta_1(X^n), \\theta_2(X^n)]$ - границы доверительного интервала параметра $\\theta$. Вопрос на засыпку: чем отличается доверительный интервал от предсказательного?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Пример** Доверительный интервал для математического ожидания гауссовской СВ.\n",
    "\n",
    "СВ $X\\sim N(\\mu, \\sigma)$, где $\\sigma$ известный параметр. По результатам эксперимента получили выборку $X^n = \\left( X_1,\\ldots,X_n \\right)$. Задача - оценить по выборке неизвестный параметр $\\mu$.\n",
    "\n",
    "Чтобы построить доверительный интервал параметра $\\mu$ в первую очередь нужно понять, какое распределение имеет параметр, который мы исследуем. В данном случае мы можем воспользоваться результатами ЦПТ:\n",
    "$$\n",
    "\\overline{X} \\sim N\\left(\\mu, \\frac{\\sigma^2}{n}\\right), \\overline{X} = \\frac{\\sum_{i=1}^{n}X_i}{n}\n",
    "$$\n",
    "\n",
    "где $\\overline{X}$ - среднее значение элементов выборки. В таком случае доверительный интервал имеет вид\n",
    "$$\n",
    "P\\left(\\overline{X} - z_{\\alpha/2}\\sqrt{\\sigma^2/n} \\le  \\mu \\le \\overline{X} + z_{\\alpha/2}\\sqrt{\\sigma^2/n}\\right) = 1 - \\alpha\n",
    "$$\n",
    "\n",
    "Для определения значения квантили можно пользоваться функцией `.ppf` из модуля `scipy.stats`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Оценка математического ожидания по выборке mu = [None, None]\n"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "from scipy.stats import norm\n",
    "\n",
    "mu = 5\n",
    "sigma = 0.9\n",
    "D = 1\n",
    "X = np.array([13.27543316, 18.60619498, 28.64266817, 45.4103895, 10.08409655,\n",
    "     44.91948425, 47.23376343, 33.03988962, 31.45570219, 3.089313523])\n",
    "\n",
    "# используйте функцию ppf для нахождения квантили\n",
    "alpha = 0.05\n",
    "\n",
    "n = None\n",
    "left_border = None\n",
    "right_border = None\n",
    "\n",
    "print(f\"Оценка математического ожидания по выборке mu = [{left_border}, {right_border}]\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Применение ЦПТ к анализу экспериментов\n",
    "\n",
    "Для анализа результатов эксперимента можно применить теорему Муавра-Лапласа\n",
    "\n",
    "$$\n",
    "P(l<M<k) = \\Phi_0\\left(\\frac{k-np}{\\sqrt{npq}}\\right) -  \\Phi_0\\left(\\frac{l-np}{\\sqrt{npq}}\\right)\n",
    "$$\n",
    "\n",
    "Можно заметить, что для определения предсказательно интервала достаточно знать значение вероятности успеха $p$ в серии экспериментов по схеме Бернулли."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Эксперименты по схеме Бернулли\n",
    "\n",
    "Пусть проводится эксперимент по схеме Бернулли, в каждом из $n$ опытов событие $A$, которое мы называем успехом эксперимента, происходит с вероятностью $p$, причём точное значение вероятности $p$ нам неизвестно. Количество успехов в серии опытов $X$, тогда величина $\\hat{p}$\n",
    "$$\n",
    "\\hat{p} = \\frac{X}{n}\n",
    "$$\n",
    "является оценкой параметра $p$. Если для $\\hat{p}$ выполняются условия\n",
    "$$\n",
    "\\left\\{ \n",
    "\\begin{array}{l}\n",
    " \\mid \\hat{p} - p\\mid < \\delta \\\\\n",
    " P(\\mid\\hat{p} - p\\mid < \\delta) = 1-\\alpha\n",
    "\\end{array}\n",
    "\\right.\n",
    "$$\n",
    "то выборка называется **репрезентативной** при уровне доверия $\\alpha$, где $\\delta$ - желаемая точность.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### Задание\n",
    "\n",
    "Посчитайте конверсию по выборке"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[0, 1, 1, 1, 1, 1, 0, 1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1, 1, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 1, 0, 1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1, 1, 0, 1, 1, 1, 1, 1, 0, 1, 1, 1, 1, 0, 1, 1, 1, 1, 1, 1, 0, 1, 1, 1, 1, 0, 1, 0, 1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1, 0, 1, 1, 1]\n"
     ]
    }
   ],
   "source": [
    "import pickle\n",
    "\n",
    "with open('data/pool_sample.pkl', 'rb') as f:\n",
    "    pool_data = pickle.load(f)\n",
    "\n",
    "conversion = None\n",
    "# ---- ВАШ КОД ТУТ ---\n",
    "\n",
    "print(pool_data)\n",
    "\n",
    "# --------------------"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пример с **социологическим опросом**: пусть $X$ - количество положительно ответивших респондентов, $X\\sim Bi(n,p)$. При $n\\rightarrow \\infty$ согласно ЦПТ $X\\sim N(np, npq)$\n",
    "\n",
    "Воспользуемся теоремой Муавра-Лапласа:\n",
    "$$\n",
    "P(\\mid\\hat{p} - p\\mid < \\delta) = P\\left(-\\delta < \\hat{p} - p <\\delta \\right)\n",
    "$$\n",
    "\n",
    "В силу свойств математического ожидания и дисперсии\n",
    "$$\n",
    "\\frac{X}{n}\\sim N\\left(\\frac{np}{n}, \\frac{npq}{n^2}\\right) \\sim N\\left(p, \\frac{pq}{n} \\right)\n",
    "$$\n",
    "\n",
    "Окончательно\n",
    "$$\n",
    "\\frac{X}{n} - p \\sim N\\left(p-p, \\frac{pq}{n}\\right)  \\sim N\\left(0, \\frac{pq}{n}\\right)\n",
    "$$\n",
    "\n",
    "В соответствии вероятностью попадания СВ в интервал\n",
    "$$\n",
    "P(\\mid\\hat{p} - p\\mid < \\delta) = 2\\Phi_0\\left(\\frac{\\delta-m_x}{\\sqrt{d_X}}\\right) = 2\\Phi_0\\left(\\frac{\\delta-0}{\\sqrt{\\frac{pq}{n}}}\\right) = 2\\Phi_0\\left(\\frac{\\delta\\sqrt{n}}{\\sqrt{pq}}\\right)\n",
    "$$\n",
    "Перейдём к доверительной вероятности\n",
    "$$\n",
    "2\\Phi_0\\left(\\frac{\\delta\\sqrt{n}}{\\sqrt{pq}}\\right) = 1 - \\alpha \\rightarrow \\Phi_0\\left(\\frac{\\delta\\sqrt{n}}{\\sqrt{pq}}\\right) = \\frac12 - \\frac{\\alpha}{2}\n",
    "$$\n",
    "Воспользуемся определением квантили:\n",
    "$$\n",
    "\\frac{\\delta\\sqrt{n}}{\\sqrt{pq}} = Z_{\\frac{1}{2}+\\left(\\frac{1}{2}-\\frac{\\alpha}{2}\\right)} = Z_{1-\\frac{\\alpha}{2}} \\longrightarrow n = \\left( \\frac{Z_{1-\\frac{\\alpha}{2}}}{\\delta}\\right)^2pq\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "При таком значении $n$ выборка будет репрезентативной\n",
    "\n",
    "Каким образом определить значения $p,q$:\n",
    "1. из прошлых исследований;\n",
    "1. еcли дополнительной информации нет, то выбрать $p=q=\\frac12$;\n",
    "1. если известен интервал для $p\\in[\\alpha, \\beta]$, то нужно выбирать значение, максимально близкое к $\\frac12$\n",
    "\n",
    "**Задача** За кандидата собираются голосовать 30-40%. Сколько нужно опросить респондентов, чтобы оценить долю голосов за кандидата с точность $2\\%$.\n",
    "\n",
    "Написать функцию, которая рассчитывает объём репрезентативной выборки"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "def representative_sample_size(alpha, delta, p=None):\n",
    "    \"\"\"Функция для расчёта объёма репрезентативной выборки\n",
    "    \n",
    "    :param alpha: уровень доверия\n",
    "    :param delta: точность\n",
    "    :param p (list | int | None): теоретическая вероятность успеха \n",
    "    :return: \n",
    "    \"\"\"\n",
    "    n = None\n",
    "    \n",
    "    return n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Смоделируйте эксперимент с соц-опросом с помощью распределения Бернулли\n",
    "\n",
    "* сгенерируйте выборку того размера, который рассчитали\n",
    "* посчитайте прогнозируемый рейтинг кандидата "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [],
   "source": [
    "# ---- ВАШ КОД ТУТ ---\n",
    "\n",
    "p = 0.7  # задайте тут правильное значение\n",
    "\n",
    "bernoulli_rv = sts.bernoulli(p)\n",
    "\n",
    "print(pool_data)\n",
    "\n",
    "# --------------------"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Проверка статистических гипотез\n",
    "\n",
    "## Основные определения\n",
    "\n",
    "**Статистическая гипотеза** - любое предположение о законе распределения случайной величины.\n",
    "\n",
    "Чтобы проверить статичтическую гипотезу, нужно проанализировать выборку независимых, одинаково распределённых случайных величин $X^n = {X_1,\\ldots,X_n}$.\n",
    "\n",
    "Статистика $T(X^n)$ - любая функция, которая вычисляется по значением выборки\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Т.к. метрики IT-сервисов являются реализацией случайных величин, то для проверки различных предположений о значениях этих метрик можно использовать механизмы проверки статистических гипотез "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Алгоритм проверки статистических гипотез\n",
    "\n",
    "1. Сформулировать основную гипотезу $H_0$ и альтернативную гипотезу $H_{\\text{a}}$\n",
    "1. Выбрать значение уровня значимости $\\alpha: \\alpha = P(H_{\\text{a}}|H_0)$\n",
    "1. Выбрать статистику  $T(X^n)$ \n",
    "1.Установить закон распределения статистики $F$ в случае, когда нулевая гипотеза верна\n",
    "$$T(X^n|H_0)\\sim F; T(X^n|H_0)\\not\\sim F$$\n",
    "1. Построить доверительную область и критическую область\n",
    "1. Вычислить реализацию статичтики\n",
    "1. Принять решение об истинности гипотезы\n",
    "\n",
    "Таким образом мы выдвигаем какое-то предположение о данных (гипотезу) и на основе данных эксперимента делаем вывод о том, верна ли наша гипотеза."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**p-value** - достигаемый уровень значимости: вероятность получить в результате повторных экспериментов такие же, или ещё более экстремальные значения статистики критерия при условии, что $H_0$ - справедлива. Малые значения $p$-value свидетельствуют **против** гипотезы $H_0$.\n",
    "\n",
    "В пакетах для проведения статистических тестов на Python вычисляется не критическая область значений статистики, а именно *$p$-value*, которое соответствует полученной реализации статистики."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "На картинке пример статистики, которая распределена нормальным образом - в центре область, где значения статистики подтверждают нулевую гипотезу, а справа и слева т.н. *критические области*, где значения статистики *отвергают* гипотезу $H_0$\n",
    "\n",
    "![stat_test](img/stat_test.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Если p-value мало, значит данные эксперимента свидетельствуют против нулевой гипотезы. Величину $p-value$ сравнивают с порогом, который определяют перед началом эксперимента: $p \\le \\alpha \\longrightarrow H_0$ отвергается в пользу альтернативы $H_1$ . $\\alpha$ называют уровнем значимости (обычно принимают  $\\alpha = 0.05$).\n",
    "\n",
    "При оценивании статистических критеритериев различаю ошибки I и II рода\n",
    "\n",
    "| -  | H_0 верна | H_1 верна |\n",
    "| --- | --- | --- |\n",
    "|\tПриняли H_0\t| Верное решение\t| Ошибка II рода |\n",
    "|\tОтклонили H_0\t|\tОшибка I рода\t| Верное решение |"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "При проверке гипотез ошибка I рода более критична - она ограничена сверху:\n",
    "$$\n",
    "P(H_1 |  H_0 - верна) = P(p \\le \\alpha | H_0 ) \\le \\alpha \n",
    "$$\n",
    "\n",
    "Гипотезы неравнозначны - $H_0$ либо отвергается, либо не отвергается. Ошибка II рода мягко минимизируется - выбираем критерий с наибольшей мощностью $\\beta$ (из единицы вычитаем ошибку II рода):\n",
    "$$\n",
    "\\beta = 1- P(H_0 |  H_1 - верна)\n",
    "$$\n",
    "\n",
    "Мощность - это характеристика того, насколько хорошо статистистический критерий отклоняет неверную гипотезу $H1$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "При планировании экспериментов по проверке статистических гипотез нужно соблюдать следующие правила (experiment design):\n",
    "\n",
    "* выбрать критерий\n",
    "* задать уровень значимости (ошибку I рода)\n",
    "* выбрать ожидаемый размер эффекта\n",
    "* определить необходимый объём выборки\n",
    "\n",
    "Критерий называется **параметрическим**, если мы делаем какие-то предположения о принадлежности плотности распределения статистики в какому-то семейству функций. Если таких предположений не делается, критерий называется **непараметрическим**."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Примеры продуктовых гипотез"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Примеры статистических критериев\n",
    "\n",
    "### z-критерий Стьюдента (одновыборочный)\n",
    "\n",
    "Пуст результат эксперимента - простая выборка (i.i.d., Independent and identically distributed)\n",
    "$$\n",
    "X^n = N(X_1,\\ldots,X_n) , \\forall i: X_i \\sim N(\\mu,\\sigma^2), \\sigma - \\text{известная величина}\n",
    "$$\n",
    "\n",
    "Нулевая гипотеза и альтернатива:\n",
    "\n",
    "$$\n",
    "\\left\\{\n",
    "\\begin{array}{c}\n",
    "H_0: \\mu=\\mu_0 \\\\\n",
    "H_1: \\mu_1 \\neq \\mu_0\n",
    "\\end{array}\n",
    "\\right.\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Статиcтика критерия:\n",
    "$$\n",
    "Z(X^n) = \\frac{\\overline{X}- μ_0}{\\frac{\\sigma}{\\sqrt{n}}}\n",
    "$$\n",
    "\n",
    "Нулевое распределение: \n",
    "$$\n",
    "Z(X^n) \\sim N(0,1)\n",
    "$$\n",
    "\n",
    "На уровне значимости $\\alpha$ гипотеза $H_0$ отвергается при значении статистики $Z(X^n)=z$ таком, что $z \\lt z_\\alpha$, где $z_\\alpha$ - значение квантили нормального распределения уровня $\\alpha$.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "#### Задача на одновыборочный z-критерий\n",
    "\n",
    "Средняя масса детей в неблагополучных семьях при рождении 2.8 кг.\n",
    "В экспериментальной программе ведения беременности участвовали 25 женщин.\t\n",
    "Средний вес младенцев в экспериментальной группе составил 3.075 кг.\n",
    "Является ли данное отклонение статистически значимым? Исходя из прошлых иследований известно, что вес имеет нормальное распределение с $\\sigma = 0.5$\n",
    "\n",
    "Основная гипотеза H0:\t\tX_среднее = 2.8\n",
    "\n",
    "Альтернативная гипотеза H1\t\tX_среднее > 2.8"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Является ли отклонение значимым False\n"
     ]
    }
   ],
   "source": [
    "# Размер выборки\n",
    "n = None\n",
    "# С.К.О.\n",
    "sigma = None\n",
    "# Уровень доверия \n",
    "alpha = None\n",
    "# Значение квантили\n",
    "z_095 = None\n",
    "# Ср. знач. в ген. совокупности\n",
    "global_mean = None\n",
    "# Ср. знач. в эксперименте\n",
    "sample_mean = None\n",
    "# Считаем статистику\n",
    "Z_x = 0\n",
    "# Критическая область:\n",
    "Z_critical = 0\n",
    "print(\"Является ли отклонение значимым {}\".format(Z_x > Z_critical))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### t-критерий Стьюдента (одновыборочный)\n",
    "\n",
    "В $z$-критерии Стьюдента мы делаем довольно сильное предположение о том, что значение дисперсии $\\sigma^2$ нам известно (например, гарантируется технологическим процессом, если речь идёт об технических характеристиках изделий на производстве). Если значение $\\sigma$ не известно, мы применяем $t$-критерий Стьюдента, который имеет следующий вид:\n",
    "$$\n",
    "X^n = N(X_1,\\ldots,X_n) , \\forall i: X_i \\sim N(\\mu,\\sigma^2), \\sigma - \\text{неизвестная величина}\n",
    "$$\n",
    "\n",
    "Нулевая гипотеза и альтернатива:\n",
    "\n",
    "$$\n",
    "\\left\\{\n",
    "\\begin{array}{c}\n",
    "H_0: \\mu=\\mu_0 \\\\\n",
    "H_1: \\mu_1 \\neq \\mu_0\n",
    "\\end{array}\n",
    "\\right.\n",
    "$$\n",
    "\n",
    "Статиcтика критерия:\n",
    "$$\n",
    "Z(X^n) = \\frac{\\overline{X}- μ_0}{\\frac{S}{\\sqrt{n}}}\n",
    "$$\n",
    "\n",
    "Нулевое распределение:\n",
    "$$\n",
    "T(X^n) \\sim \\text{St}(n-1)\n",
    "$$\n",
    "где S=SQRT(Σ(Xi-  Xmean)2/n) - выборочное отклонение, которое вычисляется по формуле\n",
    "$$\n",
    "S = \\sqrt{\\sum_{i=1}^{n}\\frac{(X_i-\\overline{X})^2}{n}}\n",
    "$$\n",
    "\n",
    "На уровне значимости $\\alpha$ гипотеза $H_0$ отвергается при значении статистики $T(X^n)=t$ таком, что $t \\lt t_\\alpha$, где $t_\\alpha$ - значение квантили распределения Стьюдента уровня $\\alpha$.\n",
    "\n",
    "\n",
    "### t-ритерий Стьюдента для двух выборок\n",
    "Пусть $X^{n_1}=N(X_{11},\\ldots,X_{1n})$ и $X^{n_2}=N(X_{21},\\ldots,X_{2n})$ - две независимых выборки, причём $X^{n_2}\\sim N(\\mu_{11},\\sigma_{11})$ и $X^{n_1}\\sim N(\\mu_{21},\\sigma_{21})$\n",
    "\n",
    "Нулевая гипотеза и альтернатива:\n",
    "\n",
    "$$\n",
    "\\left\\{\n",
    "\\begin{array}{c}\n",
    "H_0: \\mu_1=\\mu_2 \\\\\n",
    "H_1: \\mu_1 \\neq \\mu_2\n",
    "\\end{array}\n",
    "\\right.\n",
    "$$\n",
    "\n",
    "Статистика критерия\n",
    "$$\n",
    "\\left\\{\n",
    "\\begin{array}{lll}\n",
    "Z(X^{n_1}, X^{n_2}) \\sim N(0,1) & Z(X^{n_1}, X^{n_2}) = \\frac{\\overline{X^{n_1}}-\\overline{X^{n_2}}}{\\sqrt{\\frac{\\sigma_1^2}{n_1}+\\frac{\\sigma_2^2}{n_2}}} & \\sigma_1, \\sigma_2 - \\text{известные значения СКО}\\\\\n",
    "T(X^{n_1}, X^{n_2})\\sim St(v) & T(X^{n_1}, X^{n_2}) = \\frac{\\overline{X^{n_1}}-\\overline{X^{n_2}}}{\\sqrt{\\frac{s_1^2}{n_1}+\\frac{s_2^2}{n_2}}} & s^2_X = \\sum_{i=1}^{N}\\frac{(X_i - \\overline{X})^2}{N-1}\n",
    "\\end{array}\n",
    "\\right.\n",
    "$$\n",
    "\n",
    "Число степеней свободы для случая неизвестных дисперсий\n",
    "$$\n",
    "v = \\frac{\\left(\\frac{s_1^2}{n_1}+\\frac{s_2^2}{n_2}\\right)^2}{\\frac{(s_1^2/n_1)^2}{n_1-1}+\\frac{(s_2^2/n_2)^2}{n_2-1}}\n",
    "$$\n",
    "\n",
    "Статья на вики про [Критерий Стьюдента](https://ru.wikipedia.org/wiki/T-Критерий_Стьюдента ) или на [machinelearning.ru](http://www.machinelearning.ru/wiki/index.php?title=Критерий_Стьюдента )\n",
    "\n",
    "\n",
    "В качестве самостоятельной работы нужно написать функцию проверки критерия Стьюдента для двух выборок в случае неизвестной дисперсии и сравните с любой готовой реализацией."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def student_statistics(X_1, X_2):\n",
    "    stat_value = None\n",
    "    \n",
    "    return stat_value\n",
    "\n",
    "sample_1 = []\n",
    "sample_2 = []\n",
    "\n",
    "stat_value = student_statistics(sample_1, sample_2)\n",
    "quantile_level = 0.05\n",
    "\n",
    "quantile_value = None\n",
    "\n",
    "test_result = stat_value < quantile_value\n",
    "\n",
    "print(\"Результат проверки гипотезы : H0 = {}\".format(test_result))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### z-критерий для 2-ух долей\n",
    "\n",
    "Пусть $X^{n_1}=N(X_{11},\\ldots,X_{1n})$ и $X^{n_2}=N(X_{21},\\ldots,X_{2n})$ - две независимых выборки, причём обе выборки из распределения Бернулли, $X_i\\sim B(p)$\n",
    "\n",
    "Нулевая гипотеза и альтернатива:\n",
    "\n",
    "$$\n",
    "\\left\\{\n",
    "\\begin{array}{c}\n",
    "H_0: p_1=p_2 \\\\\n",
    "H_1: p_1 \\neq p_2\n",
    "\\end{array}\n",
    "\\right.\n",
    "$$\n",
    "\n",
    "Статистика критерия\n",
    "$$\n",
    "Z(X^{n_1}, X^{n_2}) = \\frac{\\hat{p}_1 - \\hat{p}_2}{\\sqrt{\\hat{p}(1-\\hat{p})\\left(\\frac{1}{n_1} + \\frac{1}{n_2}\\right)}}, Z(X^{n_1}, X^{n_2}) \\sim (N(0,1)\n",
    "$$\n",
    "\n",
    "где $\\hat{p}_{(1,2)}$ - доля успехов в выборках 1 и 2 и\n",
    "$$\n",
    "\\hat{p}=\\frac{(p_1n_1+ p_2n_2  )}{n_1+ n_2}\n",
    "$$\n",
    "\n",
    "#### Задача на проверку z-критерия\n",
    "\n",
    "На прошедшей неделе в рекламной сети параллельно размещалось два баннера Яндекс.Такси. Оба баннера были показаны один миллион раз. Первый получил 10 000 кликов и 500 установок, а второй — 10 500 кликов и 440 установок. Маркетолог просит у вас совета: какой баннер оставить, а какой отключить? Что вы ему ответите?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Верная ли нулевая гипотеза о равенстве долей: False\n"
     ]
    }
   ],
   "source": [
    "#banner 1\n",
    "n1_click = None\n",
    "n1_installs = None\n",
    "\n",
    "#banner 2\n",
    "n2_click = None\n",
    "n2_installs = None\n",
    "\n",
    "# ctr\n",
    "p1 = None\n",
    "p2 = None\n",
    "\n",
    "# значение статистики критерия\n",
    "T_x = 0\n",
    "\n",
    "# квантиль уровня 0.95 нормального распределения\n",
    "z_095 = 0\n",
    "\n",
    "print(\"Верная ли нулевая гипотеза о равенстве долей: {}\".format(T_x > z_095))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "## Проверка распределения на нормальность\n",
    "\n",
    "Перечисленные критерии основаны на требовании о нормальности случайной выборки - иначе использовать их бессмысленно. Для проверки на \"нормальность\" выборки есть несколько подходов.\n",
    "\n",
    "### Статистический подход\n",
    "\n",
    "Для проверки гипотезы о нормальности распределения данных можно, например, использовать критерий [хи-квадрат](http://www.machinelearning.ru/wiki/index.php?title=Критерий_хи-квадрат). Статистика критерия основана на том, что интервал в который попали значения выборки разбивается на k отрезков, внутри каждого отрезка происходит \n",
    "сравнение \"теоретической\" частоты (вычисляется как интеграл функции распределения) и эмпирической частоты попадания в этот интервал элементов выборки. Статистика критерия имеет распределение хи-квадрат.\n",
    "\n",
    "У метода есть очевидные недостатки:\n",
    "* неоднозначность выбора количества интервалов $К$\n",
    "* нужна большая выборка\n",
    "\n",
    "Другим статистическим критерием для проверки гипотезы о нормальности явлется критерий [Шапиро-Уилка](http://www.machinelearning.ru/wiki/index.php?title=Критерий_Шапиро-Уилка) Статичтика притерия имеет табличное распределение.\n",
    "\n",
    "### QQ-plot\n",
    "\n",
    "Простым графическим методом проверки данных на соотвествие данных нормальному распределению является QQ-plot.\n",
    "\n",
    "В качестве самостоятельной работы постройте QQ-plot с помощью statsmodels.api.qqplot и scipy.stats.probplot"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import scipy.stats as stats\n",
    "\n",
    "stats.probplot()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import statsmodels.api as sm\n",
    "\n",
    "sm.qqplot()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Проблемы с проверкой на нормальность\n",
    "\n",
    "* На маленьких выборках гипотеза нормальности почти никогда не отклоняется\n",
    "* На больших выборках гипотеза нормальности отклоняется почти всегда\n",
    "\n",
    "На практике: многие критерии (напр. Стьюдента) нечувствительны к незначительным отклонениям\n",
    "\n",
    "## Нормализация данных\n",
    "\n",
    "Если данные не распределены нормально, распределение можно привести их к нормальному распределению:\n",
    "\n",
    "* Преобразования масштаба: Standart Scaling, MinMax Scaling \n",
    "* Монотонные трансформации: SQRT, LOG \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Непараметрические критерии\n",
    "\n",
    "Перечисленные критерии базируются на гипотезах о виде распределения, из которого получена выборка $X$. Зачастую такое предположение сделать невозможно, в этом случае выход - использование непараметрических критериев - например, ранговых. \n",
    "\n",
    "\n",
    "Пример непараметрического критерия - критерий знаков [на курсе от Яндекса](https://www.coursera.org/learn/stats-for-data-analysis/lecture/kwUyx/kritierii-znakov) а также [Статья на вики про него же](http://www.machinelearning.ru/wiki/index.php?title=Критерий_знаков)\n",
    "\n",
    "#### Пример применения критерия знаков\n",
    "\n",
    "Пусть у группы пользователей онлайн-кинотеатра измерили среднее время смотрения до и после выкатки фичи. Нужно выяснить, выросла ли длительность смотрения"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[0, 0.007812500000000002, 0.06250000000000003, 0.2265625000000001, 0.5000000000000002, 0.7734375000000004, 0.9375000000000006, 0.9921875000000006, 1.0000000000000007]\n",
      "[1, 0, 1, 0, 0, 0, 0]\n",
      "Истинность гипотезы H_0: True\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXcAAAEQCAYAAABLMTQcAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjIsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8li6FKAAAgAElEQVR4nO3dd1xV9R/H8deXIThBUXCLe2/MNEeuzPKnmTnT1PbShmnaXpq//DX82fhlmuau1FJz5MhcaYrmxC2ooAKCoCDz3u/vj3MrNBDhXu65XD7Px4MH4957zueAvjl8z/d8vkprjRBCCPfiYXYBQgghHE/CXQgh3JCEuxBCuCEJdyGEcEMS7kII4YYk3IUQwg15OXNn5cuX18HBwc7cpRBCFHp79uy5pLWukJfXODXcg4ODCQ0NdeYuhRCi0FNKncnra2RYRggh3JCEuxBCuCEJdyGEcENOHXPPTkZGBpGRkaSmpppdikvx9fWlatWqeHt7m12KEKIQMj3cIyMjKV26NMHBwSilzC7HJWitiYuLIzIykpo1a5pdjhCiEDJ9WCY1NZWAgAAJ9iyUUgQEBMhfM0KIfDM93AEJ9mzI90QIAUA+27K7RLibKSEhgc8//zxfr/3kk0+4du2agysSQgiba/Ew5958vVTCXcJdCOGKUq/A/P4Qmb8bP02/oGq2CRMmcOrUKVq0aEGPHj0IDAzku+++Iy0tjX79+vH222+TnJzMwIEDiYyMxGKx8PrrrxMdHc358+fp0qUL5cuXZ9OmTWYfihDCXaRfg0WD4eIBGDQf3rgnz5so8uE+ZcoUDh06xL59+1i3bh1Llixh165daK3p06cPW7ZsITY2lsqVK7Nq1SoAEhMT8fPz46OPPmLTpk2UL1/e5KMQQriNzHT4bjic+Q36z4T6vfK1GZcK97dXHibs/BWHbrNR5TK8+a/Gt/TcdevWsW7dOlq2bAlAUlISJ06coGPHjowdO5aXX36Z3r1707FjR4fWKIQQAFgyYekjcHID9JkOTR/I96ZcKtzNprVm4sSJPPHEE/94bO/evaxevZrXXnuNbt268cYbb5hQoRDCbVmtsGI0HFkBPd+HVg/ZtTmXCvdbPcN2pNKlS3P16lUAevbsyeuvv86DDz5IqVKliIqKwtvbm8zMTMqVK8ewYcPw9/dn5syZ171WhmWEEHbRGta+DPsXQpdXod3Tdm/SpcLdDAEBAdxxxx00adKEXr16MXToUNq1awdAqVKlmD9/PidPnmTcuHF4eHjg7e3NF198AcDjjz/O3XffTeXKleWCqhAi/za+A7tmQPvR0GmcQzapdD4nyOdHSEiIvrGf+5EjR2jYsKHTaihM5HsjRBGw9UMj3EMehns/gmxuYFRK7dFah+Rls0V+nrsQQpjm9xlGsDcdCPd8mG2w55eEuxBCmGHfQlgzDurfC/d9Dh6OjWMJdyGEcLbDP8LyZ6BWFxgwGzwd39pbwl0IIZzpxHpY+ihUvQ0GLwAvnwLZjYS7EEI4S8Q2+HYYBDWCB7+DYiULbFcS7kII4QyRe2DhIPCvAcOWga9fge5Owt0BIiIiWLhwYb5e16RJkwKoSAjhUqIPw/z7oWR5eGi58b6ASbg7wM3CPTMz08nVCCFcStwpmHsfeBc3gr1MJafsVsIdmDt3Ls2aNaN58+YMHz6ciIgIunbtSrNmzejWrRtnz54FYOTIkYwZM4b27dtTq1YtlixZAhhtg7du3UqLFi34+OOPmTNnDn369KFr165069YNrTXjxo2jSZMmNG3alG+//dbMwxVCOEvCOZjbF7TFCPaywc7bt9baaW+tW7fWNwoLC/vH15zp0KFDum7dujo2NlZrrXVcXJzu3bu3njNnjtZa61mzZum+fftqrbUeMWKEfuCBB7TFYtGHDx/WtWvX1lprvWnTJn3vvff+tc3Zs2frKlWq6Li4OK211kuWLNHdu3fXmZmZ+uLFi7patWr6/PnzOjw8XDdu3DjH2sz+3ggh7HDlotbTWmo9uZrW5/fZtSkgVOcxb12rt8yaCXDxoGO3WbEp9JqS48O//PILAwYM+Kv5V7ly5dixYwfLli0DYPjw4YwfP/6v59933314eHjQqFEjoqOjc9xujx49KFeuHADbtm1jyJAheHp6EhQUROfOndm9ezfNmjVzxBEKIVzNtXiY1w+uXoThP0Cl5k4vIddhGaXU10qpGKXUoSxfK6eUWq+UOmF7X7Zgy3QdPj5/z0nVN+nLU7JkwU1xEkK4sLSrsOABiDsBQxZC9bamlHErZ+5zgE+BuVm+NgHYqLWeopSaYPv8ZburuckZdkHp2rUr/fr148UXXyQgIID4+Hjat2/P4sWLGT58OAsWLMh1cY6sbYOz07FjR7788ktGjBhBfHw8W7ZsYerUqaSmpjr6cIQQZspIgYWD4fw+Y3m8WneaVkqu4a613qKUCr7hy32BO20ffwP8iiPC3QSNGzfm1VdfpXPnznh6etKyZUumT5/OqFGjmDp1KhUqVGD27Nk33UazZs3w9PSkefPmjBw5krJlr/9Dpl+/fuzYsYPmzZujlOKDDz6gYsWKREREFOCRCSGcKjMdvh0OZ7Yby+M1yPu6p450Sy1/beH+k9a6ie3zBK21v+1jBVz+8/ObkZa/eSPfGyEKCUsmLH0YwpbDv6ZB65EO3bwpLX9tV3Jz/A2hlHpcKRWqlAqNjY21d3dCCOFarFZYOcYI9rsmOTzY8yu/4R6tlKoEYHsfk9MTtdYztNYhWuuQChUq5HN3QgjhgrSGtRNg3wK4cyK0f9bsiv6S33BfAYywfTwCWO6YcoQQohD55T3Y9SW0exY6u9Zlx1uZCrkI2AHUV0pFKqUeAaYAPZRSJ4Duts/z7VbG/Ysa+Z4I4eK2fQxb/wOtRsBd7zl0FSVHuJXZMkNyeKibIwrw9fUlLi6OgIAAlIt9c8yitSYuLg5fX1+zSxFCZGfXV7DhLWg6AHp/7HLBDrc2z71AVa1alcjISORi6/V8fX2pWrWq2WUIIW60bxGsfgnq3wP3fQEenmZXlC3Tw93b25uaNWuaXYYQQuQubDksfxpqdoYHCmZ5PEeRrpBCCHErTmyAJY9A1TYweCF4u/awqYS7EELkJmK7sTxeYAMY+h34lDK7olxJuAshxM1E/bk8XjUY/iMUz/VmfJcg4S6EEDmJDoP5/aFEOactj+coEu5CCJGduFMw7z7w8rUtj1fZ7IryxPTZMkII4XISI43l8ayZMHI1lCt8M/ok3IUQIqukGCPYUxNhxErjImohJOEuhBB/+nN5vCvnjeXxKrcwu6J8k3AXQgiwLY83AC4dh6HfQvXbza7ILhLuQgiRkQKLhsD5P2DQPKjd1eyK7CbhLoQo2jLT4bsRELEN7p8BDe41uyKHkHAXQhRdVgv88Dic+Bl6fwLNBppdkcPIPHchRNFktcKKMXD4B6Mfe8gosytyKAl3IUTRozX8PBH2zTdWUGo/2uyKHE7CXQhR9GyaBL//D25/xlj71A1JuAshipZtn8CWqdDqIeg5ySVXUXIECXchRNGxeyZseBOa9DcuoLppsIOEuxCiqNi/GFaNhXq9oN+XLrs8nqNIuAsh3N+RlfDj01CzEwyY49LL4zmKhLsQwr2d3ADfj4IqrWDwIpdfHs9RJNyFEO7rzG+w2LY83oPfF4rl8RxFwl0I4Z6i9sKCgeBXFYb9AMXLml2RU0m4CyHcT8wRY3m84mWNVZRKVTC7IqeTcBdCuJe4U8ZiG57FYMRy8KtidkWmkMZhQgj3kRgFc+8DSwaMWg3lapldkWkk3IUQ7iEp1rY8XgKMWAGBDc2uyFQS7kKIwi/lsrE8XmKkbXm8lmZXZDq7xtyVUi8opQ4rpQ4ppRYppYrGBFIhhOv4a3m8YzB4AdRoZ3ZFLiHf4a6UqgKMAUK01k0AT2CwowoTQohcJUYZwR61Fx74Gup0M7sil2HvsIwXUFwplQGUAM7bX5IQQuRCazjwLaweD9YMY3m8hv8yuyqXku9w11pHKaX+A5wFUoB1Wut1DqtMCCGykxQLPz0PR3+CarfDfZ9DQG2zq3I59gzLlAX6AjWBykBJpdSwbJ73uFIqVCkVGhsbm/9KhRAibAV83hZOrIMe7xrTHSXYs2XPsEx3IFxrHQuglFoGtAfmZ32S1noGMAMgJCRE27E/IURRlXIZ1rxsDMVUam607DVhqqPWmnSLldQMK2kZFuN9pvE+NdNCWoaV1AwLqZk3PJZhIS3zz9fk8Lo/X2N7bqrtuWmZ1nzVak+4nwVuV0qVwBiW6QaE2rE9IYT4p5MbYPmzkBQDnSdAp5eua9mbmmHh8rX0f4RpapaQTLvxsRsDNWuY3hC8120n04q24xTVx8sDX29PfL2N93997uVJKR8vAkpm85i3B+Pfz/u+7Blz/10ptQTYC2QCf2A7QxdCCLulJcG612DPbKjQAIYsum7+eobFyrwdZ/hkw3GupGbmadOeHgpfLw98vD3xtYVosSxhWrZkseuC18f7z4+N1/wdvMbzfbyyD+w/H/Px9sDHywOVz5WfxufjNXbNltFavwm8ac82hBDiHyK2w49PQcJZaD8aurx2XR/2zcdjeWflYU7FJtOxbnnuaVrJCNc/g9jL84YQvj54vT3dv62W3KEqhHAdGSnwy3uw4zMoWwNGrbnupqTwS8lMWhXGhiMxBAeUYOZDIXRrGJjvM2J3JuEuhHANUXvhhyeNO03bPArd3/5rcY2rqRl8+stJvt4ejo+XJxN7NWDkHcH4eLn3Oqj2kHAXQpgrMx22/ge2/AdKBcGwZX/daWq1apbsjeSDtceIS05jQOuqvNSzPoGlpdNJbiTchRDmiQ6DH56Aiweg+RC4ewoU9wdgz5l43loRxsGoRFrXKMvXI0NoVtXf5IILDwl3IYTzWS3w23TYNAl8/WDQAmjYG4ALiSlMWXOU5fvOU7GML9MGt6BP88oyrp5HEu5CCOeKO2WMrUfuMvrB9P4ESpYnNcPCV1tO8/mvp7BozeiudXjqztqUKCYxlR/yXRNCOIfVCqGzYP0bxk1I98+Epg+ggTUHLzBp1RGiElK4p2lFJvZqSLVyJcyuuFCTcBdCFLyEc7DiWTj9K9TpDn2mQ5nKhJ2/wjs/HWbn6XgaVCzNosdup13tALOrdQsS7kKIgqM17FsIaycY4+y9P4HWI4m/lsGHPxxk0a6z+BX35r37mjC4TTW8isDNRc4i4S6EKBhXo43WvMdWQ407oO9nZPjVYN72CD7ZcJzkdAsj2gfzfLd6+JXwzn17Ik8k3IUQjnf4B/jpRUhPhp6Toe1TbDkZxztztnIyJomOdcvzRu9G1A0qbXalbkvCXQjhONfiYfU4OLQEKreCfv8jXFVl0rw90jLAySTchRCOcXwdrBgN1y5Bl9e42uZZPt0cwdfbNkvLABNIuAsh7JN6Bda9CnvnQmAjrEO+ZcmFAD74aDuXkoyWAePulpYBzibhLoTIv/Ct8OPTcCUSOrzA3lpP8tYPJzkQGUWr6v7MGhFC82rSMsAMEu5CiLzLSIENb8PvX0C52lwauIL39pfixw17CCrjwyeDWtC3hbQMMJOEuxAibyJDjfYBcSfIDHmcr4oN578Lz2PRSYzuWocnO9empI9Ei9nkJyCEuDWZ6bB5Cmz7GF26Mrs7zubFUH8iL5+jV5OKvHKPtAxwJRLuQojcXTxonK1HHyKh/kBeSBzEpvVpNKjoxcLH2tK+dnmzKxQ3kHAXQuTMkgnbP4Ffp2D19WdB8BTePFAdv+JWaRng4iTchRDZu3TCOFuPCiU86C4eih7E+eMlGNG+hrQMKAQk3IUQ17NaYdcM2PAWGR4+/Lv4OGaeaUnHuuX5WloGFBoS7kKIv10+A8ufgYit7C/elkcvP0SJgCrMfKiRtAwoZCTchRBGa94/5qHXTiQ908pbmY+zIrkro3vVY5S0DCiUJNyFKOquXkSvGIM68TOhqgkvpD5Gu1Yt2SQtAwo1CXchirKDS8hc+SKW9FQmZ4zgYOUBfNanqbQMcAMS7kIURclxpCx/nuLHV3DAWofJPs8xrG833pKWAW5Dwl2IIib98CoyfhyNd3oCH1oHwx1j+KZLfWkZ4GbkpylEEaFTEoha/AJVzyzjpLUGy2pMYUS/3tIywE3ZFe5KKX9gJtAE0MDDWusdjihMCOE4Z3avpsTa56iUGcsi34EE93+b1+pVNrssUYDsPXOfBqzVWj+glCoGyCmAEM6gNaRdgZQESLkMqbb3KQnXfWy5Fk9k5DlqJO0jnMqEtpvHgB73SsuAIiDf4a6U8gM6ASMBtNbpQLpjyhKiiMhI+TuUbxLS/3wsEbQl5+16FsPi409Umi8xGb5EVBxG8wcn08vPz3nHJkxlz5l7TSAWmK2Uag7sAZ7TWic7pDIhCgtLhhG2/wjibEL5xs8taTlvV3mArz8U97e9Lwtlg433f35e3P+fn/v6s+ZoAuOXHkQpmDqoOT0bV3Tat0O4BnvC3QtoBYzWWv+ulJoGTABez/okpdTjwOMA1atXt2N3QhQgq9UY5sg2iLML6YS/H0u/evNtFyttC2FbSJevd31gZxfQxcsar/PI2/BJWqaF91cfZc5vETSv5s+nQ1rKBdMiyp5wjwQitda/2z5fghHu19FazwBmAISEhGg79idEwdj1FaydANbMnJ/jWcwWvLYQ9qsKFZtke9Z8fWD7gadzuieejbvGMwv3cjAqkUc71GT83Q0o5iVj60VVvsNda31RKXVOKVVfa30M6AaEOa40IZwgMRLWvwFV20CD3jecRWf52Ls4uPDNPasPXuDlJQdQCmYMb81dMgxT5Nk7W2Y0sMA2U+Y0MMr+koRwonWvg7ZCvy+hbA2zq8mztEwLk1cd4ZsdZ2QYRlzHrnDXWu8DQhxUixDOFbENDi+DzhMKZbCfiUvm2YV/yDCMyJbcoSqKJksmrB4PftWhw/NmV5Nnfw7DeHgovnoohB6NgswuSbgYCXdRNO2ZDTGHYeBcYzy9kMg6DNOimj+fDm1J1bIyDCP+ScJdFD3JcfDLe1CzEzTsY3Y1t+xMXDLPLNzLoagrPNaxJuN6yjCMyJmEuyh6fnkX0q5Crw9cegZMVqsOXGDCUhmGEbdOwl0ULRf2w5450PZJCGxodjW5Ss2wMHn1EebKMIzIIwl3UXRobVxELREAd/7jfjuXI8Mwwh4S7qLoOLgEzu2EPtONG5RcWNZhmJkPhdBdhmFEHkm4i6IhLQnWvw6VW0KLYWZXk6PUDAuTVh1h3s4ztKzuz/QhMgwj8kfCXRQNW/8DVy/AwHl5bsblLBGXjGGYw+ev8HinWozrWR9v6bsu8knCXbi/uFOw4zNoPhSqtTG7mmz9dOA8E5YexFOGYYSDSLgL97d2Inj6QPc3za7kH24chvl0aCuq+Beem6qE65JwF+7t+M9w4mfo8S6Udq1OiVmHYZ7oVIuXZBhGOJCEu3BfmWnGWXtAXWNeuwtZuf88E5cdxMtTMWtECN0ayjCMcCwJd+G+dn4O8afgwaXgVczsagBjGOa9VWHM33mWVtX9mS7DMKKASLgL93TlAmyeCvXvgbrdza4GgPBLyTyzYC9hF2QYRhQ8CXfhnja8aSyb13Oy2ZUA1w/DfD0yhK4NZBhGFCwJd+F+zu6EA99Cx5egXE1TS7lxGObToa2oLMMwwgkk3IV7sVpg9TgoXRk6vmhqKdcNw3SuxUt3yTCMcB4Jd+Fe9s6Fiweg/ywoVtK0MlbuP8+EpQfw9vKQYRhhCgl34T6uxcPGd6DGHdCkvyklpGZYePenMBb8fpbWNcoyfUhLGYYRppBwF+7j1/chNQF6/duURTjCLyXz9IK9HJFhGOECJNyFe4g+DLtnQsjDULGp03e/Yv95JtqGYWaPbEOXBoFOr0GIrCTcReH35yIcvn7Q5VWn7jo1w8I7P4WxUIZhhIuRcBeF3+Ef4Mw2uPcjKFHOabs9HZvEMwv/4MiFKzzZuTZj76onwzDCZUi4i8ItPRnWvW4MxbQe6bTdLt8XxSvLDlJMhmGEi5JwF4Xbtk/gSiT0nwkengW+u6zDMCE1yvJfGYYRLkrCXRRe8eGwfRo0HQA12hX47rIOwzx1Z21e7CHDMMJ1SbiLwmvda+DhBT3eKfBdyTCMKGwk3EXhdHIjHP0Jur0JZSoX2G5SMyy8vTKMRbuMYZjpQ1tSyU+GYYTrszvclVKeQCgQpbXubX9JQuQiMx3WToCyNaHdMwW2m1OxSTyzYC9HL17lqTtrM7ZHPbxkGEYUEo44c38OOAKUccC2hMjdrhlw6TgM+Ra8fApkF9cNw4xqQ5f6MgwjChe7TkOUUlWBe4GZjilHiFxcjYZfp0Ddu6D+3Q7ffGqGhYnLDvLc4n00qlyG1c91lGAXhZK9Z+6fAOOB0g6oRYjcbXwbMlOh5/sO33TWYZinbbNhZBhGFFb5DnelVG8gRmu9Ryl1502e9zjwOED16tXzuzshIDIU9i2AO56D8nUcuunl+6KYuOwgvt6ezBnVhjvlbF0Ucvacud8B9FFK3QP4AmWUUvO11sOyPklrPQOYARASEqLt2J8oyqxWYxGOUhWh0ziHbTY5LZO3Vx7mu9BI2gQbNyXJbBjhDvId7lrricBEANuZ+0s3BrsQDrNvAZzfC/1mgI9jRgEPRCbw3OJ9RMQl82yXOjzfva4Mwwi3IfPchetLSYANb0G1ttBsoN2bs1g1X245xUfrjhNY2ofFj91O21oB9tcphAtxSLhrrX8FfnXEtoT4h80fwLU4GLbU7kU4LiSm8MK3+9h5Op57m1Zicr+m+JXwdlChQrgOOXMXri3mKOz6ElqPgMot7NrUmoMXmLDsIBkWKx880IwBrauiTFixSQhnkHAXrktrWDPeWOi66+v53sy19EzeWRnG4t3naFbVj2mDW1KzvHmLZwvhDBLuwnUd/QnCN0OvqVCyfL42cTAykecW/0F4XDJP31mbF6SToygiJNyFa8pIgZ9fgcBGxrqoeWS1amZsPc2H644RUNKHhY/eTrvactFUFB0S7sI1bf8vJJyFESvBM2//TC8mpjL2+31sPxlHryYVef/+pviXKFZAhQrhmiTchetJOAvbPoJG90HNTnl66c+HL/Ly0gOkZVj5d/+mDAypJhdNRZEk4S5cz7rXAQV3vXfLL7mWnsm7Px1h0a6zNK3ix7TBLahVoVTB1SiEi5NwF67l9GYI+xG6vAr+1W7pJYeiEhmz+A/CLyXzROdajO1Rn2JectFUFG0S7sJ1WDJhzcvgXx3aj8716VarZua200z9+RjlShZjwSNtaV8nf7NqhHA3Eu7CdYTOgtgjMGgBeN+8eVf0lVTGfrefbScv0bNxEFPub0bZknLRVIg/SbgL15B8CTZNglpdoMG9N33qOttF09QMK+/f35TBbeSiqRA3knAXrmHjO5CeDL3+nWP/mJR0C++uCmPh72dpUqUM0wa3pLZcNBUiWxLuwnzn/4C9c43FrivUz/Yph88nMmbRH5yKTeaJTrUYe5dcNBXiZiTchbmsVlg93mgv0Hl8Ng9rvt4ezgdrj+Ffwpv5j7SlQ125aCpEbiTchbkOfgeRu6DvZ+Drd91DMVdSGfv9fraeuESPRkH8u38zyslFUyFuiYS7ME/aVVj/BlRpDc2HXvfQhrBoxi89wLX0TCb1a8LQ26rLRVMh8kDCXZhn8weQFA2DF4GHMX6ekm5h0uow5u88S6NKZfjvkBbUCXTMsnpCFCUS7sIcl07Azi+gxTCo2hqAsPNXGLP4D07GJPFYx5q81LM+Pl6eJhcqROEk4e4gCZcuUqZsIB7SKzx3WsPaCcaNSt3f/MdF03mP3EbHuhXMrlKIQk3C3Q5aa7YdjuDa2rfocXU5oR5N2FLnZVq0vI0Odcvj6y1nndk6vhZOboCek4nRZXhpzm62HI+le8NA/t2/GQGlfMyuUIhCT8I9H1IzLPzwRxT7f13Gs8nTqaziOF6+G00u76Tl8RH878i/GKvu57a6VejRMIiuDQMpL4FlyEg1ztrL1+eXMn0Z98lWktIyefe+JgxrKxdNhXAUCfc8iLmayvwdZ1ix8zDPZsxmiucWrpauiaX/PBrUbA9JMVh+fo3RB7/lwWK7mHR2FOPDGqMUtKpelh6NgujeMIg6gUX4rsqdn8HlCL6p/TFvzttPw0plWDy4BXWD5KKpEI6ktNZO21lISIgODQ112v4c5ciFK8zaFs6KfVF0ZydTfL6hlE5CdXge1WkcePte/4LwrbBqLFw6xpXgXnxX4Rl+PA2Hoq4AUKt8Sbrbgr51jbJ4ehSRs9XEKKzTW/MbzRmWNIZHOtRk/N1y0VSI3Cil9mitQ/L0Ggn37Fmtmk3HYpi1LZzfTsVR3TuR/5VbRKPELVCpBfT9FCo2zXkDmemwYzpsngrKA7pM5Hz9EWw8Hs+6sGh2no4jw6IpV7IYXeoH0qNREJ3qladEMff8Y0przen/DabKxY0M9JrG2EF30bmeXDQV4lZIuDvAtfRMlu6NYva2cE5fSqZiaR+m1NxH5zPTUJZ06PIK3P7Mra/refkMrBlvXEQMbAy9P4bqbbmamsHm47FsCIvml6MxXEnNpJiXBx3qlKd7wyC6NwwksIxv7tsvBGKvpjFj3nxejXmRFX7DueOxD+WiqRB5IOFuh4uJqczdEcGC38+SmJJBs6p+jG7pSbcTk/GI2AI1OkCf/0JA7bxvXGs4uspYiOJKJLQcDj3egRLlAMiwWNkdEc/6sGjWh0UTeTkFgObV/LnLNnxTL6hUobzYuOloDC9/v5dvMsdTvXgaJV7ciypW0uyyhChUJNzz4VBUIrO2hbNy/3msWnNXo4o8ckd1Qi4sQm2aDJ7eRhC3GvHXXZT5lp4Mm/8NOz4DnzLGdls8eN12tdYci77KhrBo1h+JYf+5BACqlytB94ZB9GgURJvgsni5+Hz61AwLU9YcZc5vEYwtu5XRKV/AgDnQuJ/ZpQlR6Ei43yKLVbPxSDQzt4WzKzyeksU8GdimGqPa16R6ZjgsfxbO74V6veDeD8GvimMLiA4zLrie/Q2q3Q69P4Kgxtk/9UoqG4/EsD7sIttPxZGeacWvuDddG1yW/p4AABGBSURBVATSvWEQnetXoJSPa43TH7t4lTGL/uBY9FWebluWcceHooKawIiVOfZqF0LkTMI9F8lpmSzZE8nX28M5E3eNKv7FGdk+mEG3VaOMlxW2fmi8+frDPR9A4/sLLoy0hn0LYf3rkJIA7Z6GzhPAJ+dpkslpmWw9Ecv6sBh+ORrN5WsZFPP04PbaAbZploFU8rv58nQFSWvNN79FMHnNUcr4ejF1QHO6nPw3hM6GJ7fm+AtMCHFzTg13pVQ1YC4QBGhghtZ62s1eY1a4n09I4ZvfIli06yxXUjNpWd2fRzvUomfjIGN449wu42z90jFoNgh6vg8lA5xT3LV42PAW7P0GylQxViJq0DvXXyqZFit7zyawPuwi68OiiYi7BkDTKn7GBdlGgTSqVMZp4/SXktIY9/1+Nh2LpUv9CnzwQHMqJB+HLztBm8eMX5ZCiHxxdrhXAipprfcqpUoDe4D7tNZhOb3G2eG+71wCs7aFs/rgBbTW9GpaiUc61KRV9bLGE9KS4Jf34Pf/GcH6r0+gbg+n1Xedc7vgpxcg+hDU7WmEYdngW3qp1ppTsUmsD4thw5Fo9p69jNZQxb843RsG0qNRRW6rWa7AVi7adCyGcd/v50pqJq/0asCI9sEogNn3GL8wR++B4mULZN9CFAWmDssopZYDn2qt1+f0HGeEu8WqWXf4IjO3hbPnzGVK+3gx+LZqjGgfTNWyJf5+4smNsPJ5SDxrnFl2fxN8TL5L0pIJu76ETZPBmgmdxkH7MeCVtwUqYq+mseloDOvCotl2MpbUDCulfb24s34g3RsGcmf9QPyKe9tdbtaLpvWDSjNtSAsaVCxjPHhwCSx9BP41DVqPtHtfQhRlpoW7UioY2AI00Vpfyel5BRnuV1Mz+C40ktnbw4m8nEK1csUZ1b4mA9tUu/6C47V4WPca7FsAAXWhz3So0a5Aasq3xCj4eSKELYfy9YyLujU75WtTKekWtp28xIawaDYejeZSUjpeHoq2tcrRo2EQ3RsFXf9L7xYdu3iV5xb/wdGLVxnZPpgJvRr83SgtLQk+bQOlKsBjm8BD7kAVwh6mhLtSqhSwGZiktV6WzeOPA48DVK9evfWZM2fs2t+NzsVfY85vEXy7+xxJaZm0CS7LIx1q0qNRxX/e1h+2HFa9BNfioMMLxpnxja0DXMmJ9bD6JbgcAU0HQs9JUCow35uzWDX7ziWwPiyaDUeiORmTBEDDSmXoYRu+aVLl5uP0Wmvm7jjD5NVHKOXjxdQBzejaIOj6J218x7gw/fA6qN423/UKIQxOD3ellDfwE/Cz1vqj3J7vyDP3PWcuM2vbadYeuoiHUtzbzBhPb1bV/59PvnrRmHp49Ceo1Bz6fAqVmjmkjgKXkQJbP4Ltn4BXcej2OoQ87JCz4fBLycZ8+rBoQs/EY9VQsYwv3RsZ0yzb1Q64ru/LpaQ0Xl5ygI1HY+hcrwJTBzQjsPQNvxzjT8NnbY2ZRvd/aXeNQgjnX1BVwDdAvNb6+Vt5jb3hnmmxsubQRWZtC2ffuQTK+HoxtG0NRrSvkf0UQK3hj3nw82tgSct76wBXcumE8QsqfDNUbmXMja/c0mGbj09OZ9PRGNaHRbPlRCzX0i2ULOZJ5/oV6N4wiJI+Xrz6wyGupGQwoVcDRrYPxiO7hmcLB0PEVng2FMpUclh9QhRlzg73DsBW4CBgtX35Fa316pxek99wT0zJ4NvdZ/nmtzNEJaQQHFCChzvUpH+rqpTM6Qae+HBYOQbC7Wwd4Eq0hkNL4edXIDkW2jwKXV8DXz+H7iY1w8KOU3GsPxLNhrBoYq6mAVA3sBT/HdKShpXKZP/CE+thwQPQ/W3ocEu/74UQt8DtbmI6E5fM7O0RfB96juR0C7fXKscjHWrRrUFg9meNAFaLsTbnL++Bhxfc9Q60Gml/6wBXkppoHN/umVCyAvScDE36F8gNV1ar5mBUIqdik7inaaWcV5fKTIcvbBemn9qR5xk+Qoic5SfcXW58QmvN7ojLzNx6mvVHovHyUPyrWWUe7lCTJlVyOUONDoMVz0LUHqh3N9z7keNbB7gCXz+4Zyq0GGrMjV/6iDH8dM+HUL6OQ3fl4aFoXs2f5tWyuZaR1e9fQNxJeHCJBLsQLsBlwj3DYmXVgQvM2hbOwahE/Et48/SdtXmoXTBBubW+zUyztQ74CHzLQP9ZBXYm61Iqt4RHN0Lo17DxXePM+Y7noeOLxuLTznL1Imz+wPiFatZNYEKI65ge7gnX0lm46yxzfzvDxSup1KpQkkn9mnB/y6oUL3YLM0LO7TbO1mOPOr91gCvw8ITbHoOGfYw+NVs+gIPfwz3/gbrdnVPDhrfAkm4MDwkhXIJp4X46NonZ2yNYsieSlAwLHeqU5/37m9K5XoWcx9OzurF1wINLivZZY+kguH+G0UJ41VhY0B8a9YW7p0CZygW337O/w/5F0OHFwn/BWgg34vRw/+3UJb7eFs7GozF4e3jQt4Uxnp7jDIzsnPoFVj4HCS7UOsBV1OoMT22H36bDlqlGm4Uur8BtTzh+CqjVYqwyVboydBzr2G0LIezi1NkyftUb6LJDPySgZDEevL0Gw2+vQYXSeVhuLeWyMWd933zXbR3gSi5HwOpxcGIdBDU15sZXu81x29/zjTHdtP8saPqA47YrhLiOy0+FLFOtvv5q2Xr6tqiS85S6nFzXOuB56DTetVsHuAqtjTtz17wMV6KMFaW6v/XXEn/5lpIA01sZvW9GrXH/i9dCmMjlp0LWCyrNoDbV8/aiqxeN/ipHVhqtA4YtLTytA1yBUtDwX1CrC2yeAjs+N8K+x7vGVMr8hvKv7xt/SfX6QIJdCBfkunf2aA1758Fntxl3PnZ/Gx79RYI9v3xKwV3vGSsiBdSF5U/D7F7GvQF5FR0Gu76C1qPk5yGEi3LNcI8Ph3n3GVMcg5rAk9uNoZjC2BPG1QQ1NoZR+nwKscfgy46w/g1j8e5boTWsfdm4gN31tYKtVQiRb64V7lYL7PgMvmgPkXug98cw4ieH33VZ5Hl4QKvhRnOv5kNg+zT49DY4uir314YtN/r1dH3N/nF7IUSBcZ1wjw6DWT2Mplg1O8Ezv9ta27pOiW6nZAD0/RQe/tloabB4qNHV8XIOPffTrxkLnQQ1NX42QgiXZX5yZqbBpveNhZQvRxjT6oYsds+eMK6q+u3wxGZjTD58i9GPfeuHRjOwrLZPg8RzxiLesrqSEC7N3HCPDIUvOxuzOBr3g2d2G/OlZfaF83l6Q/vR8Owuo23Bxnfgfx0gfKvx+OUzxoIhTfpD8B3m1iqEyJU5VyjTk43WATu/MFoHDP0e6t1lSiniBn5VYdB8OL7OmIL6TW9oNhhS4kF5GFMohRAuz/nhfmqTcVdjwlljsYlubxqdHIVrqXcXBO80hme2TwNrBnR9XYbLhCgknLtYR51AHTosDQLq2FoHtHfavoUdYo/D8TXQ9knwykO7CCGEQ7j8Hapci4cOr0Pnl6V1QGFSoZ7xJoQoNJwb7hXqGx0chRBCFCjnzpZx5upAQghRhJk/z10IIYTDSbgLIYQbknAXQgg3JOEuhBBuSMJdCCHckIS7EEK4IQl3IYRwQxLuQgjhhpzaW0YpdRU45rQdOp8fkGh2EQXEnY8N5PgKO3c/vvpa69J5eYGzu0Iey2vzm8JEKTVDa/242XUUBHc+NpDjK+yKwPGF5vU1MizjWCvNLqAAufOxgRxfYefux5dnzh6WCXXnM3chhCgI+clOZ5+5z3Dy/oQQwh3kOTudGu5aa7cJd6XU3UqpY0qpk0qpCbavLbB97ZBS6mullLfZdeZXDsc3Sym1Xyl1QCm1RClVyuw68yu748vy2H+VUklm1WavHH52c5RS4Uqpfba3FmbXmV85HJ9SSk1SSh1XSh1RSo0xu05Hyld2aq3lLY9vgCdwCqgFFAP2A42AewBle1sEPGV2rQ4+vjJZnvMRMMHsWh15fLbHQoB5QJLZdTr4ZzcHeMDs+grw+EYBcwEP2/MCza7V7LcCO3PP4bfrs7bPtVKqfEHt2wluA05qrU9rrdOBxUBfrfVqbQPsAqqaWmX+5XR8V8A4SwKKA867YONY2R6fUsoTmAqMN7U6+2R7bCbX5Eg5Hd9TwDtaayuA1jrGxBrtkkN2bs3yV9d5pdSPuW2nQMLd9p/kM6AXxm/VIUqpRsB2oDtwpiD260RVgHNZPo+0fQ0A23DMcGCtk+tylByPTyk1G7gINACmO780h8jp+J4FVmitL5hSlWPc7N/mJNuQ2sdKqcK6GG5Ox1cbGKSUClVKrVFK1TWlOjvllJ1a645a6xZa6xbADmBZbtsqqDP3nM78/tBaRxTQPl3J58AWrfVWswtxNK31KKAycAQYZHI5jlQCGEDh/YWVm4kYv5DbAOWAl80tx+F8gFRtzCj5Cvja5Hry66Z/eSmlygBdAXPO3MnlzNYNRAHVsnxe1fY1lFJvAhWAF02oy1FyPD4ArbUF4x9dfyfX5SjZHd8poA5wUikVAZRQSp00oTZ7Zfuz01pfsI0YpgGzMUKkMMrp32Ykf5/N/gA0c3JdjpJbdt4HbPxziPRm5Cam/NkN1FVK1VRKFQMGAyuUUo8CPYEhf479FVI5HV8d+GvMvQ9w1MQa7ZHd8f2ota6otQ7WWgcD17TWdUytMn9y+tlVgr9+dvcBh0ys0R7ZHh/GmWwX23M6A8dNqq+gDcGYrJGrgmo/cNMzv8JOa52plHoW+Bnj6v3XWuvDSqn9GNcTdhj/h1imtX7HxFLzJbvjwxiG2Wr7s1BhzFJ4yrwq8y+nn5/JZTnETf5t/qKUqoDxs9sHPGlmnfl1k+ObAixQSr0AJAGPmlmnHW42KlAe4y+ufreyoQK5Q1Up5YXxm7ObrbDdwNA//wPZ/uwN0VpfcvjOhRCikLpZdiqlngTaaa1H3Mq2CmRYRmudiTHz4GeMM77vbMWNUUpFYvw2OqCUmlkQ+xdCiMIop+y0PTyYWxySASf3lhFCCOEcckFVCCHckIS7EEK4oYK6Q7XQNl0SQgh3IGfuQgjhhgqycVgppdRGpdRepdRBpVRf29eDbS05v1JKHVZKrVNKFS+oOoQQoigqqHnuSYA/UEJrfcU2+X4nUBeoAZzEmOe+Tyn1HUazpvkOL0QIIYqoglwgWwGTlVKdACtGf4Qg22PhWut9to/3AMEFWIcQQhQ5BRnuD2I00Gqttc6w3ZXqa3ssLcvzLBi9wYUQQjhIQV5Q9QNibMHeBWM4RgghhBM4/Mzd1hshDVgArFRKHQRCKbwdBIUQotBx+AVVpVRz4CutdWHtFy2EEIWeQ4dlbF3LFgGvOXK7Qggh8kYahwkhhBuSO1SFEMIN2RXuSqlqSqlNSqkw292mz9m+Xk4ptV4pdcL2vqzt6w2UUjuUUmlKqZdu2NYLtm0cUkotUkr5ZrdPIYQQubP3zD0TGKu1bgTcDjyjlGoETMBYxLUusNH2OUA8MAb4T9aNKKWq2L4eorVugrF81mA7axNCiCLLrnC3rai+1/bxVYyVQ6oAfYFvbE/7BmNBXrTWMVrr3UBGNpvzAorbplKWAM7bU5sQQhRlDhtzV0oFAy2B34EgrfUF20MX+bvtQLa01lEYZ/NngQtAotZ6naNqE0KIosYh4a6UKgUsBZ7XWl/J+pg2puPcdEqObUy+L1ATqAyUVEoNc0RtQghRFNkd7kopb4xgX6C1Xmb7crRSqpLt8UpATC6b6Y7RTCxWa50BLAPa21ubEEIUVfbOllHALOCI1vqjLA+tAEbYPh4BLM9lU2eB25VSJWzb7IYxfi+EECIf7LqJSSnVAdgKHMRo6wvwCsa4+3dAdeAMMFBrHa+UqojRZ6aM7flJQCNbz/e3gUEYM3D+AB7VWmftHimEEOIWyR2qQgjhhuQOVSGEcEMS7kII4YYk3IUQwg1JuAshhBuScBdCCDck4S6EEG5Iwl0IIdyQhLsQQrih/wMn6idOFeMwegAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "from datetime import datetime\n",
    "\n",
    "from matplotlib import pyplot as plt\n",
    "from scipy.stats import binom\n",
    "import pandas as pd\n",
    "\n",
    "%matplotlib inline\n",
    "\n",
    "# средняя длительность смотрения до выкатки фичи\n",
    "X_1 = [1.4, 2.7, 1.8, 3.9, 6.1, 7.8, 7.9]\n",
    "# средняя длительность смотрения после выкатки фичи\n",
    "X_2 = [0.8, 2.7, 0.9, 5.9, 6.1, 8.1, 11.2]\n",
    "date_rng = pd.date_range(start='2018-01-01', periods=max(len(X_1), len(X_2)), freq='d')\n",
    "pd.DataFrame(\n",
    "    {'test': X_1, 'control': X_2},\n",
    "    index=date_rng\n",
    ").plot()\n",
    "\n",
    "# биномиальное распределение успехов\n",
    "binomial_7 = [binom.pmf(i, 7, 0.5) for i in range(8)]\n",
    "cumulative_binomial_7 = [\n",
    "    sum(binom.pmf(i, 7, 0.5) for i in range(i)) for i in range(9)\n",
    "]\n",
    "\n",
    "print(cumulative_binomial_7)\n",
    "\n",
    "rank_indicator = [int(X_1[i]>X_2[i]) for i in range(len(X_1))]\n",
    "print(rank_indicator)\n",
    "median_index = int(len(X_1)/2)+1 if len(X_1) % 2 == 1 else int(len(X_1)/2)\n",
    "\n",
    "stat = sum(rank_indicator)/len(X_1)\n",
    "\n",
    "print(\"Истинность гипотезы H_0: {}\".format(stat < cumulative_binomial_7[median_index]))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ранговые критерии не делают предположений о законе распределения элементов выборки - этот вид критериев используются если распределение выборки неизвестно. \n",
    "\n",
    "Статистики ранговых критериев имеют табличное распределение, для них характерна нормальная аппроксимация статистики с ростом объёма выборки.\n",
    "\n",
    "\n",
    "**Вариационный ряд** (set of order statistic) — последовательность значений заданной выборки $X^n=(X_1,\\ldots,X_n)$ , расположенных в порядке неубывания: $X(1)\\le \\ldots \\le X(2)$. \n",
    "Связка - это подмоножество объектов, у которых одинаковый средний ранг. Если элемент не в связке - его ранг совпадает с номером в вариационном ряду.\n",
    "\n",
    "Пример рангового критерия: [критерий знаковых рангов Вилкоксона](http://www.machinelearning.ru/wiki/index.php?title=Критерий_знаковых_рангов_Уилкоксона), который проверяет гипотезу о равенстве медиан двух выборок $H_0: med(X^{n_1})=med(X^{n_2})$\n",
    "\n",
    "Другие примеры\n",
    "\n",
    "* Критерий [Манна-Уитни](https://ru.wikipedia.org/wiki/U-критерий_Манна_—_Уитни) о равенстве распределений\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Самостоятельное изучение\n",
    "\n",
    "\n",
    "* курсы по статистике на Stepic:\n",
    "    * [часть I](https://stepik.org/course/76/promo)\n",
    "    * [часть II](https://stepik.org/course/524/promo)\n",
    "    * [часть III](https://stepik.org/course/2152/promo)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}