hw8.qmd

# HW8 // Описательные статистики. Корреляционный анализ {#hw8 .unnumbered}

```{=html}
<!--
REPLACE ALL hw8 TO hw<n> WITH MATCH CASE
-->
```

```{r opts, echo=FALSE, eval=TRUE, message=FALSE, warning=FALSE}
knitr::opts_chunk$set(echo = FALSE, eval = FALSE, message = FALSE, warning = FALSE)
```

::: {.callout-note}

# Данные

Сегодня поработаем с данными об успеваемости учеников младших классов. Датасет содержит следующие переменные:

* `gender` --- пол ученика
* `race/ethnicity` --- этническая принадлежность ученика
* `parental level of education` --- уровень образования родителей
* `lunch` --- рацион ученика в школе
* `test preparation course` --- завершил ли ученик курс подготовки к тестированию
* `math score` --- балл по математике
* `reading score` --- балл по чтению
* `writing score` --- балл по правописанию

:::

## Основные задания {#hw8_main}

### #1

<img id="hw8-1-level" class="level"/>

::: {#hw8-1-task .task}

Загрузите [данные](https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/hw8/StudentsPerformance.csv). Проверьте их структуру. При необходимости скорректируйте типы и названия переменных.

:::

```{r hw9-1}
library(tidyverse)
theme_set(theme_bw())
library(ggmosaic)

stud <- read_csv("https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/hw8/StudentsPerformance.csv")
str(stud)
```

::: {#hw8-1-autocheck .autocheck}
::: {#hw8-1-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-1" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-1')">

::: {#hw8-1-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw8-1-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #2

<img id="hw8-2-level" class="level"/>

::: {#hw8-2-task .task}

Исследуйте данные.

a. Проверьте, есть ли в данных пропущенные значения.
b. Посмотрите, сбалансирована ли выборка по полу.
c. Посмотрите, сбалансирована ли выборка по рациону.
d. Посмотрите, сбалансирована ли выборка по прохождению подготовительного теста.

:::

```{r hw8-2}
stud %>% apply(2, is.na) %>% apply(2, sum)
stud$gender %>% table()
stud$`parental level of education` %>% table()
stud$lunch %>% table()
stud$`test preparation course` %>% table()
```

::: {#hw8-2-autocheck .autocheck}
::: {#hw8-2-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-2" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-2')">

::: {#hw8-2-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw8-2-hints">

<summary>Подсказки</summary>

* Проверить наличие пропущенных значений можно с помощью функций `apply()`, `is.na()` и `sum()`.
* Проверить сбалансированность выборки по категориальным переменным можно построив таблицу частот с помощью функции `table()`.

</details>
:::

### #3

<img id="hw8-3-level" class="level"/>

::: {#hw8-3-task .task}

Постройте разведочные визуализации для переменных `math score`, `reading score` и `writing score`.

a. Визуализируйте распределения этих переменных.
b. Добавьте на график с распределениям разбиение по прохождению курса подготовки к тестированию (`test preparation course`).

:::

```{r hw8-3}
stud %>% 
  select(`math score`, `reading score`, `writing score`) %>% 
  pivot_longer(cols = everything()) %>% 
  ggplot(aes(value)) + 
  geom_histogram() +
  facet_wrap(~name)

stud %>% 
  select(`math score`, `reading score`, `writing score`, `test preparation course`) %>% 
  pivot_longer(cols = -`test preparation course`) %>% 
  ggplot(aes(value)) + 
  geom_histogram() +
  facet_grid(`test preparation course` ~ name)
```

::: {#hw8-3-autocheck .autocheck}
::: {#hw8-3-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-3" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-3')">

::: {#hw8-3-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw8-3-hints">

<summary>Подсказки</summary>

* Для визуализации распределения в пункте _a_ достаточно построить гистограммы по указанным переменным.
* Чтобы упростить выполнение пункта _b_, стоит расположить гистограммы на одном графике.
* Чтобы разбить добавить разбиение распределений по переменной, необходимо фасетировать график по этой переменной.

</details>
:::

### #4

<img id="hw8-4-level" class="level"/>

::: {#hw8-4-task .task}

a. Рассчитайте описательные статистики по переменным `math score`, `reading score`, `writing score`.
b. Добавьте к расчету описательных статистик разбиение по переменной `test preparation course`.

:::

```{r hw8-4}
stud %>% 
  select(`reading score`, `writing score`, `math score`) %>% 
  psych::describe()

stud %>% 
  select(`reading score`, `writing score`, `math score`) %>% 
  psych::describeBy(group = stud$`test preparation course`)
```

::: {#hw8-4-autocheck .autocheck}
::: {#hw8-4-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-4" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-4')">

::: {#hw8-4-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw8-4-hints">

<summary>Подсказки</summary>

* Рассчитать описательные статистики можно с помощью функции `summarise()` или использовать функцию `describe()` из пакета `psych`.
* Добавить к подсчету описательных статистик разбиение по какой-либо переменной можно с помощью функции `group_by()` или с помощью аргумента `.by` функции `summarise()`, однако можно использовать и функцию `describeBy()` из пакета `psych`.

</details>
:::

### #5 {#hw8-5-title}

<img id="hw8-5-level" class="level"/>

::: {#hw8-5-task .task}

Постройте корреляционную матрицу по переменным `math score`, `reading score`, `writing score`.

:::

```{r hw8-5}
stud %>% 
  select(`math score`, `reading score`, `writing score`) %>% 
  cor() -> stud_cor
```

::: {#hw8-5-autocheck .autocheck}
::: {#hw8-5-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-5" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-5')">

::: {#hw8-5-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw8-5-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #6

<img id="hw8-6-level" class="level"/>

::: {#hw8-6-task .task}

Экспортируйте получившуюся [в предыдущем задании](#hw8-5-title) матрицу как таблицу, оформленную по стандартам APA.

:::

```{r hw8-6}
# apaTables::apa.cor.table(stud_cor, filename = "stud_cor.doc")
```

::: {#hw8-6-autocheck .autocheck}
::: {#hw8-6-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-6" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-6')">

::: {#hw8-6-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw8-6-hints">

<summary>Подсказки</summary>

Для экcпорта красивых форматированных таблиц написан пакет `apaTables`. В ней есть функция `apa.cor.table()`, которая позволяет форматировать и экспортировать корреляционную матрицу.

</details>
:::

### #7

<img id="hw8-7-level" class="level"/>

::: {#hw8-7-task .task}

Визуализируйте корреляционную матрицу, получившуюся в [задании 5](#hw8-5-title).

:::

```{r hw8-7}
stud_cor %>% 
  ggcorrplot::ggcorrplot(
    show.legend = FALSE,
    lab = TRUE,
    colors = c("red", "white", "blue")
  )

# ggsave("cor_graph.png")
```

::: {#hw8-7-autocheck .autocheck}
::: {#hw8-7-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-7" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-7')">

::: {#hw8-7-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw8-7-hints">

<summary>Подсказки</summary>

* Корреляционную матрицу легко визуализировать с помощью функции `ggcorrplot()` из пакета `ggcorrplot`.
* Так как `ggcorrplot` является расширением `ggplot2`, то экспортировать графика можно с помощью функции `ggsave()`.

</details>
:::

### #8

<img id="hw8-8-level" class="level"/>

::: {#hw8-8-task .task}

В корреляционной матрице мы наблюдаем крайне высокую корреляцию между баллами по чтению и правописанию, что вполне логично. Давайте удостоверимся в том, что корреляция статистически значима.

Протестируйте гипотезу о статистической значимости коэффициента корреляции между баллами по чтению и правописанию.

:::

```{r hw8-8}
cor.test(stud$`reading score`, stud$`writing score`)
```

::: {#hw8-8-autocheck .autocheck}
::: {#hw8-8-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-8" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-8')">

::: {#hw8-8-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw8-8-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #9

<img id="hw8-9-level" class="level"/>

::: {#hw8-9-task .task}

Оформите результаты корреляционного анализа в формате APA.

:::

```{r hw8-9}
cor_res <- cor.test(stud$`reading score`, stud$`writing score`)
report::report(cor_res)
```

::: {#hw8-9-autocheck .autocheck}
::: {#hw8-9-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-9" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-9')">

::: {#hw8-9-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw8-9-hints">

<summary>Подсказки</summary>

Чтобы форматировать результаты корреляционного анализа в APA-формате, написан пакет `report`, в котором живет функция `report()`. В неё необходимо передать объект с результатам корреляционного анализа.

</details>
:::

### #10

<img id="hw8-10-level" class="level"/>

::: {#hw8-10-task .task}

В данном случае мы столкнулись с очень высокой корреляцией, однако, увы, это не всегда так. Рассчитайте объем выборки, требуемый для достижения достаточной статистической мощности, если мы ожидаем в исследовании корреляцию порядка 0.2.

:::

```{r hw8-10}
pwr::pwr.r.test(r = .2,
                sig.level = .05,
                power = .8)
```

::: {#hw8-10-autocheck .autocheck}
::: {#hw8-10-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-10" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-10')">

::: {#hw8-10-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw8-10-hints">

<summary>Подсказки</summary>

Рассчетом объема выборки занимается пакет `pwr`, в котором есть функция `pwr.r.test()`.

</details>
:::

## Дополнительные задания {#hw8_add}

### #1 {#hw8-11}

<img id="hw8-11-level" class="level"/>

::: {#hw8-11-task .task}

Выше мы проверяли достаточно очевидные гипотезы. Однако данные позволяют протестировать и более веселые.

Проверьте, если ли связь между тем, какой рацион у учащегося, и тем, завершил ли он курс по подготовке к тестированию или нет.

:::

```{r hw8-11}
chisq.test(stud$lunch, stud$`test preparation course`)
```

::: {#hw8-11-autocheck .autocheck}
::: {#hw8-11-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-11" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-11')">

::: {#hw8-11-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw8-11-hints">

<summary>Подсказки</summary>

Для того, чтобы проверить гипотезу о связи между двумя категориальными переменными, необходимо использовать критерий независимости Пирсона $\chi^2$. Реализовать этот статистический тест можно с помощью функции `chisq.test()`.

</details>
:::

### #2

<img id="hw8-12-level" class="level"/>

::: {#hw8-12-task .task}

Рассчитайте корреляцию между переменными из [предыдущего задания](#hw8-11).

:::

```{r hw8-12}
sqrt(chisq.test(stud$lunch, stud$`test preparation course`)$statistic / nrow(stud))
```

::: {#hw8-12-autocheck .autocheck}
::: {#hw8-12-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-12" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-12')">

::: {#hw8-12-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw8-12-hints">

<summary>Подсказки</summary>

Привести статистику $\chi^2$ к значению корреляции можно по формуле $\varphi = \sqrt{\frac{\chi^2}{N}}$. Полученное значение будет $\phi$-коэффициентом, который является коэффициентом корреляции для категориальных переменных.

</details>
:::

### #3

<img id="hw8-13-level" class="level"/>

::: {#hw8-13-task .task}

Визуализируйте результат, получившися в [первом дополнительном задании](#hw8-11).

:::

```{r hw8-13}
ggplot(data = stud) +
  geom_mosaic(aes(x = product(gender, lunch)))
```

::: {#hw8-13-autocheck .autocheck}
::: {#hw8-13-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-13" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-13')">

::: {#hw8-13-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw8-13-hints">

<summary>Подсказки</summary>

Для визуализации связи между двумя категориальными переменными используется тип графика mosaic plot. Построить его можно с помощью функции `geom_mosaic()`. Для этого необходимо установить и полдключить пакет `ggmosaic`.

</details>
:::

### #4 {#hw8-14}

<img id="hw8-14-level" class="level"/>

::: {#hw8-14-task .task}

Интересно было бы посмотреть, есть ли связь между завершением подготовительного курса и баллом по математике.

Протестируйте гипотезу об отсутствии связи между переменными `math score` и `test preparation course`.

:::

```{r hw8-14}
stud %>% mutate(test = ifelse(`test preparation course` == "completed", 1, 0)) -> s_
cor.test(s_$`math score`, s_$test)
ltm::biserial.cor(stud$`math score`, stud$`test preparation course`)
```

::: {#hw8-14-autocheck .autocheck}
::: {#hw8-14-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-14" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-14')">

::: {#hw8-14-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw8-14-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #5

<img id="hw8-15-level" class="level"/>

::: {#hw8-15-task .task}

Визуализируйте результат, получившися в [предыдущем задании](#hw8-14).

:::

```{r}
stud %>% 
  ggplot(aes(lunch, `math score`)) +
  geom_boxplot()
```

::: {#hw8-15-autocheck .autocheck}
::: {#hw8-15-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw8-15" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw8-15')">

::: {#hw8-15-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw8-15-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

```{=html}
<!--- CHANGE hw8 TO hw<n> IN THE LINES BELOW--->
<script type="text/javascript" src="./js/hw8.json"></script>
<script type="text/javascript" src="./js/hw.js"></script>
```