hw10.qmd

# HW10 // Дисперсионный анализ. Ковариационный анализ {#hw10 .unnumbered}

```{=html}
<!--
REPLACE ALL hw10 TO hw<n> WITH MATCH CASE
-->
```

```{r opts, echo=FALSE, eval=TRUE, message=FALSE, warning=FALSE}
knitr::opts_chunk$set(echo = FALSE, eval = FALSE, message = FALSE, warning = FALSE)
```

```{r, eval=TRUE}
library(tidyverse)
theme_set(theme_bw())
theme_update(legend.position = "bottom")
library(ez)
```

## Основные задания {#hw10_main}

:::{.callout-note}
## Данные поведенческого эксперимента

Сегодня в нашем меню [данные эксперимента](https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/hw10/fs.csv), проведенного на благо юзабилити-индустрии.В исследовании изучалось влияние перцептивных характеристик иконок на эффективность их обнаружения. Да, снова зрительный поиск...

В эксперименте варьировались следующие параметры стимулов:

* тип стимула (`type`): `flat` --- плоский, `grad` --- содержит градиент
* тень (`shadow`): `TRUE` --- есть, `FALSE` --- нет

Также традиционно варьировалось число стимулов в пробе (`setsize`) --- `3`, `6`, `9`. Перед каждой пробой испытуемому предъявлялась целевая иконка. Если испытуемый нашёл целевую иконку среди всех предложенных, он нажимал (`key`) стрелку вправо (`right`), если не обнаружил --- стрелку слево (`left`). Так как ответ давался клавишами, в дизайне исследования были предусмотрены «пробы-ловушки» (`pres`), в которых не было целевого стимула. Пробы, в которых целевой стимул присутствовал, обозначены как `p`, а пробы, в которых целевой стимул отсутствовал --- `a`.

Все испытуемые проходили все экспериментальные условия. Зависимой переменной в эксперимента было время ответа испытуемого (время реакции, `time`).

Глобальный вопрос к результатам эксперимента: какие факторы влияют на скорость поиска иконок?

:::

### #1

<img id="hw10-1-level" class="level"/>

::: {#hw10-1-task .task}
a. Загрузите [данные](https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/hw10/fs.csv), проверьте их структуру.
b. Отберите только корректные пробы, в которых присутствует целевой стимул.
:::

```{r}
## a
fs <- read_csv("https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/hw10/fs.csv")
str(fs)

## b
fs %>% 
  filter(pres == "p" & key == "right") -> fs_correct 
nrow(fs_correct)
```

::: {#hw10-1-autocheck .autocheck}
::: {#hw10-1-ir .input-requirements}
В качестве ответа для самопроверки введите число строк в получившемся после отбора необходимых проб датасете.
:::

<input class="autocheck-input" type="text" id="hw10-1" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-1')">

::: {#hw10-1-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw10-1-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #2

<img id="hw10-2-level" class="level"/>

::: {#hw10-2-task .task}
a. Приведите переменную `setsize` к факторному типу данных и агрегируйте (усредните) данные по каждому респонденту с учетом всех экспериментальных условий.
b. Проверьте, что данные эксперимента сбалансированы по количесву наблюдений в каждом сочетании условий.
:::

```{r}
## a
fs_correct %>% 
  mutate(setsize = as_factor(setsize)) %>% 
  summarise(rt = mean(time),
            .by = c(type, shadow, setsize, id)) -> fs_agg
## b
fs_agg %>%
  summarise(n = n(),
            .by = c(type, shadow, setsize))
```

::: {#hw10-2-autocheck .autocheck}
::: {#hw10-2-ir .input-requirements}
В качестве ответа для самопроверки если данные сбалансированы, введите в поле ответа `да`, если не сбалансированы, введите `нет`.
:::

<input class="autocheck-input" type="text" id="hw10-2" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-2')">

::: {#hw10-2-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw10-2-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как агрегировать данные?</summary>

</details>

* Чтобы получить агререгированные данные, необходимо посчитать среднее значение времени реакции каждого испытуемого в каждом сочетании экспериментальных условий.
* Для этого необходимо задать группировку датасета по экспериментальным переменным (`type`, `shadow`, `setsize`) и идентификатору испытуемого (`id`). Здесь пригодится либо функция `group_by()`, либо аргумент `.by` функции `summarise()`.
* Далее нужно вычислить среднее (`mean()`) по переменной `time`.

<details class="hint">

<summary>Как проверить сбалансированность?</summary>

</details>

* Чтобы выяснить, сбаласированы ли данные, необходимо посчитать количество наблюдений в каждом сочетании экспериментальных условий в агрегированных данных.
* Для этого необходимо задать группировку датасета по экспериментальным переменным (`type`, `shadow`, `setsize`). Здесь пригодится либо функция `group_by()`, либо аргумент `.by` функции `summarise()`.
* Далее нужно вычислить количество наблюдений в группах (`n()`).

<details class="hint">

<summary>Ответ неверный</summary>

</details>

* Проверьте группировку в агрегации данных.
* Проверьте группировку в оценке сбалансированности данных.

</details>
:::

### #3

<img id="hw10-3-level" class="level"/>

::: {#hw10-3-task .task}
Проведите дисперсионный анализ экспериментальных данных. В качестве факторов модели используйте переменные `setsize`, `type` и `shadow`. В качестве зависимой переменной используйте время реакции. Модель дисперсионного анализа должна быть согласована с экспериментальным дизайном. Проинтерпретируйте результаты. При необходимости проверите попарные сравнения (post hoc тесты).
:::

```{r}
ez_model <- ezANOVA(data = fs_agg,
                    dv = rt,
                    within = .(type, shadow, setsize),
                    wid = id)
ez_model

pairwise.t.test(x = fs_agg$rt,
                g = interaction(fs_agg$shadow, fs_agg$setsize),
                p.adjust.method = "bonf")
```

::: {#hw10-3-autocheck .autocheck}
::: {#hw10-3-ir .input-requirements}
В качетсве ответа для самопроверки в поле ниже введите значение F-статистики, полученные для фактора `shadow`, округленное до сотых. В качестве десятичного разделителя используйте точку.
:::

<input class="autocheck-input" type="text" id="hw10-3" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-3')">

::: {#hw10-3-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw10-3-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Какая должна быть модель?</summary>

* В описании данных сказано, что все испытуемые проходили все экспериментальные условия. 
* Значит, все экспериментальные переменные являются *внутригрупповыми*.
* Следовательно, в модели дисперсионного анализа эти переменные должны задачать *within-subject* эффекты.

</details>

<details class="hint">

<summary>Какие попарные сравнения нужны?</summary>

* Какие группы наблюдений мы будем сравнивать в post hoc тестах зависит от того, что получилось в дисперсионном анализе:
    * если получилось значимое взаимодействие, то и в попарных сравнениях нас интересуют, прежде всего, различия между группами по сочетаниям условий.
    * если значимым получились только основные эффекты, то и в попарных сравнениях мы будем изучать различия по группам, задаваемым отдельными факторами.
* Если результаты дисперсионного анализа показывают отсутствие значимости всех факторов, то попарные сравнения бессмысленны.

</details>

<details class="hint">

<summary>Какую поправку использовать?</summary>

* Если вам всё же необходимы post hoc тесты, то нельзя обойтись без поправки на множественные сравнения.
* Основных варианта два --- поправка Холма и поправко Бонферрони. Одна более мягкая, другая более жесткая.
* Какую нужно использовать, зависит от выполнения допущения о сферичности данных. Если допущение по фактору выполнено, то можно использовать более мягкую, если не выполнено --- необходима более жесткая.

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #4

<img id="hw10-4-level" class="level"/>

::: {#hw10-4-task .task}
Визуализируйте результаты дисперсионного анализа.
:::

```{r}
pd <- position_dodge(.5)

fs_agg %>% 
  ggplot(aes(setsize, rt, 
             color = type, 
             shape = shadow, 
             group = interaction(type, shadow))) +
  stat_summary(geom = "line", fun = mean, 
               linetype = "dashed", position = pd) +
  stat_summary(geom = "pointrange", fun.data = mean_cl_boot, 
               position = pd)
```

::: {#hw10-4-autocheck .autocheck hidden="true"}
::: {#hw10-4-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw10-4" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-4')">

::: {#hw10-4-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw10-4-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::


### #5

<img id="hw10-5-level" class="level"/>

::: {#hw10-5-task .task}
Экспортируйте таблицу с результатами дисперсионного анализа.
:::

```{r}
ez_model$ANOVA %>% write_excel_csv("ez_model.csv")
```

::: {#hw10-5-autocheck .autocheck hidden="true"}
::: {#hw10-5-ir .input-requirements}
Описание инпута.
:::

<input class="autocheck-input" type="text" id="hw10-5" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-5')">

::: {#hw10-5-fb .autocheck-feedback}
:::
:::

::: hints-wrapper

<details class="hints" id="hw10-5-hints">

<summary>Подсказки</summary>

<details class="hint">

* Способ экспорта таблицы в результатами зависит от того, с помошью какой функции вы проводили дисперсионный анализ:
    * если использовалась `aov()`, то необходима функция `apa.aov.table()` из пакета `apaTables`
    * если использовалась `ezANOVA()` из пакета `ez`, то необхоимо обратить к результатам работы функции, извлечь из них объект `ANOVA` и выгрузить его, например, с помощью функции `write_excel_csv()` (для более простого преобразования в Excel-формат далее).

</details>
</details>

:::

:::{.callout-note}
## Данные приложения доставки

Теперь немного коснемся индустрии. Из исследователя ученого мы резко преобразовались в исследователя-аналитика компании доставки продуктов. Разработчики сделали новый --- по их мнению, более удобный --- дизайн приложения для заказов и выкатили его для тестирования на части пользователей. Другая часть пользователей видела старый дизайн.

У вас есть [данные за период тестирования](https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/hw10/app.csv):

* `id` --- идентификатор пользователя
* `group` --- группа пользователей:
    * `test` --- тестовая, которая видела новый дизайн
    * `control` --- контрольная, которая видела старый дизайн
* `segment` --- сегмент пользователей:
    * `low` --- низкий, неактивные пользователя приложения, совершают мало заказов
    * `high` --- высокий, активные пользователя приложения, совершают много заказов
* `order` --- количество заказов пользователя в течение периода тестирования

Тимлид разработчиков пришел к вам со следующим вопросом: **стоит ли выкатывать новый дизайн на всех пользователей?** Ответьте на вопрос, опираясь на имеющиеся данные.

:::

### #6

<img id="hw10-6-level" class="level"/>

::: {#hw10-6-task .task}
a. Загрузите [данные](https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/hw10/app.csv), проверьте их структуру.
b. Проверьте сбалансированность данных по количеству наблюдений в каждом сочетании условий.
:::

```{r}
## a
app <- read_csv("https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/hw10/app.csv")
str(app)

## b
app %>% 
  summarise(n = n(),
            .by = c(group, segment))
```

::: {#hw10-6-autocheck .autocheck hidden="true"}
::: {#hw10-6-ir .input-requirements}
В качестве ответа для самопроверки если данные сбалансированы, введите в поле ответа `да`, если не сбалансированы, введите `нет`.
:::

<input class="autocheck-input" type="text" id="hw10-6" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-6')">

::: {#hw10-6-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw10-6-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #7

<img id="hw10-7-level" class="level"/>

::: {#hw10-7-task .task}
На основе результатов предыдущего задания определите, какой тип сумм квадратов необходимо использовать при проверки гипотез для ответов на вопросы заказчика.

*Задание не предполагает написание кода. В скрипте кратко изложите ход своего рассуждения и закомментируйте эти строки.*
:::

::: {#hw10-7-autocheck .autocheck hidden="true"}
::: {#hw10-7-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw10-7" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-7')">

::: {#hw10-7-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw10-7-hints">

<summary>Подсказки</summary>

<details class="hint">

* Всего возможно три типа сумм квадратов --- I, II и III.
* У первого типа сумм квадратов есть неприятная особенность.
* Использование второго и третьего сумм квадратов определяется сбалансированностью данных.

</details>
</details>

:::

### #8

<img id="hw10-8-level" class="level"/>

::: {#hw10-8-task .task}
Постройте линейную модель, которая позволит ответить на поставленный тимлидом разработчиков вопрос, в необходимой параметризации.
:::

```{r}
app_eff <- lm(orders ~ group * segment, app,
              contrasts = list(group = contr.sum,
                               segment = contr.sum))
app_eff
```

::: {#hw10-8-autocheck .autocheck}
В качестве ответа для самопроверки в поле ниже введите значение интерсепта построенной модели, округленное до сотых. В качестве десятичного разделителя используйте точку.

<input class="autocheck-input" type="text" id="hw10-8" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-8')">

::: {#hw10-8-fb .autocheck-feedback}
:::
:::

::: hints-wrapper

<details class="hints" id="hw10-8-hints">

<summary>Подсказки</summary>

* Способ параметризации модели зависит от выбранного типа сумм квадратов
    * в одном случае способ параметризации не имеет значения
    * в другом необходим только определенный способ параметризации, иначе результаты тестирования гипотез будут некорректны
* Так как значение интерсепта модели будет зависеть от выбранного способа параметризации, ошибка при самопроверки может быть связана с неверно выбранной парамтеризацией модели.

</details>

:::

### #9

<img id="hw10-9-level" class="level"/>

::: {#hw10-9-task .task}
Проведите дисперсионный анализ с помощью построенной в предыдущем задании модели. Проинтерпретируйте полученные результаты.
:::

```{r}
car::Anova(app_eff, type = "III")
```

::: {#hw10-9-autocheck .autocheck}
::: {#hw10-9-ir .input-requirements}
В качетсве ответа для самопроверки в поле ниже введите значение F-статистики, полученное для фактора `group`, округленное до целого.
:::

<input class="autocheck-input" type="text" id="hw10-9" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-9')">

::: {#hw10-9-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw10-9-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Тестирование с помощью конкретного типа сумм квадратов</summary>

* Большинство функций дисперсионного анализа работают со вторм типом сумм квадратов.
* Функция `Anova()` из пакета `car` позволяет прописать в аргумент `type`, какой именно тип сумм квадратов необходимо использовать.

</details>

<details class="hint">

<summary>Ответ неверный</summary>

* Проверьте способ параметризации модели
* Проверье используемый тип сумм квадратов
* Проверьте округление --- значение необходимо округлить до целого

</details>

</details>
:::

### #10

<img id="hw10-10-level" class="level"/>

::: {#hw10-10-task .task}
a. Визуализируйте результаты анализа.
b. На основе визуализации дайте ответ на вопрос тимлида разработчиков.
:::

```{r}
app %>% 
  ggplot(aes(group, orders, color = segment)) +
  stat_summary(geom = "pointrange", fun.data = mean_cl_boot)
```

::: {#hw10-10-autocheck .autocheck hidden="true"}
::: {#hw10-10-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw10-10" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-10')">

::: {#hw10-10-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw10-10-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

## Дополнительные задания {#hw10_add}

:::{.callout-note}

## Продолжим погружать в фонетические данные

На практике мы работали с [данными о гласных русского языка](https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/pr11/vowels.csv).

Мы изучали, как различается длительность гласных в зависимости от ступени редукции и позиции в слове. Однако редукция влияет не только длительность гласных но и на их спектральный (частотный) состав. Давайте посмотрим, различаются ли частотные характеристики отдельных гласных в зависимости от ступени редукции.

Нас будут интересовать следующие переменные:

```{r}
vowels %>% distinct(reduction, phoneme) %>% filter(reduction == 3)
```
- `phoneme` --- обозначение фонемы
    - к нередуцированным гласным относятся `o`, `i`, `a`, `u`, `e`, `ɨ`
    - к первой ступении --- `ɐ`, `ɪ`, `ʊ`, `ɨ̞`
    - ко второй ступении --- `ə̝`,`ə`, `əᶷ`
- `f1` --- частота первой форманты
- `f2` --- частота второй форманты

Когда-то в домашке по визуализации в одном из дополнительных заданий надо было нарисовать такую картинку, которая отображает вокалической пространство русского языка:

```{r, eval=TRUE}
vowels <- read_csv("https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/hw5/vowels.csv")

vowels %>% 
  ggplot(aes(f2, f1,
             label = phoneme, color = phoneme)) +
  geom_text(alpha = .5) +
  stat_ellipse(level = .8) +
  scale_x_reverse(position = "top") +
  scale_y_reverse(position="right") +
  facet_grid(reduction ~ .,
             labeller = labeller(reduction = c("1" = "Редукция\n отсутствует",
                                               "2" = "Первая\n степень редукции",
                                               "3" = "Вторая\n степень редукции"))) +
  guides(color = "none") +
  labs(x = "F2",
       y = "F1")
```

Но будем решать задачу постепенно.

:::


### #1

<img id="hw10-11-level" class="level"/>

::: {#hw10-11-task .task}
Загрузите [данные](https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/pr11/vowels.csv), приведите переменную `phoneme` к факторному типу данных.
:::

```{r, eval=TRUE}
vowels <- read_csv("https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/pr11/vowels.csv") %>% 
  mutate(phoneme = as_factor(phoneme))
```
::: {#hw10-11-autocheck .autocheck hidden="true"}
::: {#hw10-11-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw10-11" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-11')">

::: {#hw10-11-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw10-11-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #2

<img id="hw10-12-level" class="level"/>

::: {#hw10-12-task .task}
Чтобы модели не были чрезмерно сложны, возьмем для сравнения только нередуцированные гласные и гласные первой ступени редукции. Нас будут интересовать следующие контрасты:

- `i` vs `ɪ`
- `e` vs `ɪ`
- `a` vs `ɐ`
- `o` vs `ɐ`
- `u` vs `ʊ`

Создайте матрицу кодировки для этих контрастов.
:::

```{r}
levels(vowels$phoneme)
# "ɐ"  "o"  "ə̝"  "ə"  "i"  "a"  "əᶷ" "u"  "e"  "ɪ"  "ʊ"  "ɨ"  "ɨ̞" 
i_vs_ɪ <- c(0, 0, 0, 0, 1, 0, 0, 0, 0, -1, 0, 0, 0)
e_vs_ɪ <- c(0, 0, 0, 0, 0, 0, 0, 0, 1, -1, 0, 0, 0)
a_vs_ɐ <- c(-1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0)
o_vs_ɐ <- c(-1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0)
u_vs_ʊ <- c(0, 0, 0, 0, 0, 0, 0, 1, 0, 0, -1, 0, 0)

contr_mat <- cbind(i_vs_ɪ,
                   e_vs_ɪ,
                   a_vs_ɐ,
                   o_vs_ɐ,
                   u_vs_ʊ)
```

::: {#hw10-12-autocheck .autocheck hidden="true"}
::: {#hw10-12-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw10-12" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-12')">

::: {#hw10-12-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw10-12-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #3

<img id="hw10-13-level" class="level"/>

::: {#hw10-13-task .task}
Протестируйте гипотезы о различии частотных характеристик первой форманты (`f1`) по заданным контрастам. Проинтерпретируйте полученные результаты.
:::

```{r}
contrasts(vowels$phoneme) <- contr_mat
f1_aov <- aov(f1 ~ phoneme, vowels)
summary(f1_aov,
        split = list(phoneme = list("i_vs_ɪ" = 1,
                                    "e_vs_ɪ" = 2,
                                    "a_vs_ɐ" = 3,
                                    "o_vs_ɐ" = 4,
                                    "u_vs_ʊ" = 5)))
```

::: {#hw10-13-autocheck .autocheck hidden="true"}
::: {#hw10-13-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw10-13" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-13')">

::: {#hw10-13-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw10-13-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #4

<img id="hw10-14-level" class="level"/>

::: {#hw10-14-task .task}
Протестируйте гипотезы о различии частотных характеристик второй форманты (`f2`) по заданным контрастам. Проинтерпретируйте полученные результаты.
:::

```{r}
f2_aov <- aov(f2 ~ phoneme, vowels)
summary(f2_aov,
        split = list(phoneme = list("i_vs_ɪ" = 1,
                                    "e_vs_ɪ" = 2,
                                    "a_vs_ɐ" = 3,
                                    "o_vs_ɐ" = 4,
                                    "u_vs_ʊ" = 5)))
```

::: {#hw10-14-autocheck .autocheck hidden="true"}
::: {#hw10-14-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw10-14" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-14')">

::: {#hw10-14-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw10-14-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #5

<img id="hw10-15-level" class="level"/>

::: {#hw10-15-task .task}
Визуализируйте полученные результаты. Постройте график, представленный ниже.
:::

```{r, eval=TRUE}
vowels %>% 
  group_by(phoneme, reduction) %>% 
  summarise(f1 = mean_cl_boot(f1),
            f2 = mean_cl_boot(f2)) %>% 
  unnest() %>% 
  rename(f1mean = y,
         f1min = ymin,
         f1max = ymax,
         f2mean = y1,
         f2min = ymin1,
         f2max = ymax1) %>% 
  ggplot(aes(f2mean, f1mean, 
             color = factor(reduction,
                            ordered = TRUE,
                            levels = c("no", "first", "second")))) +
  geom_errorbar(aes(ymin = f1min, 
                    ymax = f1max)) +
  geom_errorbar(aes(xmin = f2min, 
                    xmax = f2max)) +
  geom_text(aes(label = phoneme), size = 5, color = "black") +
  scale_x_reverse(position = "top") +
  scale_y_reverse(position="right") +
  scale_color_discrete(labels = c("no" = "нет", 
                                  "first" = "первая",
                                  "second" = "вторая")) +
  labs(x = "F2", y = "F1", color = "Ступень редукции")
```

::: {#hw10-15-autocheck .autocheck hidden="true"}
::: {#hw10-15-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw10-15" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw10-15')">

::: {#hw10-15-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw10-15-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

```{=html}
<!--- CHANGE hw10 TO hw<n> IN THE LINES BELOW--->
<script type="text/javascript" src="./js/hw10.json"></script>
<script type="text/javascript" src="./js/hw.js"></script>
```