hw13.qmd

# HW13 // Смешанные линейные модели {#hw13 .unnumbered}

```{=html}
<!--
REPLACE ALL hw13 TO hw<n> WITH MATCH CASE
-->
```

```{r opts, echo=FALSE, eval=TRUE, message=FALSE, warning=FALSE}
knitr::opts_chunk$set(echo = FALSE, eval = FALSE, message = FALSE, warning = FALSE)
```

```{r}
library(tidyverse)
library(lme4)
library(lmerTest)
```

## Основные задания {#hw13_main}

:::{.callout-note}
### Данные

Сегодня мы работаем с [датасетом про ноутбуки](https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/hw13/laptop_price.csv), который содержит следующие переменные:

* `Company` --- компания-производитель компьютера
* `Product` --- бренд и модель
* `TypeName` --- тип ноутбука (Notebook, Ultrabook, Gaming, etc.)
* `Inches` --- размер экрана
* `ScreenResolution` --- разрешение экрана
* `Cpu` --- характеристики процессора
* `Ram` --- размер оперативной памяти
* `Memory` --- память жёсткого диска
* `GPU` --- характеристики графического процессора
* `OpSys` --- операционная система
* `Weight` --- вес компьютера
* `Price_euros` --- цена в Евро

:::

### #1

<img id="hw13-1-level" class="level"/>

::: {#hw13-1-task .task}
Загрузите [датасет](https://raw.githubusercontent.com/angelgardt/wlm2023/master/data/hw13/laptop_price.csv). Проверьте типы переменных. Если есть такие переменные, которые по своему содержанию должны быть другого типа, приведите их к нужному типу. Сделайте необходимые преобразования с переменными, если они потребуются.
:::

```{r}
laptops <- read_csv("https://raw.githubusercontent.com/angelgardt/da-2023-ranepa/master/data/laptop_price.csv")
str(laptops)

laptops %>% 
    mutate(Ram = Ram %>% str_remove("GB") %>% as.numeric(),
           Weight = Weight %>% str_remove("kg") %>% as.numeric()) -> laptops
```

::: {#hw13-1-autocheck .autocheck hidden="true"}
::: {#hw13-1-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw13-1" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-1')">

::: {#hw13-1-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-1-hints">

<summary>Подсказка</summary>

Обратите внимание, как записаны переменные `Ram` и `Weight`. Возможно, понадобится функция `str_remove()`.

</details>
:::

### #2

<img id="hw13-2-level" class="level"/>

::: {#hw13-2-task .task}

Мы хотим узнать, от каких технических характеристик зависит цена ноутбука. Исследуйте взаимосвязи между ценой и характеристиками ноутбуков. Предположите, какие из характеристик могут быть включены в регрессионную модель в качестве предикторов цены.

_Подойдут любые способы изучения закономерностей по типу расчета описательных статистик или визуализаций._

:::

::: {#hw13-2-autocheck .autocheck hidden="true"}
::: {#hw13-2-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw13-2" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-2')">

::: {#hw13-2-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw13-2-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #3

<img id="hw13-3-level" class="level"/>

::: {#hw13-3-task .task}
Постройте линейную модель `model1` со случайным интерсептом, которая позволит ответить на вопрос, как зависит цена компьютера от размера экрана. В качестве случайного эффекта включите в модель группировку по компании-производителю.
:::

```{r}
model1 <- lmer(Price_euros ~ Inches + (1|Company), laptops)
```

::: {#hw13-3-autocheck .autocheck hidden="true"}
::: {#hw13-3-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw13-3" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-3')">

::: {#hw13-3-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-3-hints">

<summary>Подсказки</summary>

* Для построения смешанной модели используйте функцию `lmer()` из пакета `lme4` или `lmerTest`.
* Фиксированные факторы вводятся в модель аналогично общим линейным моделям.
* Случайные факторы вводятся модель с помощью синтаксиса `(1 + slope|rand)`, где `1` --- указание на случайный интерсепт, `slope` --- переменная, задающая случайный угловой коэффициент, `rand` --- группирующая переменная, задающая случайный фактор.

</details>
:::

### #4

<img id="hw13-4-level" class="level"/>

::: {#hw13-4-task .task}
Проверьте статистическую значимость модели `model1` в целом и статистистическую значимость фиксированных предикторов. Проинтерпретируйте полученные результаты.
:::

```{r}
model0 <- lmer(Price_euros ~ 1 + (1|Company), laptops)
anova(model0, model1, test = "Chi")
summary(model1)
anova(model1)
```

::: {#hw13-4-autocheck .autocheck}
::: {#hw13-4-ir .input-requirements}
Для самопроверки в поле ниже введите значение коэффициента при предикторе, округленное до сотых. В качестве десятичного разделителя используйте точку.
:::

<input class="autocheck-input" type="text" id="hw13-4" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-4')">

::: {#hw13-4-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-4-hints">

<summary>Подсказки</summary>

* Для тестирования гипотез о статистической значимости модели в целом необходима нулевая модель, в которой предиктором является только интерсепт, с такой же структурой случайных эффектов, как и в тестируемой модели.
* Для тестирования значимости фиксированных факторов используются t-тесты Вальда или тесты отношения правдоподобий.
* Лучше проверить статистическую значимость с помощью обоих тестов, чтобы иметь возможность в случае сомнений в точности тестов сопоставить их результаты.

</details>
:::

### #5

<img id="hw13-5-level" class="level"/>

::: {#hw13-5-task .task}
Включите в модель `model1` в качестве еще одного фиксированного *количественного* предиктора размер оперативной памяти ноутбука (`Ram`) --- создайте новую модель `model2`.
:::

```{r}
laptops$Ram %>% unique()
model2 <- lmer(Price_euros ~ Inches + Ram + (1|Company), laptops)
```

::: {#hw13-5-autocheck .autocheck hidden="true"}
::: {#hw13-5-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw13-5" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-5')">

::: {#hw13-5-fb .autocheck-feedback}
:::
:::

::: {.hints-wrapper hidden="true"}
<details class="hints" id="hw13-5-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #6

<img id="hw13-6-level" class="level"/>

::: {#hw13-6-task .task}
Сравните две имеющиеся модели --- с одним (`model1`) и двумя (`model2`) фиксированными предикторами. Проинтерпретируйте результаты.
:::

```{r}
anova(model1, model2, test = "Chi")
```

::: {#hw13-6-autocheck .autocheck}
::: {#hw13-6-ir .input-requirements}
Для самопроверки введите значение статистики использованного теста, округленное до сотых. В качестве десятичного разделителя используйте точку.
:::

<input class="autocheck-input" type="text" id="hw13-6" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-6')">

::: {#hw13-6-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-6-hints">

<summary>Подсказка</summary>

Обратите внимание на способ подбора моделей --- так как модели различаются структурой фиксированной части, нас интересуют точные оценки их коэффициентов.

</details>
:::

### #7

<img id="hw13-7-level" class="level"/>

::: {#hw13-7-task .task}
Протестируйте статистическую значимость предикторов модели с двумя фиксированными предикторами (`model2`). Проинтерпретируйте результаты. Сравните с результатами тестирования значимости предикторов модели с одним фиксированным предиктором. 

Почему так могло произойти?
:::

```{r}
summary(model2)
```

::: {#hw13-7-autocheck .autocheck}
::: {#hw13-7-ir .input-requirements}
Для самопроверки в поле ниже введите значение коэффициента при предикторе `Inches`, округленное до сотых. В качестве десятичного разделителя используйте точку.
:::

<input class="autocheck-input" type="text" id="hw13-7" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-7')">

::: {#hw13-7-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-7-hints">

<summary>Подсказка</summary>

При сопоставлении результатов тестирования гипотез двух моделей обратите внимание (1) на статистическую значимость и (2) на значение коэффициентов при предикторах.

</details>
:::

### #8

<img id="hw13-8-level" class="level"/>

::: {#hw13-8-task .task}
a. Усложните случайную часть модели. Возьмите за основу имеющуюся модель с двумя фиксированными предикторами и добавьте ещё один случайный интерсепт по переменной `TypeName`. Создайте модель `model3`.

b. Протестируйте статистическую значимость фиксированных предикторов. Проинтерпретируйте результаты. Если есть что-либо необычное в результатах тестирования, дайте комментарий, почему это могло произойти.
:::

```{r}
## a
laptops$TypeName %>% unique()
model3 <- lmer(Price_euros ~ Inches + Ram + (1|Company) + (1|TypeName), laptops)

## b
summary(model3)
```

::: {#hw13-8-autocheck .autocheck}
::: {#hw13-8-ir .input-requirements}
Для самопроверки в поле ниже введите значение коэффициента при предикторе `Inches`, округленное до сотых. В качестве десятичного разделителя используйте точку.
:::

<input class="autocheck-input" type="text" id="hw13-8" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-8')">

::: {#hw13-8-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-8-hints">

<summary>Подсказки</summary>

* Синтаксис модели с двумя случайными интерсептами выглядит следующим образом:

```{r, echo=TRUE, eval=FALSE}
model <- lmer(DV ~ IV1 + IV2 + (1|rand1) + (1|rand2), data = data)
```

* При сопоставлении результатов тестирования гипотез двух моделей обратите внимание (1) на статистическую значимость и (2) на значение коэффициентов при предикторах.

</details>
:::

### #9

<img id="hw13-9-level" class="level"/>

::: {#hw13-9-task .task}
Сравните модели с двумя фиксированными предикторами друг с другом (`model2` и `model3`). Проинтерпретируйте результаты.
:::

```{r}
anova(model2, model3, test = "Chi", refit = FALSE)
```

::: {#hw13-9-autocheck .autocheck}
::: {#hw13-9-ir .input-requirements}
Для самопроверки введите значение статистики использованного теста, округленное до сотых. В качестве десятичного разделителя используйте точку.
:::

<input class="autocheck-input" type="text" id="hw13-9" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-9')">

::: {#hw13-9-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-9-hints">

<summary>Подсказка</summary>

Обратите внимание на способ подбора моделей --- так как у моделей одинаковая фиксированная часть, нас интересует тестирование гипотез о случайной части модели.

</details>
:::

### #10

<img id="hw13-10-level" class="level"/>

::: {#hw13-10-task .task}
Проведите диагностику модели `model3`. Сделайте заключение о качестве модели на основе результатов диагностики.
:::

```{r}
res <- tibble(
  laptops,
  fitted = fitted(model3),
  resid = resid(model3, type = 'pearson'),
  sresid = resid(model3, type = 'pearson', scaled = TRUE)
)
gg_res <- ggplot(res, aes(y = sresid)) +
  geom_hline(yintercept = 0)
gg_res + geom_point(aes(x = fitted))
gg_res + geom_boxplot(aes(x = Company))
gg_res + geom_boxplot(aes(x = TypeName))
```

::: {#hw13-10-autocheck .autocheck hidden="true"}
::: {#hw13-10-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw13-10" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-10')">

::: {#hw13-10-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-10-hints">

<summary>Подсказки</summary>

* Так как в модели в качестве фиксированных эффектов включены только количественные предикторы, при изучении распределения остатков достаточно посмотреть из зависимость от предсказанных значений.
* Однако в модель включены два случайных эффекта --- поэтому полезно будет рассмотреть зависимость распределения остатков от каждого из них.

</details>
:::

<!---
## Дополнительные задания {#hw13_add}

### #1

<img id="hw13-11-level" class="level"/>

::: {#hw13-11-task .task}
Текст задания.
:::

::: {#hw13-11-autocheck .autocheck}
::: {#hw13-11-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw13-11" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-11')">

::: {#hw13-11-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-11-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #2

<img id="hw13-12-level" class="level"/>

::: {#hw13-12-task .task}
Текст задания.
:::

::: {#hw13-12-autocheck .autocheck}
::: {#hw13-12-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw13-12" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-12')">

::: {#hw13-12-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-12-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #3

<img id="hw13-13-level" class="level"/>

::: {#hw13-13-task .task}
Текст задания.
:::

::: {#hw13-13-autocheck .autocheck}
::: {#hw13-13-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw13-13" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-13')">

::: {#hw13-13-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-13-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #4

<img id="hw13-14-level" class="level"/>

::: {#hw13-14-task .task}
Текст задания.
:::

::: {#hw13-14-autocheck .autocheck}
::: {#hw13-14-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw13-14" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-14')">

::: {#hw13-14-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-14-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

### #5

<img id="hw13-15-level" class="level"/>

::: {#hw13-15-task .task}
Текст задания.
:::

::: {#hw13-15-autocheck .autocheck}
::: {#hw13-15-ir .input-requirements}
Описание формата инпута.
:::

<input class="autocheck-input" type="text" id="hw13-15" placeholder="Введите ответ…">

<input class="autocheck-button" type="button" value="Проверить" onclick="check('hw13-15')">

::: {#hw13-15-fb .autocheck-feedback}
:::
:::

::: hints-wrapper
<details class="hints" id="hw13-15-hints">

<summary>Подсказки</summary>

<details class="hint">

<summary>Как делать задание?</summary>

</details>

<details class="hint">

<summary>Что надо сделать?</summary>

</details>

<details class="hint">

<summary>Ответ неверный</summary>

</details>

</details>
:::

--->

```{=html}
<!--- CHANGE hw13 TO hw<n> IN THE LINES BELOW--->
<script type="text/javascript" src="./js/hw13.json"></script>
<script type="text/javascript" src="./js/hw.js"></script>
```