1. Определение переобучения и недообучения

Переобучение (Overfitting) — модель слишком хорошо запоминает обучающие данные, включая шум, поэтому показывает высокую точность на обучающей выборке и низкую — на новых данных.

Недообучение (Underfitting) — модель слишком простая и не может уловить закономерности данных, поэтому плохо работает как на обучающей, так и на тестовой выборке.

---

2. Энтропия и её значение в задачах классификации

Энтропия — мера неопределённости (неоднородности) данных.

Для множества с классами:

$$H(S)=-\sum_{i=1}^{k}p_i\log_2 p_i,$$

где $p_i$ — вероятность класса.

• Нулевая энтропия — все объекты принадлежат одному классу.
• Максимальная энтропия — классы распределены равномерно.

Энтропия используется при построении деревьев решений (ID3, C4.5): выбирается признак, который сильнее всего уменьшает энтропию (максимальный информационный выигрыш).

---

3. Корреляция и линейная регрессия

Дано:

Стаж $x$, лет	1	3	5	7	9
Зарплата $y$, тыс. руб.	30	45	55	65	80

1) Диаграмма рассеяния

Точки:

$$(1,30),\ (3,45),\ (5,55),\ (7,65),\ (9,80)$$

Они располагаются почти на одной возрастающей прямой.

---

2) Коэффициент корреляции Пирсона

Средние значения:

$$\bar x=5,\qquad \bar y=55.$$

Вычислим таблицу:

$x_i-\bar x$	$y_i-\bar y$	Произведение
-4	-25	100
-2	-10	20
0	0	0
2	10	20
4	25	100

$$\sum (x_i-\bar x)(y_i-\bar y)=240.$$

Также

$$\sum(x_i-\bar x)^2=40,$$ $$\sum(y_i-\bar y)^2=1450.$$

Тогда

$$r= \frac{240}{\sqrt{40\cdot1450}} = \frac{240}{240.83} \approx0.997.$$

Ответ

$$\boxed{r\approx0.997}$$

Это означает очень сильную положительную линейную связь между стажем и зарплатой.

---

3) Линейная регрессия методом наименьших квадратов

Уравнение:

$$y=a+bx.$$

Наклон:

$$b= \frac{\sum(x_i-\bar x)(y_i-\bar y)} {\sum(x_i-\bar x)^2} = \frac{240}{40} =6.$$

Свободный член:

$$a=\bar y-b\bar x =55-6\cdot5 =25.$$

Следовательно,

$$\boxed{\hat y=25+6x.}$$

---

Интерпретация

Коэффициент наклона равен

$$\boxed{6}$$

Это означает, что каждый дополнительный год стажа увеличивает ожидаемую зарплату примерно на 6 тыс. рублей.

Свободный член 25 тыс. руб. — теоретическая зарплата при нулевом стаже.

---

Итог

1. Переобучение — модель слишком подстраивается под обучающие данные; недообучение — модель слишком простая.
2. Энтропия измеряет неопределённость и используется при выборе лучшего признака в деревьях решений.
3. Коэффициент корреляции Пирсона: $\boxed{r\approx0.997}$.
4. Линейная регрессия:

$$\boxed{\hat y=25+6x.}$$

5. Интерпретация: увеличение стажа на 1 год повышает ожидаемую зарплату примерно на 6 тыс. руб.

Да, по условию задачи график нужен.

В билете прямо написано:

«Постройте диаграмму рассеяния».

Достаточно нарисовать систему координат и отметить пять точек:

На экзамене можно просто от руки поставить эти точки. Линию проводить не обязательно, так как просят именно диаграмму рассеяния (если преподаватель не просит дополнительно изобразить линию регрессии).

Вот готовая диаграмма рассеяния, которую можно срисовать в тетрадь.

text
Зарплата (тыс. руб.)

80 |                              ●
75 |
70 |
65 |                        ●
60 |
55 |                  ●
50 |
45 |            ●
40 |
35 |
30 |      ●
   +--------------------------------------> Стаж (лет)
      1      3      5      7      9

Точки:

• (1; 30)
• (3; 45)
• (5; 55)
• (7; 65)
• (9; 80)

На экзамене этого графика будет достаточно. Если хотите оформить ещё лучше, можно провести через точки пунктирную линию, показывающую общий возрастающий тренд.