Реши

Решение:

1. Значение потерь при $M=1$

$$Q(M)=(1-M)^2$$

Подставим $M=1$:

$$Q(1)=(1-1)^2=0$$

Ответ: $0$

2. Производная $Q'(M)$ при $M=1$

$$Q(M)=(1-M)^2$$

Производная:

$$Q'(M)=2(1-M)(-1)=-2(1-M)=2(M-1)$$

Теперь подставим $M=1$:

$$Q'(1)=2(1-1)=0$$

Ответ: $0$

3. Какую проблему решает SGD по сравнению с полным градиентным спуском?

Стохастический градиентный спуск использует не весь датасет сразу, а отдельные объекты или маленькие батчи.
Он решает проблему:

• слишком дорогого вычисления полного градиента на больших данных;
• медленной работы обычного градиентного спуска;
• больших затрат памяти.

Ответ: SGD ускоряет обучение на больших выборках, потому что не считает градиент по всем данным сразу.

4. Градиент функции

$$f(x,y,z)=xyz+\frac12(x^2+y^2+z^2)$$

Находим частные производные:

$$\frac{\partial f}{\partial x}=yz+x$$ $$\frac{\partial f}{\partial y}=xz+y$$ $$\frac{\partial f}{\partial z}=xy+z$$

Значит,

$$\nabla f(x,y,z)=\left(yz+x,\;xz+y,\;xy+z\right)$$

Ответ:

$$\nabla f(x,y,z)=\left(yz+x,\;xz+y,\;xy+z\right)$$

5. Найдите градиент $\nabla Q(M)$, если

$$M=-(w_0+w_1x_1+w_2x_2)$$ $$(x_1,x_2)=(1,0),\quad \vec w=(1,-1,2)$$

Сначала найдём $M$:

$$M=-(1+(-1)\cdot1+2\cdot0)=-(1-1+0)=0$$

Тогда

$$Q'(M)=2(M-1)$$ $$Q'(0)=2(0-1)=-2$$

Если нужен именно градиент по $M$, то:

Ответ: $-2$

Если же преподаватель имел в виду градиент по весам $(w_0,w_1,w_2)$, тогда:

$$\frac{\partial M}{\partial (w_0,w_1,w_2)}=(-1,-x_1,-x_2)=(-1,-1,0)$$ $$\nabla_w Q=Q'(M)\nabla_w M=(-2)\cdot(-1,-1,0)=(2,2,0)$$

Тогда ответ по весам: $(2,2,0)$

Итог кратко:

1. $Q(1)=0$
2. $Q'(1)=0$
3. SGD уменьшает вычислительные затраты и ускоряет обучение на больших данных
4. $\nabla f=(yz+x,\;xz+y,\;xy+z)$
5. По $M$: $-2$, по весам: $(2,2,0)$

Если хочешь, могу оформить это совсем коротко, как готовый ответ для сдачи.