Для решения уравнения a2+2ab−3b2=101 заметим, что левая часть факторизуется так:
a2+2ab−3b2=(a+b)2−4b2=(a+b−2b)(a+b+2b)=(a−b)(a+3b).
Следовательно, у нас получается уравнение
(a−b)(a+3b)=101.
Поскольку 101 — простое число, единственные положительные целые разбиения 101=1×101. Тогда система
{a−b=1,a+3b=101
даёт решение. Из первого уравнения a=b+1. Подставляем в второе:
(b+1)+3b=101⇒4b+1=101⇒4b=100⇒b=25,
a=b+1=25+1=26.
Тогда искомая сумма:
a2+b2=262+252=676+625=1301.
Ответ: 1301.