Пусть Вася в первый день решил a задач, а Петя  — b задач. Вася решал задачи n дней, а Петя  — m дней. Воспользуемся формулой суммы арифметической прогрессии. Получим, что за n дней Вася решил $S_n= $\frac{a + a + n - 1}{2}$ \cdot n$ задач, а Петя за m дней решил $S_m= $\frac{b + b + 2 ( m - 1 )}{2}$ \cdot m$ задач.
а)  Проверим, могло ли получиться так, что каждый из них решил все задачи сборника ровно за 5 дней.
Вася за 5 дней решил $\frac{2a + 5 - 1}{2} \cdot 5$ задач, а Петя $\frac{2b + 2 ( 5 - 1 )}{2} \cdot 5$ задач. Приравняем эти значения: $\frac{2a + 4}{2} \cdot 5 = $\frac{2b + 8}{2}$ \cdot 5$ Откуда получаем, что $a = b + 2$ Таким образом, мальчики могли решить все задачи сборника ровно за пять дней, если Вася в первый день решил на две задачи больше, чем Петя.
б)  Проверим, могло ли получиться так, что каждый из них решил все задачи сборника ровно за десять дней.
Вася за 10 дней решил $\frac{2a + 10 - 1}{2} \cdot 10$ задач, а Петя $\frac{2b + 2 ( 10 - 1 )}{2} \cdot 10$ задач. Приравняем эти значения: $\frac{2a + 9}{2} \cdot 10 = $\frac{2b + 18}{2}$ \cdot 10$ Откуда получаем, что $a = b + \frac{9}{2}$ Это равенство не может быть выполнено ни при каких целых a и b, следовательно, мальчики не могли решить все задачи сборника ровно за десять дней.
в)  Пусть Вася решал задачи k дней, а Петя  — l дней. Тогда

$\frac{2a + k - 1}{2} \cdot k = $\frac{2b + 2 ( l - 1 )}{2}$ \cdot l. ( * )$

По условию $a меньше b$ но при этом

$\frac{2a + 7 - 1}{2} \cdot 7 меньше $\frac{2b + 2 ( 7 - 1 )}{2}$ \cdot 7 = сильно a меньше b + 3$

Количество задач в сборнике будет минимальным при минимальных значениях l и b.
Минимальное возможное $l=7$ Значение а должно удовлетворять условию $b меньше a меньше b + 3$ значение k  — условию $k больше 6$
Проверим возможные значения и занесём их в таблицу:

  l  
  b  
  S  
  a  
Уравнение (*)
Натуральные решения

7
1
49
2
$\frac{2 \cdot 2 + k - 1}{2} \cdot k=49$
нет натуральных k

7
1
49
3
$\frac{2 \cdot 3 + k - 1}{2} \cdot k=49$
нет натуральных k

7
2
56
3
$\frac{2 \cdot 3 + k - 1}{2} \cdot k=56$
нет натуральных k

7
2
56
4
$\frac{2 \cdot 4 + k - 1}{2} \cdot k=49$
нет натуральных k

7
3
63
4
$\frac{2 \cdot 4 + k - 1}{2} \cdot k=63$
нет натуральных k

7
3
63
5
$\frac{2 \cdot 5 + k - 1}{2} \cdot k=49$
нет натуральных k

7
4
70
5
$\frac{2 \cdot 5 + k - 1}{2} \cdot k=70$
нет натуральных k

7
4
70
6
$\frac{2 \cdot 6 + k - 1}{2} \cdot k=70$
нет натуральных k

7
5
77, что больше 72
...
$$

8
1
64
2
$\frac{2 \cdot 2 + k - 1}{2} \cdot k=64$
нет натуральных k

8
1
64
3
$\frac{2 \cdot 3 + k - 1}{2} \cdot k=64$
нет натуральных k

8
2
72
3
$\frac{2 \cdot 3 + k - 1}{2} \cdot k =72$
нет натуральных k

8
2
72
4
$\frac{2 \cdot 4 + k - 1}{2} \cdot k=72$
$k=9$

8
3
80

(что больше 72)

9
1
81

(что больше 72)

...
...
больше, чем 72

Таким образом, наименьшее число задач в сборнике = 72, и все условия задачи выполняются при k  =  9, a  =  4, l  =  8, b  =  2.

Ответ: а)  да; б)  нет; в)  72.