Сразу заметим, что если у кого-то из мальчиков живут и кошка и собака, можно выгнать одно из животных и все условия задачи продолжат выполняться (при вычитании единицы из числителя и знаменателя правильной дроби она уменьшается). Наоборот, если у кого-то из девочек одного из животных нет - его можно к ней поселить. Пусть теперь D  — число девочек, K  — число мальчиков с кошками и S  — число мальчиков с собаками. По условию:

$\frac{K}{K + D} меньше или = \frac{1}{4}$     $4K меньше или = K + D$     $3K меньше или = D$
$\frac{S}{S + D} меньше или = \frac{5}{11}$     $11S меньше или = 5S + 5D$     $6S меньше или = 5D$

Перейдем к решению задачи.
а)  Да, это возможно, например при $D=10$ $K=3$ $S=8$
б)  Если мальчиков 12 или больше, то $D меньше или = 9$ $K меньше или = 3$ $S меньше или = $\frac{45}{6}$ меньше 8$ поэтому общее число мальчиков не превосходит $3 + 8 меньше 12$ Значит, больше 11 их быть не может. Пример приведен в пункте а).
в)  Нужно минимизировать выражение

$\frac{D}{D + S + K} = \frac{1}{1 + $\frac{S,}{D}$ + $\frac{K}{D}$} больше или = \frac{1}{1 + $\frac{5,}{6}$ + $\frac{1}{3}$} = \frac{6}{13}$

Значение $\frac{6}{13}$ возможно, например,при $D=6$ $K=2$ $S=5$

Ответ: а) да; б) 11; в) $\frac{6}{13}$