Обозначим ∠BAC  =  α. Тогда $\text{tg} альфа = $\frac{BC}{AC}$ = \frac{12}{5}$ , $\cos альфа = \frac{5}{13}$ , $\sin альфа = \frac{12}{13}$ [рис.]

Пусть x  — радиус искомой окружности, O  — ее центр, D  — точка касания с лучом AC, M  — точка касания с окружностью S, E  — проекция точки O на прямую BC. Центр окружности, вписанной в угол, лежит на его биссектрисе, значит,

$\ctg\angle OAD=\ctg $\frac{альфа}{2}$ = $\frac{1 + \cos альфа}{\sin альфа}$ = \frac{1 + $\frac{5}{13}$ ,}{$\frac{12}{13}$} = \frac{3}{2}$

Из прямоугольного треугольника OAD находим, что

$AD=OD\ctg $\frac{альфа}{2}$ = $\frac{3}{2}$ x$

Заметим, что условию задачи удовлетворяют две окружности: одна из них касается окружности S внутренним образом, а вторая  — внешним.

В первом случае

$BO=BM - OM=13 - x$ $OE=CD=|AD - AC|=\left| $\frac{3}{2}$ x - 5|$
$BE=|BC - CE|=|BC - OD|=|12 - x|$

[рис.]
По теореме Пифагора $BO ^2 =OE ^2 + BE ^2$ или

$( 13 - x ) ^2 = ( $\frac{3}{2}$ x - 5 ) ^2 + ( 12 - x ) ^2 = сильно $\frac{9}{4}$ x ^2 - 13x=0$

откуда находим, что $x= \frac{52}{9}$

Во втором случае

$BO=BM + MO=13 + x$ $OE=CD=|AD - AC|=| $\frac{3}{2}$ x - 5|$

$BE=|CE - BC|=|OD - BC|=|12 - x|$

Тогда

$( 13 + x ) ^2 = ( $\frac{3}{2}$ x - 5 ) ^2 + ( 12 - x ) ^2 = сильно $\frac{9}{4}$ x ^2 - 65x=0$

откуда находим, что $x= \frac{260}{9}$

Ответ: $\frac{52}{9}$ или $\frac{260}{9}$