[рис.] Пусть окружность S с центром O и радиусом R пересекает стороны данного прямого угла в точках A и B, AC  =  8, BC  =  6, искомая окружность с центром Q касается сторон и BC угла ACB в точках N и K соответственно, а окружности S  — в точке M.

Точка O  — центр окружности, описанной около прямоугольного треугольника ABC, поэтому O  — середина его гипотенузы AB.

$R= $\frac{1}{2}$ AB= $\frac{1}{2}$ $\sqrt{аргумента: 8 ^2 + 6 ^2}$ аргумента = $\frac{1}{2}$ \cdot 10=5$

Линия центров двух касающихся окружностей проходит через точку их касания, поэтому точки M, O и Q лежат на одной прямой. Опустим перпендикуляр OH из центра окружности S на прямую BC. Тогда OH  — средняя линия треугольника ABC поэтому $OH= $\frac{1}{2}$ AC=4$ и $CH= $\frac{1}{2}$ BC=3$ а так как центр окружности, вписанной в угол, лежит на его биссектрисе, то ∠QCK  =  45°, поэтому CK  =  QK  =  r.
Опустим перпендикуляр QF из центра искомой окружности на прямую OH. Тогда

$OF=|OH - FH|=|OH - QK|=|4 - r|,QF=KH=|r - 3|$

Предположим, что искомая окружность и окружность касаются внутренним образом. Тогда

$OQ=OM - QM=R - r=5 - r$

Рассмотрим прямоугольный треугольник OFQ. По теореме Пифагора OQ2  =  OF2 + QF2 или

$( 5 - r ) ^2 = ( 4 - r ) ^2 + ( r - 3 ) ^2$ откуда находим, что $r=4$

Если же искомая окружность касается данной внешним образом, то

$OQ=OM + QM=R + r=5 + r$

Тогда из соответствующего уравнения (5 + r)2  =  (4 − r)2 + (r − 3)2 находим, что r  = 24.

Ответ: 4 или 24.