Первый случай.
Центры O1 и O окружностей, вписанных в треугольники BMC и AMD соответственно, лежат на биссектрисе MO угла AMD. Окружность, вписанная в четырехугольник ABCD, является также окружностью, вписанной в треугольник AMD и вневписанной окружностью треугольника BMC. Будем искать площадь четырехугольника ABCD, как разность площадей треугольников AMD и BMC.
[рис.]
Четырехугольник ABCD вписан в окружность, следовательно, ∠BAD + ∠BCD  =  180°, но ∠BCM + ∠BCD  =  180°, откуда ∠BCM = ∠BAD. Так как треугольники BCM и AMD имеют еще общий угол AMD, они подобны, причем коэффициент подобия равен отношению радиусов окружностей, вписанных в эти треугольники.
Далее имеем:
1)   $S_ABCD=S_\Delta ADM - S_\Delta BCM= $\frac{R ^2}{r ^2}$ S_\Delta BCM - S_\Delta BCM= ( $\frac{R ^2}{r ^2}$ - 1 ) S_\Delta BCM$
2)   $S_\Delta BCM=pr$ где p  — полупериметр треугольника BCM, равный по свойству вневписанной окружности длине отрезка KM.
3)  Из прямоугольного треугольника OKM, находим $KM=OK\ctg\angle OMK=R \ctg \frac{альфа}{2}$ откуда $S_\Delta BCM=Rr \operatorname\ctg \frac{альфа}{2}$
Подставляя найденное значение SΔBCM в формулу SABCD, окончательно получаем

$S_ABCD= ( $\frac{R ^2}{r ^2}$ - 1 ) Rr\ctg $\frac{альфа}{2}$ = $\frac{R ( R ^2 - r ^2 )}{r}$ \ctg \frac{альфа}{2}$

Второй случай.
Отличается от первого положением точки M левее точек D и A. В этом случае R r и в рассуждении они и треугольники BCM и ADM должны быть поменяны местами. Таким образом, в этом случае
[рис.]

$S_ABCD= ( $\frac{r ^2}{R ^2}$ - 1 ) S_\Delta ADM= ( $\frac{r ^2}{R ^2}$ - 1 ) Rr\ctg $\frac{альфа}{2}$ = $\frac{r ( r ^2 - R ^2 )}{R}$ \ctg \frac{альфа}{2}$

Ответ: $S_ABCD= $\frac{R ( R ^2 - r ^2 )}{r}$ \operatorname\ctg \frac{альфа}{2}$ или $S_ABCD= $\frac{r ( r ^2 - R ^2 )}{R}$ \operatorname\ctg \frac{альфа}{2}$