Прямая, перпендикулярная гипотенузе прямоугольного треугольника, отсекает от него четырёхугольник, в который можно вписать окружность. найдите радиус окружности, если отрезок этой прямой, заключённый внутри треугольника, равен 10, а отношение катетов треугольника равно 5\12

Тут есть два варианта.
Отсеченный треугольник очевидно подобен исходному, и по условию, подобен Пифагоровому треугольнику со сторонами 5,12,13.
1) пусть 10 - это меньший катет ОТСЕЧЕННОГО треугольника. Тогда его (отсеченного треугольника) стороны равны 10, 24, 26. Нужно найти радиус ВНЕвписанной окружности, касающейся катета 10.
ПОЛУпериметр p = (10 + 24 + 26)/2 = 30; площадь S = 10*24/2 = 120; 
S = ρ*(p - 10); ρ = 120/20 = 6;
2) пусть теперь 10 - это больший катет ОТСЕЧЕННОГО треугольника (это значит попросту, что перпендикуляр проведен "с другой стороны" окружности). Длины сторон его можно представить в виде 5*x; 12*x; 13*x; причем 12*x = 10; x = 5/6;
Площадь S = 30*х^2; полупериметр p = 15*x; ρ = S/(p - 12*x) = 10*x = 25/3;

Формула S = (p - a)*ρ; (ρ - радиус вневписанной окружности, касающейся стороны a и продолжений двух других сторон b и c ПРОИЗВОЛЬНОГО треугольника) совершенно аналогична формуле S = p*r; и получается точно таким же образом - надо соединить центр окружности с вершинами треугольника, и искать площадь треугольника через три получившихся треугольника, у которых высоты ρ, а основания - стороны  исходного треугольника, и сразу получится S = c*ρ/2 + b*ρ/2 - a*ρ/2 = (p - a)*ρ;