Надо найти угол альфа между плоскостью треугольника abc и плоскостью прямоугольника abmn. ab = 5, bc = 12, ac = 13, bm = 15, mc = 9.

В прикрепленном файле показан "вид сверху" на прямоугольник MNBA. Треугольник АВС наклонен (вершина С БЛИЖЕ к нам, чем плоскость прямоугольника) Размеры взяты в скобки, потому что соответствуют наклонным отрезкам. Рядом показан вид сбоку, на треугольник ВСМ.

Задачка упрощается благодаря тому, что 5,12,13 - пифагоровы числа, то есть АВС - прямоугольный тр-к, то есть проекция С1 лежит на BN (я сразу так и нарисовал). Нам надо найти угол СВМ в треугольнике СВМ, это и будет искомый двугранный угол (плоскость СВМ перпендикулярна АВ, потому что АВС - прямоугольный треугольник, а МВ - по условию, MNBA - прямоугольник).

Но СВМ - тоже прямоугольный треугольник (стороны 9, 12 и 15, опять пифагоровы числа). Поэтому, сразу ответ - 

arcsin(3/5)

Если бы С1 не попадала на сторону ВМ, и если бы СМВ тоже не был бы прямоугольным, задача усложнялась бы, но не так, чтобы очень :) - всё сводилось бы к применению теоремы косинусов в двух треугольниках с заданными сторонами.