Очевидная замена переменных t=x^2-3x. Тогда уравнение выглядит как t^2-14t+40=0. Решаете его (с этим-то проблем надеюсь, нет?)
Получаете 2 корня t1, t2. Дальше решаете 2 квадратных уравнения
x^2-3x-t1=0 и x^2-3x-t2=0.
Очевидная замена переменных t=x^2-3x. Тогда уравнение выглядит как t^2-14t+40=0. Решаете его (с этим-то проблем надеюсь, нет?)
Получаете 2 корня t1, t2. Дальше решаете 2 квадратных уравнения
x^2-3x-t1=0 и x^2-3x-t2=0.