Ну нужно (а^2-a+4)^2-8a(a^2-a+4)+15a^2

Зачем раскрывать было квадрат?
введем новую переменную для упрощения записи
a^2-a+4=t
t^2-8at+16a^2-a^2=(t-4a)^2-a^2
воспользуемся формулой разницы квадратов одновременно вернемся к старой
переменной
(a^2-6a+4)(a^2-4a+4)=(a^2-6a+4)(a-2)^2=(a-3-√5)(a+√5-3)(a-2)^2
все. решение заняло чуть больше минуты