Почему x^2-11x+24=(x-8)(x-3), а не по формуле (a-b)^2?

Потому что первое выражение решается через дискриминант ипотом вот так на две скобки раскладывается.
и попробуй собрать по этой формуле сокращенного умножения это выражение, не получится, т.к. (a-b)^2=a^2-2ab+b^2. у тебя 24 из под корня не выходит

Здесь действует другая формула
ax²+bx+c=a(x-x₁)(x-x₂), где x₁ и x₂ корни уравнения.
Рассмотрим наш случай.
x²-11x+24, сразу заметим что коэффициент при x² равен 1.
Найдём корни уравнения x²-11x+24=0.
Найдём по теореме Виета:
x₁+x₂=11
x₁*x₂=24
Легко можно подобрать корни это 8 и 3.
Теперь разложим по вышеприведённой формуле:
x²-11x+24=(x-8)(x-3)