Надо доказать, что выражение не может равняться 0 ни при каких значениях X. По-моему тут что-то не так​.

Да, не может. т.к. 10х-25-х²=-(х-5)²; х²-10х+25=(х-5)²; (5-х)²=(х-5)², то

(х-3)/(х-5)²+(3-4х)/(х-5)²+(4х-5)/(х-5)²=(х-3+3-4х+4х-5)/(х-5)²=(х-5)/(х-5)²=1/(х-5), эта дробь могла быть равной нулю, если бы числитель равнялся нулю, а знаменатель был отличен  от нуля. А у нас в числителе единица, которая, как известно, нулем не станет.) Доказано.