(x^2+3xy-y^2+2x-5y=-64 < (x-y=-7

Выразили х из второго уравнения и подставили в первое
Решаем первое уравнение:
(y-7) ²+3(y-7)y-у²+2(y-7)-5y=-64.
у² - 14у + 49 +3у²-21у-у²+2у-14-5у+64=0
3у²-38у+99=0
D=38²-4·3·99=1444-1188=256=16²
y₁=(38-16)/6=11/3    или    у₂=(38+16)/6=9
х₁=у₁-7=11/3-7=-10/3    или    х₂=у₂-7=9-7=2
ответ. (-10/3; 11/3)  (2; 9)