При каком значении m векторы a=4i-mj и b=m(в квадрате) i+12j образуют тупой угол

Если угол тупой, то скалярное произведение меньше 0. Вектор а имеет координаты 4и -m, вектор b имеет координаты m^2 и 12. По формуле скалярного произведения получаем 4m^2 -12m<0. Решая квадратное неравенство получаем 0<m<3