При каких значениях m векторы перпендикулярны a=(m-1; -3; 8) b=(m; 8; 3m)

Если векторы перпендикулярны, то их скалярное произведение равно 0, и наоборот.
Значит, нужно определить такое m, чтобы скалярное произведение векторов a и b было равно 0.
Скалярное произведение векторов через координаты определяется как сумма произведений соответствующих координат:
ab=(m-1)m+(-3)*8+8*(3m)

Приравниваем его к 0:
(m-1)m+(-3)*8+8*(3m)=0
(m-1)m-24+24m=0
(m-1)m+24(m-1)=0
(m-1)(m+24)=0
m₁=1
m₂=-24

ответ: векторы перпендикулярны при значениях m 1 или -24