решить не могу arctg3x = arccos8x

Чтобы был определен арккосинус, должно выполняться условие -1 ≤ 8x ≤ 1.
Если 8x < 0, то arccos 8x > π/2, но arctg принимает значения из промежутка (-π/2, π/2), поэтому равенство не возможно.
Значит, 0 ≤ x ≤ 1/8.

Обозначим arctg 3x = arccos 8x = a, тогда tg a = 3x, cos a = 8x.

Поскольку tg^2 a + 1 = 1/cos^2 a, должно выполняться следующее равенство:
9x^2 + 1 = 1/64x^2
9 * 64x^4 + 64x^2 - 1 = 0
36 * (2x)^4 + 16 * (2x)^2 - 1 = 0

Получилось уравнение, квадратное относительно t = (2x)^2, t ≥ 0:
36t^2 + 16t - 1 = 0
D/4 = 8^2 + 36 = 64 + 36 = 100 = 10^2
t = (-8 + 10)/36 = 1/18 (второй корень отрицательный)

(2x)^2 = 1/18 = 2/36
2x = (√2)/6 (второй корень отрицательный)
x = (√2)/12