Надо a*b чтобы они были взаимно простые и в ответе давали

Взаимно простые числа - это числа, у которых нет общих делителей, кроме единицы

864 = 2 * 2 * 2 * 2 * 2 * 3 * 3 * 3 - разложение на простые множители

а = 2 * 2 * 2 * 2 * 2 = 32;   b = 3 * 3 * 3 = 27
32 * 27 = 864

а = 864;   b = 1 
864 * 1 = 864