Пи/2 знак интеграла пи/3 (tg5x ctg5x - cosx) dx.

В чём проблема-то?
tgX*ctgX = 1 (по сути, по определению), поэтому под знаком интеграла стоит
(1-соsX)dx   ну а это ТАБЛИЧНЫЙ интеграл, равный x - sinX
Вот и всё. Дальше арифметика для 1 класса, сама оформишь до конца.