Вражение: ctg^2х(3-3cosx^2) если cosx=0.1

Вы уверены что во второй части дано (3-3cosx^2) а не (3-3cos^2x)?

Если там (3-3cos^2x), то все благополучно решается:

ctg^2Х*(3-3cos^2x) 

(cos^2x/sin^2x)*sin^2x   (в левой части косинус преобразовали; в правой сделали по осн.триг.тож: sin^2x+cos^2x=1 => 1-1cos^2s  (тройка не влияет))

(cos^2x/sin^2x)*sin^2x = cos^2x

т.к cosx=0.1 , то cos^2x = 0.01 (если не ошибаюсь =) )