Может ли косинус принимать значения,равное b/корень b^2+1

Да, т.к. b^2 + 1 > 1, значит, его корень тоже больше 1. при достаточно малом b результат деления b на этот корень будет принадлежать промежутку (-1;1)