Все числительные изменяются по родам, числам и падежам?

Порядковые числительные, как и полные прилагательные, изменяются по числам, родам (в единственном числе) и падежам. Первый, первая, первое, первые. Их склонение совпадает со склонением прилагательных. Именно поэтому некоторые лингвисты включают порядковые числительные в состав имён прилагательных.