Почему совокупность изолированных друг от друга инвалидов обществом не является ?

Потому что понятие общество, включает в себя не только совокупность индивидов, но и общественные отношения между ними. Общество, как нечто целое, не сводится к сумме своих составляющих частей.
Так при изоляции индивидов друг от друга, будут утеряны общественные отношения, рухнет структура социального взаимодействия, что изничтожит общество, как систему.