Почему Иван Васильевич не вмешался происходящее? Толстой «После бала»

Герой растерялся, не мог поверить в происходящее, предполагал, что полковник «что-то знает такое», чего он не знает. Он был настолько ошеломлен, что не мог отдать себе отчета в том, что произошло: «...мне было до такой степени стыдно, что, не зная куда смотреть, как будто я был уличен в самом постыдном поступке, я опустил глаза и поторопился уйти домой».