Под действием какой силы маятник возвращается в положение равновесия? как направлена эта сила?

Дык силы тяжести, однако. Сила тяжести возвращает маятник обратно. И действует она вниз.

Но маятник летит, как мы все видели, вбок, потому что ещё сила натяжения нити вмешивается.

Если векторно сложить силу тяжести (направленную РОВНО вниз) и силу натяжения нити (направленную ВДОЛЬ НИТИ), то образуется огрызочек силы (являющийся результатом суммы - такая получается равнодействующая сила), он направлен всегда в сторону точки равновесия, и при этом чем маятник дальше от точки равновесия, тем огрызочек больше, а значит ускорение сообщается тоже большее. 

Удачи! Рассказал вкратце главу из учебника про маятники :)