Как ответить на вопрос по where did you go?

Отвечать на этот вопрос надо в Past Simple - простом времени:

I went (и дальше в зависимости от ситуации - to the country - в деревню, to the cinema - в кинотеатр, to the theatre - в театр, to the forest - в лес и т.д. и т.п.)

например, I went to the stadium.