Нужно ли поставить какой-либо знак препинания на месте " ? " — да, — ответил он, повернулся и продолжил ? —

Да, в конце слов автора ставится запятая.

Прямая речь в данном предложении оформляется по следующей формуле:

«П – а, – п».

– Да, – ответил он, повернулся и продолжил, – поэтому...

Если вторая часть прямой речи (Поэтому...) начинается с большой буквы, то после слов автора нужно ставить не запятую, а точку. По схеме:

"П, - а . - П..."

А вот если вторая часть прямой речи будет начинаться с маленькой буквы, тогда после слов автора нужно ставить именно запятую:

"П, - а , - п..."