Меняется ли плотность воды при её нагреве, и если нет, тогда почему горячая вода стремится вверх, а холодная вниз?

Да плотность воды в зависимости от её температуры изменяется. Она расширяется при нагревании только свыше 4 °С. От 0 до 4 °С объем воды, наоборот, при нагревании уменьшается. При нагревании молекулы воды начинают двигаться быстрее за счёт чего расстояние между молекулами увеличивается, концентрация молекул уменьшается соответственно плотность тоже уменьшается. При отстывании наоборот скорость уменьшается, концентрация увеличивается. В результате чего получается, что из-за разности плотности воды холодная опускается на дно, а тёплая на оборот поднимается на поверхность.

При нагревании происходит расширение, значит увеличивается объем при одинаковой массе. плотность при этом уменьшается что приводит к подниманию расширенной массы вверх, то есть к всплытию.
и наоборот, при охлаждении происходит сжатие, значит уменьшается объем при той же массе. плотность при этом увеличивается что приводит к опусканию сжатой массы вниз, то есть к утоплению.