Срешением. какое из выражений целесообразно принять за u при интегрировании по частям интеграла x^2*e^3x*dx.

Интеграл от e^(3x) найти легко, а вот x^2 все портит.
Поэтому его и надо принять за u. Но придется делать 2 раза.
1) u = x^2; dv = e^(3x) dx; du = 2x dx; v = 1/3*e^(3x)

2) u = x; dv = e^(3x) dx; du = dx; v = 1/3*e^(3x)

Дальше сам дорешай, тут осталось совсем просто.