Николай II лишил его своей поддержки и сместил с поста министра финансов. В 1903 г. Витте был назначен председателем Кабинета министров. Однако Николай II продолжал оказывать ему доверие, правда уже не такое, как прежде. Император послал Витте во главе российской делегации на переговоры с Японией о заключении мира. В награду за заключение Портсмутского мира Витте получил титул графа. Противники Витте дали ему прозвище – «граф Полусахалинский», так как Япония по мирному договору получила южную часть острова Сахалин.