Думаю, под баобабами подразумеваются наши дурные мысли. Из незаметного ростка вырастает огромный баобаб, одна дурная мысль может перерасти в дурной поступок. Тогда в нашей жизни не останется места ни для чего кроме: наших подозрений, ненависти презрения, как если-бы Маленький принц не прополол ростки баобабов, на его планете не осталось бы места для него самого.