Там несколько по-другому написано. Имеется в виду, что когда Скримердж и Пий пришли к власти, то Фадж ещё в министерстве терся, надеясь, что вернется, а когда пришёл бравый герой войны Кингсли, то Фадж понял, что он ему не конкурент и надо было валить сразу, когда Скримердж его сместил. Как-то так.)

Спасибо, да самой эта фраза нравится.:)