Да вроде они там свободно гуляли - когда Снейп с Яксли в 1 главе 7 книги пришли в Малфой-мэнор, павлины на заборе сидели ))

А Грэйбеку вряд ли позволялось там пикники устраивать - Лорду бы это не понравилось, и у Малфоев он частым гостем, судя по всему, не был.