Дурсели переживали бы о потере реноме "хороших людей" в среде соседей.
Если соседи были бы не в курсе, переживали бы не слишком сильно...