Даже из канона вполне ясно, что Блэки:
а) обладали скверным характером.
б) обладали склонностью к накопительству
в)были совсем не бедными, а возможно даже отличались некоторым жлобством (отсюда и дом, полный разнообразного и небезопасного барахла).
Пункт "а" скорее всего обеспечил им врагов, которые с радостью воспользовались возможностью отомстить хоть какому-то Блэку, пункты "б" и "в" - желающих запустить ручки в накопления Блэков, в случае если (точнее - когда) Сириус протянет ноги в Азкабане. Не забываем, все чистокровные друг другу родня.