Нет недостаточно.
При подсчете волшебников вы не учитываете, что срок их жизни больше чем у магла.
Даже при 1000 человек выяснить, что Вольдеморт это ТР достаточно сложно, если он захотел бы это скрыть. Что он и сделал. Он же не из школы выпустился с дипломом на имя Лорда Вольдеморта. А долгое время находился в тени.
И по вашему мнению Люциус Малфой самоубийца? Если он как заинтересованное лицо знает, что представляет дневник отданный ему на хранение. Будет ли он использовать столь ценную вещь для многоходовки с целью напакостить Уизли и Дамбладору?