Ну Лили и Джеймс были на свадьбе Дурслей.
А так министерство похоже может легко найти Поттера, потому что защиты особой и не было, или потому что он официально зарегистрирован по адрессу, как и многие другие маги.
А насчет того что может министерство всех найти, то смотря как искали Блэка, пожирателей и Дамблдора, то вызывает большое сомнение.
Впрочем как и возможность министерства наложить запрет на кликуху Волдеморт, автономно по всей Британии. Да такой мощный запрет, что снимает все защитные чары даже с Хогвартса (не зря ведь перед битвой Гарри ляпнул Волдеморт, а учителям пришлось ставить защитные чары на замок и его территорию).