Так это не только в мире Роулинг, это во всех культурах.
В мусульманских странах очень подозрительно к рыжим относились.
Роксолана, кстати, развалившая в итоге великую империю, тоже рыжей была.
И у нас в России - "Рыжий да красный - человек опасный".