Downton Abbey est tourné dans divers décors et lieux au Royaume-Uni. Le château de Highclere, situé dans le nord du Hampshire, est utilisé pour les prises de vue extérieures de l'abbaye elle-même, ainsi que de nombreuses prises de vue intérieures.
De nombreux lieux et châteaux historiques réels ont été utilisés pour filmer la série. La deuxième maison de la famille Crawley est en réalité Grey's Court dans l'Oxfordshire. La maison de la dot est vraiment Byfleet Manor, situé à Surrey. La gare de Downton est la gare de Horsted Keynes dans le Sussex. Le château de Duneagle est vraiment le château d'Inveraray à Argyll, en Écosse. Le château de Brancaster est tourné au château d'Alnwick dans le Northumberland, et le domaine de Haxy Park fait partie de Waddesdon Manor dans le Buckinghamshire
