Un Américain, Lewis, vient d'acheter la riche et vaste demeure de Darlington Hall. À peine installé, il prie James Stevens, majordome dans la maison depuis plus de 30 ans, de prendre des vacances. Stevens décide d'en profiter pour rendre visite à madame Benn, qu'il connut et aima sans jamais le lui avouer, lorsqu'elle n'était encore que miss Sarah Kenton et œuvrait comme gouvernante à Darlington Hall. Pendant le trajet, Stevens se souvient. Il revoit son maître, lord Darlington, un inépuisable partisan du rapprochement entre l'Allemagne nazie et l'Angleterre, éprouvant encore l'espèce de fidélité qui le liait à cet homme controversé…