Po francusko-normandzkim najeździe, dochodzi litera ‘v’, stąd francuskie ‘fav’ lub ‘fauve’, czyli 'zwierzyna', co by oznaczało, że tu był teren do polowania na sarny.
Po Podboju normandzkim król Wilhelm Zdobywca oddał Fawley Manor swemu krewnemu, Walter Giffardowi, jednemu z redaktorów Domesday Book. Jego administrator, Herbrand de Sackville, zajmował się gospodarstwem kiedy trwał spis ziem angielskich. Od 1086 do 1477 majątek należał do rodziny Sackville do momentu kiedy spadkobierczyni, Margery, poślubiła Thomas Rokes, w 1477 r.
Okres neoklasycyzmu mały|upright|lewo|Bulstrode Whitelocke z NPG w Londynie W 1616 r., Fawley zostało kupione przez sędziego, Sir James Whitelocke. On to nabył poboczne posiadłości, Phyllis Court i Henley Park. Jego syn, Sir Bulstrode Whitelocke, też sędzia, był także posłem do parlamentu. W czasie Wojny Domowej, na terenie Fawley odbywały się walki między stronnictwem parlamentarnym i rojalistami pod dowództwem ks. Ruperta Reńskiego. Ponieważ Bulstrode Whitelocke był po stronie parlamentarnej, to rojaliści pod dowództwem Sir John Byron zniszczyli mu dwór, a w 1642 r. byli tu zakwaterowani. W 1684 r. dworek był całkowicie odbudowany dla nowego gospodarza, Williama Freemana, kupca i właściciela plantacji oraz niewolników na wyspach karaibskich.