16 maja 1791 w Londynie poślubił lady Charlotte Leveson-Gower (11 stycznia 1771 – 12 sierpnia 1854), córkę Granville’a Levesona-Gowera, 1. markiza Stafford, i Susanny Stewart, córki 6. hrabiego Galloway. Henry i Charlotte mieli razem dwóch synów i osiem córek: Elizabeth Susan Somerset (zm. 16 kwietnia 1876), żona lorda Edwarda O’Briena, miała dzieci Georgiana Augusta Somerset (zm. 30 marca 1865), żona Granville’a Rydera, miała dzieci Henry Somerset (5 lutego 1792 – 17 listopada 1853), 7. książę Beaufort Granville Charles Henry Somerset (27 grudnia 1792 – 23 lutego 1848), ożenił się z Emily Smith, miał dzieci Charlotte Sophia Somerset (25 kwietnia 1795 – 12 listopada 1865), żona Fredericka Gougha, 4. barona Calthorpe, miała dzieci Susan Somerset (10 kwietnia 1804 – 4 lutego 1886), żona George’a Cholmondeleya, 2. markiza Cholmondeley, nie miała dzieci Louisa Elizabeth Somerset (1807 – 26 sierpnia 1892), żona George’a Fincha, nie miała dzieci Isabella Anne Frances Somerset (19 sierpnia 1808 – 4 lutego 1831), żona pułkownika Thomasa Kingscote'a, miała dzieci Harriet Blanche Somerset (1810 – 25 maja 1885), żona Randolpha Stewarta, 9. hrabiego Galloway, miała dzieci Mary Octavia Somerset (1814 – 7 września 1906), żona sir Waltera Farquhara, 3. baroneta, miała dzieci