1648, acht Jahre nach Rubens’ Tod, diente sein Haus William und Margaret Cavendish, dem späteren Herzog und der späteren Herzogin von Newcastle, als Zufluchtsort. Das Ehepaar verblieb zwölf Jahre im ehemaligen Haus des Malers.
William Cavendish (1593-1676) liebte die Kunst. Er war Dichter und Verfasser von Theaterstücken, ein Schirmherr der Musik, der bildenden Kunst und der Architektur, und auch die Wissenschaft faszinierte ihn. Außerdem war er ein hervorragender Reiter. Er eröffnete in Rubens’ ehemaligem Haus eine Reitschule, die Besucher von nah und fern einschließlich der Elite des Hochadels anzog.
Cavendish’ zweite Frau Margaret (1623-1673) war eine eigensinnige Schriftstellerin und eine der ersten Frauen in der Literaturgeschichte, deren Werk noch zu ihren Lebzeiten unter ihrem eigenen Namen gebündelt wurde. Das war schon etwas Besonderes in der damaligen Zeit.