Stamvader Hermannus Carolus (1764-1829)

Stamvader Carel Herman was in zijn jonge jaren in Franse dienst in het regiment van Salm-Salm. Hij gold als baron de Nispen de Pannerden. Een titel die men hem toedacht vanwege zijn verwantschap met Jacques Henri van Nispen die in Frankrijk als baron in de adelstand was verheven.

Een maand nadat Zevenaar en de Liemers na de val van Napoleon door de Pruisen aan het Koninkrijk der Nederlanden waren overgedragen, werd Carel Herman bij het Koninklijk besluit van 1 juli 1816 nr. 93 opgenomen in de Gelderse Ridderschap en de Nederlandse adel. Hij werd als landrentmeester van het huis Bergh aangesteld omdat men hem als 'vermogend, getrouw en geschikt' beschouwde. Voorts was hij Hoofdschout van Zevenaar (1817-1829), Heer van Pannerden (1803-1829), Lid Ridderschap van Gelderland (1816-1829), Lid Provinciale Staten van Gelderland (1817-1829).

Naast zijn vele publieke functies en nevenfuncties trad hij sinds het einde van de 18e eeuw op als waarnemend landrentmeester van het huis Bergh en als provisioneel rentmeester van Pannerden en Millingen.

Na het vroege overlijden van zijn oudere broers Arnoldus J.A. van Nispen (1761-1791) en Jacobus Johannes van Nispen (1758-1794) nam hij de voogdij op zich over hun kinderen  , Lodewijk C.J.Chr.F. en Maria Theresia A.I.J. van Nispen en Everhard F.Chr.J. van Nispen. Ook trad hij sinds 1810 op als voogd over Isabella E.J. en Christina J. Th.M. Hoevel, dochters van Johannes Nepomucenus Hoevel (1735-1810), administrateur van het huis Bergh, uit diens 3e huwelijk met de jong overleden Adriana van Wambeke (1767-1807). 

Carel Herman wist zijn zakelijke activiteiten uitstekend te combineren met de behartiging van zijn persoonlijke belangen. Zijn functie als voogd over de jongste twee dochters van de zeer vermogende Johannes Nepomucenus Hoevel resulteerde mede onder zijn leiding en sturing in huwelijken van zijn beide zonen met deze pleegzusjes. Zijn positie als vertrouweling van Anton Aloys, graaf van den Bergh, resulteerde in de periode 1801-1803 in de aankoop van de heerlijkheid Pannerden uit Berghs bezit.

In 1824 kocht hij van zijn zwaar in schulden geraakte neef en voormalig pupil Everhard F.Chr.J. van Nispen (1784-1842) het huis Sevenaer, dat deze van zijn vader Arnoldus J.A. van Nispen geërfd had. Inmiddels was hij een vermogend man. In het begin van de 19e eeuw waren grote vermogens van zijn familie van moederszijde en van zijn schoonfamilie vrijgekomen. In 1813 bekleedde hij de 8e plaats op de lijst van hoogst aangeslagenen in de directe belastingen in het departement.

Direct na aankoop schonk Carel Herman van Nispen het huis Sevenaer aan zijn oudste zoon Johannes A.C.A. van Nispen van Nispen van Sevenaer (1803-1875). Na zijn overlijden in 1829 vererfde de heerlijkheid Pannerden op zijn jongste zoon Carolus E.J.F. van Nispen tot Pannerden (1807-1870).

Carel Herman heeft zo zijn beide zonen een uitstekende uitgangspositie verschaft voor het spelen van een belangrijke rol in het politiek en maatschappelijk leven in Gelderland en daarbuiten.