Heerlijkheid Pannerden
De eerste heer van Pannerden, waarvan de naam bekend is gebleven, is Willem Doys, die omstreeks 1275 het kasteel Scathe of Bijland bewoont. Willem heeft dit kasteel in leen van de Graaf van Kleef. Het kasteel heeft er tot omstreeks 1726 gestaan. In dat jaar wordt het kasteel grotendeels weggespoeld door de rivier. Op een prent van Jan de Beijer uit 1734 zien we nog resten van het kasteel.
Carel Herman treedt samen met Johannes Nepomucenus Hoevel, administrateur van het huis Bergh, als gevolmachtigden op namens de graaf bij de onderhandelingen over de teruggave van diens door de Bataafse Republiek in beslag genomen goederen. Als resultaat van deze onderhandelingen werd in 1801 overeengekomen, dat de graaf van den Bergh tegen betaling van een afkoopsom van 325.000 gulden al zijn goederen, behalve Boxmeer, terug kon verkrijgen.
Om deze afkoopsom te kunnen betalen verkochten Carel Herman van Nispen en Johannes Nepomucenus Hoevel in opdracht van de graaf van den Bergh een deel van diens onroerend goedbezit in Pannerden aan derden. In de periode 1801-1803 kochten zij zelf van de graaf de heerlijkheid Pannerden met een groot deel van de daaronder oorspronkelijk ressorterende onroerende goederen. Na een korte periode van gemeenschappelijk beheer verkocht Johannes Nepomucenus Hoevel in 1805 zijn aandeel in de heerlijkheid aan Carel Herman van Nispen.
Fort Pannerden
Fort Pannerden werd van 1869 tot 1872 gebouwd als sperfort om te voorkomen dat een aanvallend leger via de rivier de Waal kon optrekken richting Vesting Holland, het gebied achter de Nieuwe Hollandse Waterlinie. Daarnaast moest het fort zien te voorkomen dat het Pannerdensch Kanaal afgedamd zou kunnen worden, waardoor de Nieuwe Hollandse Waterlinie mogelijk zonder water zou komen te zitten.
Begin 2000 werd het fort gekraakt en werd het weer gebruikt en voor belangstellenden toegankelijk gemaakt. Na een conflict over de toekomstige bestemming van het fort, ontruiming en herkraak in 2006, kwam het tot een oplossing. Dit fort Pannerden dat deel uitmaakte van de Hollandse linie heeft verder geen relatie met de familie van Nispen.