Le château de Cognac est mentionné dès le Xème siècle. Il fut la résidence favorite des Valois d’Agoulême et François Ier y vit le jour en 1494.

La porte Saint-Jacques ou porte des Ponts faisait partie de l’enceinte de la ville. Elle commandait un pont aujourd’hui disparu. Elle fut reconstruite à la fin du XVème siècle et est restée à l’identique jusqu’à aujourd’hui.