La ciutat s'originà a l'entorn del castell, al segle xi.
Fumel és també un nom familiar. Els Fumel foren una família senyorial que posseïa el Castell de Fumel, on eren senyors des del segle xi. Els senyors de Fumel (que posseïen Fumel, Libos i Condat) van adquirir per matrimoni a la meitat del segle xiii (1263) els vescomtats de Labarta, Aura i Manhoac. La família va continuar gaudint de les seves terres i títols durant cinc segles més. El 1280 el senyor de Fumel es va reconèixer feudatari d'Anglaterra. El 1562 la ciutat fou destruïda per Blaise de Montluc en represàlia per l'assassinat a la vila (fet el 1561 pels vilatans i gent de la rodalia) de Francesc I de Fumel, senyor i capità de la guàrdia del rei, que va deixar la ciutat molt malmesa i totalment sotmesa als senyors fins al 1789. Lluís de Fumel (1748-1749) va heretar de sa mare la senyoria de Hay Brion però va morir al cap d'un any i els títols i dominis van passar al seu tercer fill Josep de Fumel (1749-1789) que va ser el darrer senyor efectiu (després de 1789 va ser alcalde de Bordeus). El Fumel es van extingir el segle xix i els seus títols van passar als Langsdorff que van conservar la propietat del castell de Fumel fins al 1950 en què el van vendre a l'ajuntament de la ciutat.
.svg?lang=ca)
.svg?lang=ca){kind=small}