Au X°s, Bivès était le fief de la famille de ce nom.
Après être passé dans les mains de plusieurs familles, le château échoit en 1629 aux Preissac d'Esclignac qui le conservent jusqu'à la Révolution. Le château est alors vendu comme bien national le 16 septembre 1792.
Au XIX°s, le château de Bivès est victime d'un grave incendie et est en partie reconstruit en style Renaissance. Dorénavant, le château caractérisé par sa tour ronde sur le côté et ses fenêtres à meneaux sculptés, reste privé et n'a pas changé de style.
A Bivès, l'église paroissiale est en réalité une ancienne chapelle voûtée en berceau avec une sacristie du XII°s. Le clocher-mur exceptionnel comporte cinq arcades toutes garnies de leur cloche. Ce qui est rarissime.