Au XII°s, Avensac dépendait du territoire de Maubec, aujourd'hui situé dans le Tarn-et- Garonne. C'est à cette date, que remonte le premier document connu sur Avensac. Les historiens supposent qu’autour de l'église Saint-Jean-Baptiste, s'élevaient plusieurs maisons, formant un petit hameau.
En 1320, Béraud Ier de Faudoas, seigneur d'Avensac, élève un château de défense sur la partie la plus abrupte de la colline, à l’ouest de la vallée de la Gimone. Le seigneur d'Avensac le construit pour apporter aide et protection aux habitants de la région. C'est à ce moment que le village d'Avensac est fondé.
Les habitants obéissent aux "coutumes", c'est-à-dire des règlements qui établissent les droits et devoirs de la communauté.