L’église se trouve au milieu du village, à côté du cimetière communal et de l’ancien château seigneurial. La seigneurie de Saint-Germier, existe depuis le début du Moyen Age. Car, le nom des barons du lieu apparaît dans les chartes de l’abbaye de Gimont en 1169 et 1186. Une agglomération se constitua à cette époque autour du château, très remanié au cours des siècles mais fortifié à l’origine.
Le château de 1524 s’intégrait probablement aux fortifications du village. Les bâtiments au toit en tuiles s’organisent en U autour de la cour. Deux tours rondes, à toit en poivrières, plus hautes que les bâtiments, garnissent les angles, une tour polygonale (plusieurs angles) abrite l’escalier à vis. L’église proche du château, a été déplacée, rebâtie et restaurée maintes fois surtout au XIX° s.
