Du fait de la mise en place de la châtellenie, les relations avec le voisinage ne sont pas toujours excellentes et des chevaliers viennent parfois troubler la quiétude du chantier religieux. Ils peuvent ainsi exiger l’usage de terre comme liant et non du mortier de chaux, tant ils ont peur que l’église serve de fortification pour leurs ennemis. Les commanditaires sont parfois eux-mêmes seigneurs, évêques, chanoines ou abbés et ils connaissent bien des soucis. En haute-auvergne, malgré des contrats en bonne et due forme, les calendriers ne sont pas respectés et certains édifices ne sont jamais construits. Lorsque le chantier débute, la foule vient au spectacle : Les pauvres, en s’amusant à regarder les ouvriers, ne pensaient plus à leurs privations ; les riches, chevaliers et bourgeois, prêtres et moines, y venaient plusieurs fois par jour pour se distraire. Lorsque le chantier est important en taille, des sergents surveillent la bonne exécution des travaux car les ouvriers ne vont bien que par la crainte sinon par la douleur des coups. Ailleurs, ce sont des consuls de Saint-Flour qui montrent l’exemple en se chargeant de grosses pierres. Toutefois, cela ne suffit pas toujours. L’alimentation doit être améliorée, afin d’éviter des conflits et le jeûne ne doit concerner que les religieux. Si des ouvriers réclament de la viande, les religieux peuvent refuser. Alors, les ouvriers entrèrent dans une grande colère, jetèrent à terre leurs outils et abandonnèrent leur travail. Pour le clerc, toutes les étapes du chantier méritent attention. Des ouvriers fatigués doivent être encouragés. D’autres bavardent et paressent. Le clerc se heurte aussi aux têtes fortes qui refusent telle ou telle condition imposée. Enfin, la tâche est si rude qu'un abbé doit promettre de la viande à ceux qui l’aimaient et disait à ceux qui avaient beaucoup peiné que grande serait leur récompense au réfectoire.