Le Manoir a une longue histoire, nous n’en connaissons qu’une petite partie. La plus ancienne a été oubliée et il reste seulement quelques vestiges à interpréter.

Ce fut à l’origine un manoir ou un château construit par un personnage riche et influent pour s'y installer avec sa famille. Il a certainement été bâti au XVème siècle à une époque trouble, marquée par la guerre de cent ans.

Nous sommes dans le Rouergue, nom de la province à l'origine de l'Aveyron. A cette époque le principal problème de sécurité est l’existence de bandes de « routiers » constituées de mercenaires sans solde qui écument et pillent les villages. Il s’avère donc de plus en plus nécessaire de construire des places fortes pour se protéger.

Par ailleurs les voies de communication devaient être protégées et les points de passage obligés étaient surveillés. C’est autant d’occasions d’instituer des octrois marquant les territoires et justifier les ouvrages et aménagements comme aux Pélies.

Le Manoir était situé à proximité du gué/passage et devait jouer son rôle de collecteur de droit de passage, de protection des pèlerins et peut être aussi d’hébergement.