L’origine de cette demeure, communément appelée « château » est mal connue. Il faut imaginer au départ un manoir ou une maison forte implanté au cœur d’un domaine agricole. Il occupait alors une position stratégique proche d’un pont qui, en franchissant le Drac, reliait le Trièves à la Matheysine.
En 1340, Eynard de Clermont reçut du Dauphin la Vicomté du Trièves, de laquelle faisait partie la seigneurie d’Avignonet dont dépendait Ars.
La famille Roux de Champfleury fit l’acquisition d’Ars au XVIIe siècle, puis la famille de Nantes en devint propriétaire jusqu’à la Révolution Française. Au XIXe siècle et au début du XXe siècle, le château fut la propriété de plusieurs familles qui y résidèrent plus ou moins épisodiquement. Depuis l’origine, des « fermiers » assuraient l’exploitation des terres attenantes.
En 1961, peu après la construction du barrage de Monteynard-Avignonet, le château et son domaine sont rachetés par EDF. Abandonné, le bâtiment était voué à la ruine jusqu’à ce que, sous l’impulsion de l’Association Sauvons le château d’Ars, un plan de sauvegarde soit entrepris en 2000.
Il est aujourd’hui distingué par le label Patrimoine en Isère du conseil général, preuve de son intérêt patrimonial certain.