Innan klostret byggdes fanns på platsen en träkyrka och därefter en stenkyrka. Stenkyrkan tros ha uppförts senast på 1040-talet och är därmed det äldsta belägget för en stenkyrka på svensk mark (utanför Skåne). Enligt C14-dateringar från 2007 har den äldsta kristne mannen som begravdes där dött någon gång under perioden 780-970. Den helhetsbild som C14-dateringarna ger gör det troligt att den kristna begravningsplatsen togs i bruk under 900-talet.
Klostret i Varnhem gynnades av erikska ätten som i gengäld bereddes vilorum där. Under 1150-talet utbröt en konflikt mellan klostret och Erik den heliges drottning Kristina Björnsdotter.
År 1234 eldhärjades klostret och lades i ruiner, en katastrof som övergick i blomning, eftersom initiativ togs av Birger Jarl och andra medeltida finansiärer att bygga upp klostret igen, denna gång vackrare och präktigare än förut.
Klostrets ägor konfiskerades år 1527, och klosterbyggnaderna brändes av danska trupper år 1566, under det Nordiska sjuårskriget. Kyrkan återställdes under 1600-talet av Magnus Gabriel de la Gardie, som anlade ett familjemausoleum i den, medan övriga klosterbyggnader fick förfalla. Kyrkan restaurerades grundligt 1911-23 och 1921-29 skedde utgrävningar i hela den centrala delen av klostret; vidare utgrävningar skedde 1976 och 1977.
Idag återstår bara Varnhems kyrka, idylliskt omgärdad av ruiner. Antalet turister som besöker Varnhem har mångfaldigats tack vare Jan Guillous böcker om Arn.
