Tollare skänktes 1465 till Gråbrödraklostret i Stockholm. Efter reformationen 1527 drogs kyrkans gods in. Gustav Vasa förlänade Tollare till Jakob Bagge, amiral i kungens flotta. Under de kommande århundradena ägdes Tollare av olika ståndspersoner. När ryssarna härjade och brände i skärgården 1719 nådde de aldrig Tollare. Huvudbyggnaden från 1600-talet klarade sig.
1834 köptes Tollare av järngrossisten Anton Frestadius. Han byggde på Herrgården med en andra våning och försåg huset med balkonger och fönsterkupor. Hans barn förskönade huset ännu mera så att det blev ett rätt förnämligt corps de logi.
1918 köptes Tollare av Johan Alfred Hedenström. Han grundade Tollare pappersbruk och bodde på Tollare till sin död 1931. Arvingarna sålde gården till Conrad Åhlberg som kort därefter sålde herrgården med 17 tunnland mark till Stockholms distrikt av Godtemplarorden, en del av nuvarande IOGT-NTO.
Ångbåten från Stockholm lade till vid Tollares brygga. Här drevs en omfattande kurs- och pensionatsverksamhet. Sommartid bodde flera hundra ungdomar i en särskild tältstad.
1945 beslöts att Tollare skulle bli IOGTs folkhögskola. Den första vinterkursen började i oktober 1952
