Majitelé: dědičně Jiří z Milevska, klášter premonstrátů v Milevsku (do r. 1538), zástavně Vřesovicové (1437-1488?), Plavenští (1488?-1538), dědičně Plavenští (1538-1565), Lobkovicové z Hasištějna (1565-1623), vévodové ze Sasko-Lauenburska (1623-1689), markrabí z Baden-Badenu (1689-1789), panovník (1789-1837), vévodové Beaufort-Spontini (1837-1945), po konfiskaci majitelem zámku čs. stát a pak město Toužim.
Počátky areálu sahají do konce 12. stol., kdy zde předpokládáme vznik správního dvorce Jiřího z Milevska, pojmenovaného snad po jakémsi Túžimovi. Po příchodu milevských premonstrátů zde vyrostlo opevněné proboštství s kostelem sv. Jana Křtitele a hospodářským dvorem. První písemná zmínka o Toužimi však pochází až z r. 1354. V r. 1394 bylo proboštství v souvislosti s prvním zajetím krále Václava IV. přepadeno odbojnou šlechtou. Po vyplenění milevského kláštera v r. 1420 se konvent s opatem uchýlili do Toužimi, odkud je kolem r. 1430 vypudil husitský hejtman Jakoubek z Vřesovic, který se v r. 1437 stal zástavním držitelem toužimského klášterního zboží. Proboštství přeměnil na hrad a předal svému synovi Janovi (z toho vznikl název Janův hrad). Jádro hradu tvořil masivní hranolový donjon - obytná věž – pozůstatek proboštství (ve fragmentu zachována jako součást Horního zámku), zpevněný pozdně gotickou hradbou s baštami, vstup z předhradí kulisovou bránou (zčásti dochováno). Předhradí tvořil na východě hospodářský dvůr, na severu předpokládáme kostel. Po založení města v r. 1469 se hrad stal organickou součástí opevněného města. Snad již na počátku 16. století byl za pánů z Plavna vybudován při západní straně donjonu mohutný třípodlažní palác (v přízemí klíčové střílny a rozlehlé podzemní prostory, v interiérech fragmenty nástěnných maleb). Následným rozšířováním, renesančními a barokními přestavbami a úpravami tak vznikl členitý komplex Horního zámku. Renesanční přestavbou prošlo i předhradí, které se do r. 1544 přeměnilo na dnešní Dolní zámek, hospodářský poplužní dvůr byl přenesen za městské hradby, severovýchodně od zámku. Zde tříkřídlý komplex vytvořil mohutnou baštu městských hradeb (vnější obvodové zdi vybaveny střílnami). Po r. 1623 byl v r. 1620 vyhořelý zámek nákladně obnoven vévodou Juliem Jindřichem na výstavné reprezentativní šlechtické sídlo. Při stavbě zámecké zahrady severně od zámku zaniká proboštský kostel sv. Jana Křtitele, na jeho místě vystavěna kaple sv. Kříže, na severním konci zahrady je vystavěn letohrádek. Po požáru v r. 1652 areál obnoven (malovaný záklopový strop v Dolním zámku). Později je vybudován i vrchnostenský pivovar, který po r. 1752 nahradila nynější barokní novostavba zámeckého pivovaru. Od pol. 17. stol. ztrácí rozsáhlý areál rezidenční funkci a postupně chátrá (ještě po požáru v r. 1752 stavebně obnoven), do podoby areálu výrazně zasáhly necitlivé zásahy z poč. 19. stol. (zboření horního patra Horního zámku), postupně zanikla zahrada včetně letohrádku. V roce 1945 vyhořel pivovar. V 1. pol. 60. let zbořena větší část poplužního dvora, zahrada postupně zastavěna panelovým sídlištěm. Od 90. let zámek chátral.
V roce 2015 převzal spolek Živý zámek Toužim předchozí občanské iniciativy a začal organizovat další aktivity k oživení a především zpřístupnění zámku a jeho nádvoří. Ve spolupráci s městem Toužim bylo vyřešeno zabezpečení prostoru nádvoří, aby byly splněny požadavky na bezpečnost návštěvníků. Prostřednictvím dobrovolnických brigád z řad místních a geocachingových CITO eventů bylo nádvoří úspěšně zpřístupněno široké veřejnosti. Díky tomu již několikátým rokem na zámku probíhají různé kulturní a společenské akce - dětské a historické dny, festivaly, workshopy, koncerty, letní kino a další. V následujících letech plánujeme v tomto trendu pokračovat a nabídku akcí ještě rozšířit.