Císař Karel IV. nechal vystavět menší gotický hrad na žulovém ostrohu.
několikrát v těchto letech na hradě pobýval.
Roku 1370 propůjčil městu Loketské právo a daroval mu vsi Oboru a Drahovice, což bylo stvrzeno roku 1401 králem Václavem IV.. Karlovy Vary byly poté komorním městem spravovaným loketským purkrabím.
Hrad byl zastaven královskou korunou Šlikům spolu s městem Karlovy Vary a celým Loketskem.
zastavil hrad a patrně i město rytíři Václavovi Polackému z Polak za 500 říšských zlatých. Mezi novým zadluženým držitelem a měšťany však vznikaly spory, které řešil Polacký zavíráním odpůrců do hradní věže. Nepohodl se ani v otázce karlovarské zástavy se Šliky, kteří vyřešili konflikt dobytím hradu a zajetím nepoddajného rytíře.
Po smrti Matyáše Šlika připadl hrad i město nejstaršímu synovi Jeronýmovi. Za Jeronýma a jeho syna Šebastiána se spojili Karlovarští spolu s městem Loktem a loketskými many proti uzurpátorské vrchnosti.
utvořili spolek a aktivně se zúčastnili místní války.
Šlikové byli obžalováni z porušování zákonů království a práv podřízených měst a hrad jim byl zkonfiskován.
Na zemském sněmu došlo ke kompromisnímu urovnání, při kterém se měšťané mohli vrátit a hrad s městem znovu připadly Šlikům.
Jelikož se Šlikové zúčastnili stavovského odboje proti Ferdinandovi I., získal město Karlovy Vary spolu s ostatním šlikovským majetkem do přímého držení opět král. Hrad byl již tehdy málo obýván a postupně pustl.
hrozící sesutím na blízkou budovu staré radnice, městu Karlovy Vary. Darovací smlouva ze dne 13. prosince 1567 uvádí hrad jako „sešlé a pusté chátrající sídlo na kamenné skále ve městě Karlovy Vary, kde stojí staré zdivo a tři hromady kamení“. Karlovarská obec poté užívala zchátralý objekt pouze jako skladiště hasičského nářadí, k rekonstrukci hradu však přistoupeno nebylo.
za 8 500 kop míšeňských grošů také zbylé příslušenství bývalého hradu, tj. rozsáhlé okolní lesy.
při velkém požáru města a změnil se ve zříceninu.
Konkrétně byla zastřešena charakteristickou barokní střechou se zvoničkou, stěna na straně k Tržišti byla prolomena novými okny a věž doplněna arkádovým ochozem, ze kterého byli slavnostně vítáni fanfárami významní hosté lázeňského města. Také ve věži bydlíval věžník, jehož úkolem byla strážní služba, zejména hlášení požárů.
Ke skalnímu ochozu bylo připojeno mohutné těleso podle projektu vídeňského architekta Friedricha Ohmanna. Městský věžový výtah, realizovaný v roce 1911, byl elektrický, dvojitý a panoramatický, s nástupem z vestibulu z úrovně ulice. Plány na výtah zpracovala vídeňská firma na výtahy Wertheim & Comp v roce 1910. Oba výtahy měly kapacitu pro 12 osob a staly se vyhledávanou turistickou atrakcí. Podobná řešení existovala i jinde v Evropě, například výtah Santa Justa v Lisabonu nebo výtah na horu Mönchsberg v Salzburgu.
Výtah byl provozovaný Dopravním podnikem města Karlovy Vary, poté ČSAD. Moderní prosklená kabina byla instalována v roce 2007.
Ve spolupráci s Kanceláří architektury města Karlovy Vary a kreativním studiem 3Dsense proběhla poslední rekonstrukce interiéru.
V květnu byla slavnostně otevřena expozice Great Spa Towns of Europe při příležitosti prvního výročí zápisu Karlových Varů a dalších 10 evropských měst na Seznam světového dědictví UNESCO.
První patro prošlo obměnou a vznikla zde také stylová kavárna s jedinečným výhledem na lázeňské město.