Varasd várát 1181-ben "castrum Garestin" néven említik először III. Béla királynak egy a közeli Varasdfürdőről szóló oklevélben, a város ekkor már ispánsági székhely. 1194-ben III. Béla idősebb fiára Imrére bízta a horvát területek kormányzását, egyúttal őt tette meg trónörökössé. A kisebbik fiú András keresztes hadjárat vezetését kapta feladatul apjától. Imre korai halála után mégis ő lett a király és 1209-ben a vár körül kialakult települést szabad királyi várossá nyilvánította.

Ez számos kiváltsággal járt a város számára, melynek polgárai szabadon választhatták meg elöljáróikat és mentesek voltak az adó és harmincad fizetése alól, mégis egyfajta kölcsönös függőségben éltek a vár mindenkori uraitól. A várost a király udvarnokai lakták, akik ekkor építették fel templomát és monostorát. A tatárjárásban elpusztult földvárat IV. Béla újjáépíttette. 1397-ben Cillei Herman kapta meg Zsigmondtól, 1440 körül Cillei Ulrik kővárrá építtette át, majd halála után özvegye Brankovics Katalin birtokolta.