På nær de ældste dele af Frederiksborg Slot betragtes præstegården i Kannikegade som Hillerøds ældste bygning. Mere præcist er der tale om præstegårdens store og smukke renæssancekælder. Præstegården fik sit nuværende udseende i 1860’erne. Her fik digteren og slotspræsten J.C. Hostrup ombygget den gamle bygning, der hverken var tidssvarende eller bekvemmelig at bo i. Arkitekten Christian Zwingmann ledede ombygningen. Zwingmann var i øvrigt en flittig herre. I 1864 kunne han bryste sig af at have ledet restaureringen af Slotskirken efter Frederiksborg Slots brand i 1859. Desuden tegnede han C.F. Tietgens lystejendom, Strødam ved Hillerød. Den nye præstegård var meget forskellig fra den gamle, men man valgte altså at bevare den oprindelige renæssancekælder. Over præstegårdens dør ses en mindeplade over Peder Hersleb. Fra 1718 til 1725 var han præst i Slotskirken og boede derfor på præstegården. Hersleb gjorde meget for Hillerøds fattigste indbyggere. På hans initiativ oprettedes f.eks. et hospital for byens syge fattiglemmer.

Leksikonartiklen er formuleret af museumsinspektør Kristoffer Schmidt, Museum Nordsjælland.