Au XVIIe siècle, l'emplacement de la résidence du Gouverneur est occupé par une colonie acadienne connue sous le nom de Sainte-Anne. Un ancien cimetière où reposent les restes de membres des communautés Wolastoquewiyik (malécite) et acadienne se trouve à proximité. L'histoire de la résidence du Gouverneur est marquée, depuis la pose de la première pierre en 1826 et sa réouverture en 1999, par plusieurs événements dignes de mention.

• La résidence doit sa conception à J. W. Woolford, un architecte du Nouveau-Brunswick né en Angleterre, qui fut également à l'origine de plusieurs autres bâtiments à Fredericton, dont le casernement de Fredericton, l'ancien édifice des arts de l'Université du Nouveau-Brunswick et la prison du comté de York
• La résidence tient lieu de résidence vice-royale officielle jusqu'en 1892. Plusieurs décisions importantes touchant le Nouveau-Brunswick y ont été prises.
• La fonction de résidence vice-royale officielle est abandonnée pour des raisons financières en 1894 après le mandat du lieutenant-gouverneur Sir Samuel Leonard Tilley.
• L'école des sourds-muets de Fredericton s'installe dans la résidence de 1896 à 1900.
• Des unités du Corps expéditionnaire canadien occupent le bâtiment de 1914 à 1921.
• Le bâtiment est transformé en casernement militaire pendant la Première Guerre mondiale, puis, jusqu'en 1924, il sert d'hôpital militaire pour les soldats de retour au pays.
• La résidence du Gouverneur demeure vacante jusqu'en 1934. La Division J de la GRC y aménage alors son quartier général et occupe la résidence jusqu'en 1988.
• Reconnaissant la valeur architecturale et historique de la Résidence du Gouverneur, la Commission des lieux et monuments historiques du Canada la déclare lieu historique national en 1958 et érige une plaque sur le site, en 1962.
• En 1996, le bâtiment et la propriété sont désignés lieux historiques par le gouvernement du Nouveau-Brunswick en vertu de la Loi sur la protection des sites historiques , facilitant les travaux de restauration effectués récemment.
• Peu après le début des travaux en mai 1997, la résidence du Gouverneur devient la résidence de la lieutenante-gouverneure actuelle. Elle est ouverte au public le 1er juillet 1999.