Fortet var ursprungligen en försvarsutpost sedan fängelse och därefter härskarresidens.