بنا حافظیه به فرمان رضاشاه به علیاصغر حکمت، وزیر آموزش و پرورش وقت و برپایهٔ طرحی از آندره گُدار طراحی و بازسازی شد. مجری آن، علی ریاضی، رئیس اداره آموزش و پرورش فارس، و سرپرستش علی سامی بودند. حافظیه بارها از سوی حاکمان تیموری، صفوی، افشار و زند بازسازی و مرمت شد.