کاخ مرمر حوادث گوناگونی را از نظر گذراند. مثلا این کاخ شاهد ازدواج پهلوی دوم بود و در عین حال، ترور نافرجام او را هم در سال ۱۳۴۴مشاهده کرد. همین خاطره تلخ باعث شد محمدرضا شاه پهلوی بساطش را از این کاخ جمع کند. این کاخ در سال ۱۳۵۵به موزه تغییر کاربری داد و پس از پیروزی انقلاب و دستبهدست شدن میان نهادهای حکومتی از سال ۱۳۹۸ بهعنوان موزه هنر ایران، درهایش را به روی عموم مردم باز کرد.