قصر قجری که بیرون شهر، بالای تپه‌‌‌ای لمیده بود و داشت مدام آفتاب می‌گرفت و باد میان درختانش می‌‌پیچید، در خواب هم نمی‌دید، روزی می‌رسد که آب خنک قنات‌های مبارک‌آباد و مخلص‌آبادش که شهره بود به زلالی و طراوت، می‌شود ضرب‌المثلی برای تهدید: «می‌اندازمت اون‌جا که آب خنک بخوری!» فتحعلی‌شاه قاجار این قصر را در سال ۱۱۷۷ هجری شمسی میان باغاتی که حالا شده، انتهای خیابان مطهری، نرسیده به اتوبان صیاد شیرازی بر پا کرد. هنوز ناصرالدین‌شاه نیامده بود به میدان سپاه امروزی و کَلِ دومین پادشاه قاجار را با ساختن عمارت بلندمرتبه کلاه‌فرنگی‌اش بخواباند. شاه شهید، قصر فتحعلی‌شاه با آینه‌کاری، گچ‌کاری، اکلیل‌کاری و نقاشی‌های عجیب، گاهی ساده و بی‌پیرایه از صحنه‌های حماسی ایران و زندگی چنگیزخان و تیمورلنگ چندان به نظرش نمی‌آمد و میلش به آن نمی‌کشید.
با این‌که جهانگردان بارها از این نقاشی‌ها یاد کرده بودند اما باز ناصرالدین‌شاه نمی‌توانست در قصری بدون پنجره بماند که گویی معمارش از ابتدا در خواب دیده بود که آینده‌ای پر از ناله‌‌وعذاب پیش‌روی آن است، پس به خود زحمت نداده و چندان ذوقی برایش به خرج نداده بود. کاخ بیشتر شبیه قلعه‌های نظامی بود با نقوش برجسته‌ای از چهار زن که یکی از آن‌ها سر تا پا مسلح بود.
شاه عکاس که فقط قلب حساسش را کاخی چون گلستان آرام می‌کرد، بی‌خیال کاخ خاندانش شد. اعتمادالسلطنه هم در خاطراتش از متروکه شدن این کاخ در حدود نیم قرن بعد از احداثش نوشت. پس کاخ کم‌کم برای استقرار نیروی قزّاق آماده شد و کلنل «کاساکوفسکی» قزاق‌خانه‌اش کرد.
سردارسپه که شاه شد. بی‌درنگ نیاز به زندانی نوین پیدا کرد. سرتیپ «محمد درگاهی»، رییس نظمیه مامور شد که این زندان را برایش بسازد. پس به «نیکلای مارکوف»، معمار معروف روسی دستور داد که بیا این قصر خرابه را که صاحب ندارد، زندان کن! مارکوف هم به رسم روسی عمل کرد؛ ۱۹۲ اتاق با گنجایش ۷۰۰ زندانی ساخت که ۹۶ اتاق آن پنج نفری و بقیه انفرادی بودند. مریض‌خانه‌ای هم کنارشان طراحی کرد، با شش اتاق شش تخته و ۱۶ اتاق یک تخته به همراه باغ و حمام. سرانجام زندان نوین تهران، آذر سال ۱۳۰۸ آماده شد. از آن‌جایی‌که هر‌چه کنی به خود کنی، گر همه نیک‌وبد کنی؛ سرتیپ درگاهی که زندان قصر را ساخته بود، خودش اولین نفری بود که به دلیل افشای تصمیم شاه برای حذف «تیمورتاش»، وزیردربار در آن زندانی شد. این آغاز راه زندان مخوفی بود که حتی به زندانبانش هم رحم نکرد. زندانیان در این زندان مخوف حبس می‌شدند تا آخر عمر از یاد نبرند تجربه آب خنک خوردن را. از قوام‌السلطنه، صارم‌الدوله، صولت‌الدوله، عبدالحسین تیمورتاش، بزرگ علوی، علیمردان‌خان بختیاری گرفته تا گروه معروف ۵۳ نفر به همراه دکتر تقی ارانی و شاعرانی چون فرخی یزدی در زندان مارکوف اسیر بودند.
تا رضاشاه در شهریور ۱۳۲۰ از ایران تبعید شد و زندان را به پسرش سپرد و رفت. اما هرگز از یادش نرفت که بزرگترین و معروف‌ترین فرار از زندان قصر را «سیدفرهاد نامی» انجام داد که او اصلا به حسابش نمی‌آورد. شاید در موریس هم گاهی به یاد «لورنس عربستان» می‌افتاد که به عنوان جاسوس زندانی‌اش کردند و با فشار خارجی‌ها با شورشی عمدی از زندان فراری‌اش داد تا ننگ آزادی این جاسوس در پوست بره به نامش نخورد. محمدرضاشاه اما نتوانست با همه تمهیداتی که اندیشید، مانع فرار «اشرف دهقان» از مبارزان مسلح شود. با این‌حال بسیاری از چهره‌های مخالف او در این زندان زجر کشیدند؛ از آیت‌الله طالقانی، مهدوی کنی تا محمدتقی شریعتی (پدر علی شریعتی)، اکبر هاشمی رفسنجانی، مرتضی مطهری، باهنر، محمدجواد تندگویان، احمد احمد، عزت شاهی و… مرضیه دباغ معروف به خواهر طاهره هم یکی از معدود زنان زندانی سیاسی قصر بود.
۲۲ بهمن ۱۳۵۷ در بحبوحه انقلاب، دیوارهای زندان فرو ریخت و زندانی‌ها آزاد شدند. جالب این‌جا بود که در میان خلاص‌شدگان، دو آمریکایی متهم به اختلاس هم بودند که ماجرای فرار آن‌ها را «کن فالت»، نویسنده آمریکایی نوشت و فیلم «فرار عقاب‌ها» را درباره‌اش ساختند.
زندان اما همچنان زندان ماند تا سال ۱۳۸۳. این بار شهر بود که زندان را دربرگرفته بود و مردم از وجودش شاکی بودند. فاضلابش داشت امان می‌برید و ناله‌ها دیوانه‌شان کرده بود. تصمیم برآن شد که زندان را خراب کنند. دستور داشت اجرایی می‌شد که دوستداران و کارشناسان میراث‌فرهنگی مخالفت کردند و خواستار احیای این مجموعه به عنوان باغ-موزه شدند. جالب این بود که کانون زندانیان سیاسی قبل از انقلاب خواستار ثبت ملی این بنا شدند و مانع تخریب آن. این نامه با تلاش‌های دوستداران، رسانه‌ها و کارشناسان در هم آمیخت. پس مسئولیت تغییرکاربری زندان را شهرداری به عهده گرفت و در سال ۱۳۹۱ این رویایی که برای خیلی‌ها باورکردنی نبود، با معماری و ایده مفهومی باغ موزه شد و در تاریخ ایران به عنوان یک نمونه موفق از احیای آثار تاریخی ماندگار.
این مجموعه عمارتی داشت به شمایل بناهای فرنگی در باغ موزه که آن هم در همان سال سروسامان گرفت. باغ‌موزه حالا نمایش عجیبی است از زندان و زندانی‌ها و زندانبان‌هایش. خیلی از زندان‌ها با دیوارنوشته‌های آن هنوز باقی مانده. صدای ملاقات‌کننده‌ها هنوز در موزه شنیده می‌شود. موزه مارکوف اکنون مجموعه‌ای دیدنی است در کنار مسجد، کتابخانه مرکز تحقیقات، گالری‌های مختلف. در باغ هم کافه و چایخانه و مرکز همایش راه‌اندازی شده است. در سال ۱۳۹۷ هم زورخانه‌ای را داخل این بنا به تصمیم شهرداری ساخته‌اند که فعال شده و برنامه‌هایی در آن اجرا می شود. می‌گویند؛ آدم باید عاقبت به خیر شود؛ حکایت این بناست که با این همه فراز و نشیب در زندگی طولانی‌اش باز هم جان سالم بدر برد و عاقبت به خیر شد.
