红楼，建在延安炮兵学校所在地桃宝山谷。因南泥湾一带山大沟深，树木繁茂，水源充足，夏天凉爽宜人，中央管理局为给中央领导特别是被人们尊称为“五老“的林伯渠、吴玉章、谢觉哉、徐特立、续范亭等找一个夏日避暑的地方，便选中了桃宝峪。在此用红砖建起了一座二层小洋楼。这在当时来说，算得上是豪华的宾馆或招待所了。因墙体由红砖砌成，人们习惯称其为红楼。
    红楼由延安美坚木工厂厂长张协和设计，中直管理局负责施工。1943年3月筹备开工，9月建成。形式别致、光线充足。修建由359旅与炮团负责，有烧砖的，有伐木的，有搞基础的，分工协作，保质保量。除客房外，还有供集体活动的俱乐部、舞厅等。
    红楼建成后，每遇盛夏，中直管理局便安排年老体弱的领导同志来此消夏休养。延安五老均在此休养过。1944年9月，谢觉哉在此曾写《陶宝峪休养所》一诗，其中有这样几句：“入沟二三里，拓地百余弓，四五小屋绕，洋房峙其中。”洋房就指红楼。1943年秋，毛泽东、任弼时、彭德怀视察南泥湾359旅生产情况时，由延安乘汽车先到桃宝峪，在红楼稍歇，然后骑马去阳湾等地。
    1947年3月，胡宗南军队占领延安后，红楼也遭到破坏，解放后重新整修。这里驻有单位时，委托其代管。现由延安革命纪念馆负责维修管理。被列为省级重点文物保护单位。