1940年2月26日，延安回民救国会成立大会通过决议，在延安建立清真寺。边区政府于3月在文化沟选址动工，9月底竣工。10月7日，清真寺落成典礼在文化沟桃花岭隆重举行。边区政府赠送“众志成城”的贺匾。朱德和边区政府副主席高自立、陕甘宁边区中央局副书记谢觉哉出席祝贺，并发表了讲话。
    清真寺建筑布局呈“凸”字形。大门系利用一座明代的石牌坊。毛泽东亲笔题字“清真寺”刻在牌坊正面，背面为清真寺教长马生福阿訇用伊斯兰文字题写的“清真寺”字样。1945年7月11日，张杰就任清真寺副教长。
    清真寺落成后，成为在延安的回族群众礼拜和集会的“圣地”。
    1944年3月17日，八路军总政部和延安回民救国协会在清真寺举行追悼大会，隆重悼念同年2月7日在山东莘县病逝的八路军回民支队司令员兼冀鲁豫军区沙河分区司令员马本斋同志。
    1947年，清真寺建筑物遭到国民党部队的毁坏。
    1970年元月，延安革命纪念馆在清理清真寺遗址时，发现了毛泽东题写的“清真寺”刻石。现作为国家一级文物被珍藏于延安革命纪念馆。