我国古代官吏停止办公或中止审理案件的时候，以击鼓表示要从大堂上退回私宅，叫做“打退堂鼓”或“打退鼓”。“禅宗”僧人经常借用这个行政词语，表示公然退却。

    《大慧普觉禅师语录》第22卷之中，记录了宗昊这样一段话：“气力弱者入得佛境界，往往于魔境界打退鼓，不可胜数。”意思是：意志薄弱的人，在成佛的道路上，往往会在魔障面前公然退却。

    《续传灯录》卷15的《洪州泐潭洪英禅师》里面，有这样的记录：“僧问：‘黄龙—曲师亲唱，佛手驴脚略借观。’师曰：‘老僧打退鼓。’”在参禅中，洪英禅师表示认输，公然退却。

    作为一条成语，“打退堂鼓”用来比喻：遇到困难就向后退缩或中途变卦。