“色”“身”是佛家语。“色”，指有形、色、相的一切物，就是指物质。“身”，就是指有形血肉之身；自四大(地、水、火、风)、五尘(色、声、香、味、触)等色法而成，故称色身，就是代表一切物质条件。慧能曾经比喻说：“色身是舍宅，不可言归”、“皮肉是色身，色身是舍宅，不言归依也”，就是将“色”、“身”比喻为舍弃的宅子，心性的累赘。

    至于如何对待这种“舍宅”，慧能的建议就是要皈依佛之觉性，自心的觉性。难以舍弃色身的原因就是各种贪念，人类三大基本烦恼的第一条就是贪。贪爱五蕴和合之肉体，贪爱世人生存所依赖的种种物质条件，有的是指众生本身，有的是指众生生存所需的物质条件。慧能认为世人所贪的两大基本对象是财和色。财是财富，色，依中国传统的说法，指女色。慧能是在这一意义上使用此概念。消除财色等烦恼，必须“少欲知足”，而不是完全的禁欲。这也结合了中国传统思想的因素，比如儒教提倡的亲情等欲望需要维护。