杨于1907年出生在四川省的一个中产阶级家庭。第一次世界大战以后，他受到1919年五四运动引发的新文化运动的影响，加入了一个社会主义青年小组，并到法国学习。1925年，他参加了共产主义青年团，次年又成为中国共产党党员。1925年以后，他在四川省和上海参加了学生和工人运动。
　　1927年至1931年，他在莫斯科孙中山大学学习，并和王明一起，作为“28个布尔什维克”成员之一，回到了中国。“28个布尔什维克”是一群一贯支持斯大林的中国学生。当时斯大林正和托洛斯基、季诺维也夫和布哈林进行权力斗争。“28个布尔什维克”也是佩维尔·米夫的门生。当时，佩维尔·米夫年仅27岁，担任中山大学校长。1927年以后，他还担任共产国际远东小组组长。在共产国际的支持下，“28个布尔什维克”对多数俄国留学生施加了影响。
　　在三十年代，杨是红军的高级军官，也是江西苏维埃政府的政治领导人物。从1934年至1935年，他参加了长征。在途经云南时，在国民党的一次空袭中，他的腿部被弹片炸伤。1988年，索里兹伯里对这件事作了以下的描述：
　　国民党军队的空军象一群铁蚊跟随在红军的周围。红军部队每天都遭受伤亡。第三军团还没有进入云南边境(当时在离遵义县白水镇约5英里的平坦开阔地设立了司令部)，一小队国民党军队的飞机就飞临上空。可供隐蔽的地方只有一小簇树丛。第三军团政治委员杨尚昆和翻译伍修权正骑着马行军。伍骑的是一匹大白马，其他人骑的是枣红色马或者黑色马。白马衬着红土壤目标明显，飞机一发现目标就投掷炸弹。杨尚昆的小腿就被弹片炸伤。他老埋怨伍骑的那匹马，差堪告慰的是这匹马也给炸死了。伍却安然无恙。杨有几天不得不由担架抬着行军。但是，由于道路崎岖，当他快到金沙江时，他就不得不下来步行。他一共中了三块弹片，在1985年时，还有一块弹片仍留在他的腿部。
　　1937年，杨担任中共中央北方局书记。1945年以后，他担任共产党中央军事委员会秘书长。1949年以后，他又成为共产党中央委员会办公厅主任和中央书记处后补书记。
　　1966年12月，杨将军和其他高级共产党干部被一群红卫兵暴徒拉到北京工人体育馆批判，并用“坐喷气式飞机”方式对他加以虐待，强迫他坦白交待——所谓“坐喷气式飞机”就是用绳索捆住胳膊大腿，然后猛拉绳索，把人直起，头往后仰。索里兹伯里对杨的这段经历又作了以下的描述：
　　杨尚昆将军与别人相比有很大不同，他比其他任何参加过长征的指挥员在监狱中度过的时间更长。在林彪宣布说，经过“调查”发现杨在搞“地下”活动后，他就遭到逮捕。所谓“地下”活动的含义就是杨尚昆和包括罗瑞卿和彭真在内的其他一些人，正准备对毛发动一次政变。林彪还庄严地宣称，为此“毛主席有好几天睡不好觉”。
　　杨将军在1966年7月被逮捕，直到1978年12月前他还在关押之中。他被谴责为“黑将军”，并在几万名红卫兵参加的群众斗争大会上坐“喷气式飞机”。他被指控长期充当俄国人的间谍；由于他在延安和战时的美国使团结下了友谊，他也同时被指控为美国的特务。或许更加严重的是，根据私下传说，他曾经对毛泽东进行窃听。杨将军自己从未谈起“坐喷气式飞机”和受到折磨的事。他说他把这些事情只当作是一种“强迫休息”。他的妻子李伯钊，身材小巧，才华出众，曾被强迫在一座六层楼里跪着用双手清扫厕所，结果损伤了她的腰部和腿部。杨和他的妻子有九年时间彼此失去联系。1985年4月，李伯钊因患心脏病去世。
　　1978年，杨恢复了工作。他先后担任共产党广东省委第二书记，广州市委第一书记。1980年，他被选举为全国人民代表大会常务委员会副委员长和秘书长。1981年，他被任命为共产党中央军事委员会秘书长。1982年，他被提名担任军事委员会常务副主席。
　　杨作为一名老革命和军队的高级领导人，对中国人民解放军的改革一直具有关键性的作用。这一改革包括把军队的人数裁减一百万人，缩减军事预算和整顿军队的建制。在1988年4月举行的第七届全国人民代表大会第一次会议上，他被提名担任中华人民共和国主席。