杨效椿是新四军老战士，他1937年参加革命，刚开始是在延安学习，1938年被派到大别山工作，担任过新四军江北纵队某营教导员。从1943年到1945年三年时间，他和敌人作战数百次，使部队由最初的一百余人发展到一千余人，打出了新四军的威风。敌人每提起他的名字就异常恐惧，并大骂他"老羊头"。

1951年，杨效椿任安徽巢湖地委书记兼军分区政委，当时，省军区批准为巢湖军分区每位领导做件皮大衣，后勤部派人为他量尺寸，他给军分区副政委徐速之打电话说:"领导为我做大衣是对我的关怀，但我不能要，因为我是兼职。"徐副政委说:"这是库房现有的材料，不花钱。"但杨效椿坚决不要。1957年，他到皖南一个县检查工作，途中汽车抛锚，司机修车时他发现工具箱放着新茶叶，问司机哪里来的，司机说新买的。他当即沉着脸说:"茶叶是国家统购物资，如果都这样做，国家的统购任务咋完成?"他一直站在路边，眼看着司机把茶叶送回。

杨效椿的侄儿和侄媳一个在南开大学工作，一个在山西，想请他解决夫妻两地分居问题，他却说:"这是组织部门的事，我们不能利用职权和关系搞特殊。"他经常教育子女说:"姓公的东西，个人无权使用。"因此，他的子女从来没想沾公家的便宜，也不敢向他提非分之事。一次，女儿分娩，以为这是特殊情况，想用他的车送医院。他说:"贫下中农的子女生孩子用小车吗?这车是用于工作的，你们以后谁也别想打这个主意。"他让家人找了辆平板车，把女儿送到医院。

1958年，他被错打成右派，老百姓就在街上喊道;"杨效椿要是右派，世界上就没好人了!"为他鸣不平。1962年，他的右派问题得到彻底平反，他将补发的工资全部上交了党费。他经常带病下乡工作。有一次，他外出检查工作，车陷在泥坑，群众见是当官的车，没人肯上前帮助。这时，杨效椿胃病又犯，趴在车中呻吟。司机急得满头大汗，他的秘书忽然想起他在群众中的威信，高声喊了句:"这是杨效椿的车呀!"老百姓闻听他的大名，知道他是清官，就主动上前把车拖出。文化大革命开始后，他被打成走资派，押在江淮旅馆西楼，由解放军战士看管。一天，一伙造反派闯开解放军岗哨，一个头头一脚踢开他的房门，计划揪斗他。进屋后见他衣着朴素，身体清瘦，正气凛然，铁骨铮铮，只好愣了半天，不知道该说什么，扭身就走。别人问他揪斗的杨效椿在哪里，他说:"那人是清官，不能斗，批判那人良心上过不去!"