1923年二七惨案后，林育南转移到上海，6月，林育南出席了党的三大。同年8月，又出席了中国社会主义青年团第二次全国代表大会，被选为团中央委员。不久，担任《中国青年》的编辑、主编。

　　1925年1月，中国社会主义青年团第三次全国代表大会在上海举行，林育南被选为中央执行委员，继而任团中央书记。期间，他经常出入位于杨树浦的上海恒丰纱厂、新怡和纱厂和老怡和纱厂。其时，党在平凉路韬朋路（今通北路）惟兴里创办了思恩义务平民夜校，林育南经常到夜校和识字班去讲课，在办夜校的基础上，吸收优秀青年入团。

　　1925年5月，上海爆发了震惊中外的“五卅”运动。5月31日上海总工会成立，林育南负责宣传工作。

　　1927年4月，党的“五大”在武汉召开，林育南出席会议并当选为候补中央委员。6月，全总在武汉召开第四次全国劳动大会。林育南被选为全总执行委员、常务委员和秘书长。“八七”会议后，他参加领导湖北的秋收暴动。年底，又回到上海，从事革命工作。

　　1928年1月，林育南担任中共沪东区委书记。在这一时期，沪东地区革命斗争和全国一样，工人运动遭到帝国主义和国民党反动派的残酷镇压，白色恐怖日益严重，再加上党内连续受到“左”的错误的影响，沪东地区革命力量屡受挫折，革命组织迭遭破坏，区委成员由原来的13人骤减到5人，所辖的党支部从原有的20多个，减少到10多个；党员从400-500人，减少到100多人，能够找到的仅50-60人。正是在斗争最艰难时刻，林育南来到沪东区担任领导工作。林育南在委员调动频繁、经费十分困难（经费从300余元减少到60元）的情况下，坚持工作。他机智沉着，为了党的事业，不顾个人安危，深入工人群众，了解工人疾苦，分析工人现状，并调查了沪东地区党组织存在的问题。他针对尚存的十几个基层党支部的实际，提出整顿和改造支部，恢复工会组织，办工人学校，重新组合革命力量，找同志谈话，从思想上加强教育，分派同志的工作。在全面调查了解沪东地区党组织的实情后，他向江苏省委报告了沪东区概况，在报告中提出区委的工作方针是：“要极力纠正区委及同志的旧观念，打破无出路和恐惧的心理，指出新的出路和新的工作方法，一步一步的重新建立新的组织，要以艰苦忍耐的精神，在困难的环境中创立我们的组织和工作。”

　　到1928年5月上旬，在五个月不到的时间里，经过林育南的艰苦细致工作，沪东区的工作得以较快恢复和发展，党的组织重新建立和健全起来。几个重点基层支部的党员队伍也有所恢复和发展。厚生纱厂有党员40人，怡和纱厂也有党员38人。

　　中共沪东区委还注意抓工会工作，3月，首先对厚生纱厂工会进行整顿，采取措施调整工会小组和干部，清查工会经济，重新确定工会的管理规则，开办工人学校。当时厚生纱厂工会在工厂附近的汇山路（今霍山路）租房办了一所惠文小学，党团组织调徐明清和包玉珍担任教师，白天教工人的孩子读书，早晚办成人读书班，教工人识字、学算术，从文化启蒙入手来传播革命真理。学校还成为中共沪东区委的一个活动据点，不仅厚生纱厂工会经常在这里集会，区委也常到学校开会，研究工作。

　　林育南在中共沪东区委工作时间虽短，但在这4个月中，为了党的事业，他呕心沥血、不辞辛劳、身先士卒、勤奋工作，在实际工作中不断纠正“左”的错误，为沪东区党组织的恢复和发展打下了基础，作出了重要贡献。

　　1931年1月17日，林育南等7位同志正在上海三马路222号（今汉口路666号）东方旅社的31号房间开会，研究反对王明“左”倾错误领导问题。由于叛徒出卖不幸被捕，先拘禁于租界老闸捕房，19日被引渡给国民党上海市政府警察局。23日又被移解到龙华淞沪警备司令部看守所。林育南任凭鞭打电触、烟熏火炙，仍坚如钢铁，宁死不屈。他和李求实、何孟雄等利用一切手段，互通消息、互相鼓励，与敌人开展面对面的斗争，充分表现了共产党人崇高的无产阶级革命气节。

　　1931年2月7日深夜，国民党反动派下了毒手，林育南等拖着沉重的铁镣，昂然挺立，视死如归。就义前，他们齐声高唱《国际歌》，高呼“中国共产党万岁”、“打倒国民党反动派”，为了中国人民的解放事业，林育南和他的战友们流尽了最后一滴血。