1921年进长沙市第一纱厂做工。1923年加入中国社会主义青年团,1925年1月转为中国共产党党员。同年4月,随同由苏联归来的同乡吴芳一起离开湖南来上海。
到沪后,张维桢随即投入“五卅”运动,任上海总工会第四办事处秘书主任。8月,上海纱厂总工会在沪东区的东华纱厂召开成立大会,他任纱厂总工会秘书长。
1926年9月起任中共杨树浦(沪东)部委职工委员;10月又任杨树浦工会联合会委员长,工作重点放在杨树浦的几大纱厂,曾兼任老怡和纱厂党支部书记和恒丰纱厂的工会组织员,成功领导了新老怡和纱厂和恒丰纱厂的几次罢工斗争。
1927年3月,上海工人第三次武装起义前,周恩来到杨树浦部委开会,要求部委找当过兵的人训练工人纠察队。张维桢在老怡和纱厂找到了孙长胜,后在人寿里过街楼训练杨树浦工人纠察队打枪,在武装起义中发挥了作用。
上海工人第三次武装起义胜利后,上海总工会公开后,健全组织机构,张维桢任纺织业总工会委员长。后又任中共南市区部委书记和上海总工会法南区特派员,中共江苏省委委员、常委。8月,江苏省委调张维桢回沪东区担任区委委员兼上海总工会特派员。在白色恐怖下带领群众坚持地下革命斗争。
1928年2月,因叛徒出卖,张维桢在沪东区被捕入狱,在狱中他坚贞不屈,英勇斗争。经组织营救,于1933年12月出狱。
1934年7月,张维桢任上海纱厂总工会主任。1936年2月任日本纱厂工作委员会主任,率先在日本纱厂工人中成立日本纱厂工人救国会。同年11月,参与领导沪东、沪西等日本纱厂4万余工人开展反日大罢工取得胜利。1937年6月赴延安。
1938年后,张维桢历任中共郑州中心县委书记、中共河南省委书记等职。1948年起先后任东北总工会副主席、主席,东北人民政府委员兼劳动部长,中华全国总工会常委兼私营企业工作委员会主任。1954年赴北京,先后担任中国轻工业工会主席、中华全国总工会党组成员、书记处书记等职。1982年任中共中央顾问委员会委员。
1993年3月21日在北京逝世。