地下军初步组织起来后，首要问题是尽快从敌人手里夺取武器，武装自己。同兴纱厂党支部书记徐国仁听说日本人在清花间的地弄里藏有枪支，决定亲自去探个虚实。1945年4月21日，他乘黑夜进了地弄，发现那里藏有7支“三八”式步枪，1挺捷克式轻机枪，还有数十发子弹和两把刺刀。党组织研究决定设法取出。经过周密布置，徐国仁在大康、裕丰纱厂八、九人组成的地下军小分队接应下，将这批武器偷偷取出，先埋藏在一个工人家的祖坟里。后来，这批武器被秘密运往新四军。

　　地下军从日商武田药厂（现宁武路226号）地下党员那里得知，该厂名义上是药厂，实际上是在制造军用燃烧弹。党组织要地下军设法夺取一部分来支援新四军。经过侦察，了解到该厂晚间只有日本大班一家住在楼上，楼下有两名印度人看门。经过缜密策划，1945年8月初的一天晚上，4名地下军战士趁着夜色，骑自行车来到弹药库房，由两名队员在周围警戒，两名队员敲开了大门，警告印度门卫：“我们是××部队的，要买4箱燃烧弹派急用场。”印度人一见慌了手脚，结结巴巴地说：“这个不卖，大班就在楼上。”地下军分队长张志洪便亮出了手枪和手铐说：“今天不卖也得卖，日本人已经完蛋，识相点。”最后两个印度人只得乖乖地提出了4箱燃烧弹（计320枚）。四人兵不血刃，把4箱燃烧弹绑在自行车上，很快消失在夜幕中，胜利地完成了任务。后来，这批燃烧弹很快被运到了青浦新四军淞沪支队。

　　还有一次，2名地下军战士骑自行车化装出动，先后从驻守在平凉路桥等处的伪警察手中缴获了两支枪，用以来武装自己。

　　地下军的另一个任务，就是打击日伪汉奸，开展政治攻势，警告工贼走狗，不要为虎作伥。

　　沪东一些纱厂的工人地下军还为新四军进上海做了大量的准备工作，包括侦察敌情，熟悉本地区的地形等。还在抗战胜利前夕及抗战胜利的时刻，秘密张贴和散发了大量标语、传单。

　　后来，由于形势发生了变化，蒋介石在美国的支持下，垄断了中国战区日军受降的权力，还勾结伪军阻止八路军、新四军接受日伪的缴械投降和进军京沪等大城市。1945年8月21日，中共中央下达了停止起义的电令，上海地下党工委于同年9月及时结束了工人地下军的活动。