19世纪80年代之前,上海居民用水主要取自河道,但随着人口增加,导致河水污浊不清,而且受潮水涨落的限制,水中多含泥沙,即使用明矾澄清,也依然有咸秽之味。为获得洁净的饮用水,一些外侨开始呼吁兴建自来水厂。租界工部局卫生处从黄浦江、苏州河、淀山湖选取12个取水点采集水样,送英国伦敦皇家化学学院进行检验,检验报告表明,12个取水点的水质都优于同期的泰晤士河水。根据这份调查报告,工部局的工程师们拟写了三份方案,其中一个方案就是在杨树浦港附近建设水厂。
1875年,英商格罗姆等四人集资3万两白银,在杨树浦水厂现址南部购地115亩,开办了中国近代第一家自来水供水企业“立德洋行供水公司”,但由于资金关系没有铺设专门的输水管道,因此水价昂贵,一直惨淡经营。1880年,英商麦克·利沃特将之收购,以原有厂址为基础,于次年8月开工扩建,投入巨资建造厂房,安装最新式机器,铺设输水管线,整个工程费时2年。1883年6月,一座现代化的自来水公司全面竣工,翻开了中国近代城市供水史的第一页。1937年,水厂日供水能力达到40万立方米,比1883年的3698立方米增长了108倍,成为远东第一大水厂。