在上世纪二三十年代、由上海特别市政府实施的“大上海计划”中，上海市图书馆和上海市博物馆在设计、施工方面都同期进行，不但两者的设计师均为市中心区域建设委员会主任建筑师董大酉及助理建筑师王华彬，承建方也都是张裕泰营造公司。1934年9月，图书馆和博物馆工程启动，翌年9月同时竣工，建成后两幢建筑遥遥相对，外观风格也十分相似，堪称“姐妹楼”。

    图书馆大楼位于江湾市中心区的府前右路（今恒仁路）与府南右路（今黑山路）之间，坐西朝东，平面呈“工”字形，占地1620平方米，建筑面积3470平方米。其建筑式样糅合了中国传统建筑与现代建筑的特色。

    博物馆大楼位于府东外路（今长海路）南端，坐东向西，占地1900平方米，建筑面积3400平方米，其建筑样式大致与图书馆相仿，“惟门楼梁柱外露，并于左右两翼突出部分之前，各设喷水池，以资点缀”。

    1936年5月1日，图书馆正式成立，同年9月试行开放。博物馆则于1937年1月对外试行开放。

    在博物馆筹备布展期间，1936年4月，中国建筑展览会率先在博物馆大楼举行，这是中国最早的建筑展览会，来自全国各地的1500多件建筑图样、照片、模型集体亮相。8天的展期里，参观者十分踊跃，北平（今北京）、天津、南京、苏州、杭州等地都有团体专程前来参观。

    1937年7月，在庆祝上海特别市建市十周年之际，市政府还利用图书馆和博物馆的场地，分别举办了市政展览会和地方文献展览会。可惜不久后在“八一三”战火蹂躏之下，博物馆仅剩一副外壳还算完整，所幸重要文物已被转移到租界内的震旦大学寄存，其余均毁于战火。

    如今，博物馆大楼已成为长海医院的影像楼。而图书馆大楼则经修缮改造将变身为杨浦区图书馆新馆，再现杨浦“百年市政”荣光。