早在2000多年前的战国时期，上海还是一个偏僻的小地方，属于越国管辖。楚国灭亡越国后，上海又成了楚国贵族黄歇的封地。
黄歇，封号春申君，据说他开凿了黄浦江，故黄浦江又称“歇浦”、“春申浦”、“春江”，后世便以“申”为上海的别称。老城隍庙里曾经立有春申君黄歇的塑像。
唐朝时，上海是华亭县所辖的一个偏僻荒凉的小地方。到了宋代，人们在这里建立市镇，该镇的治所附近有一条名叫上海浦的吴淞江的支流，于是人们就把该镇叫做上海镇。元朝至元二十九年（1292年），又设立了上海县。鸦片战争后，世界列强迫使清政府辟上海为通商口岸，上海得到了畸形的发展。
1928年，上海特别市成立，1930年又改为上海市，这个名称一直沿用至今。
古代上海当地人曾用一种叫“扈”（现在叫“簖”）的捕鱼工具在江海里捕鱼，因此，吴淞江下游又被人们称为“扈渎”。“扈”字后来衍变为“沪”，所以上海市也被称为“沪”。
