李陞，又名李璿，號玉衡，原籍廣東新會。他出生於一個富裕家庭，祖父李達聰曾以巨資襄辦善舉，獲清廷表彰。1857 年，李陞跟隨大哥李良來港，在西營盤購置土地，興建碼頭、倉庫，開設銀號。憑著轉賣土地和房產，李氏兄弟賺取了豐厚利潤。
1864 年，李良去世，李陞成為家族裡的領袖。1890 年，他興建高陞戲院 (皇后大道西 117 號，1973 年拆卸)，且參與港府填海計劃，開始大規模進軍房地產市場，建成李陞街和高陞街 (因這條街位於高陞戲院後面，故名曰高陞街) 等，擔任「置地」(由遮打爵士創辦) 股東兼董事。另外，他協助創辦東華醫院及育才書社。
直至 1881 年為止，李的納稅總額遠超所有洋商，乃全港之首。他逝世時，港府向其後人徵收接近 600 萬元遺產稅，相當於 1895 年財政盈餘 (189 萬) 的三倍有多。
西營盤有不少售賣海味和藥材的店鋪。自皇后大道西一直向山上發展，劃出第一街、第二街、第三街和高街 (原稱第四街，華人忌諱「四」字，港府決定順應民意，將街名改為高街，示意街道所處位置較高)，兩邊則以東邊街和西邊街為界，而正街則為這個區域的中心點，形成一個「目」字形的街道規劃。
西營盤賽馬會分科診所，前身為國家醫院 (Government Civic Hospital)，1874 年創立，是香港第一所非軍用、公立、以西方醫學方法替病人治病的醫院。瑪麗醫院落成前，它一直是香港大學教學醫院。創立輔仁文社的楊衢雲，於此處失救不治 (遭清廷買兇射殺)；跟孫中山先生並稱的黃興，在此處治療養傷 (黃花崗之役後)。由此可以約略窺見舊時港中兩地唇齒相依。
鑒於香港缺乏醫療人才，普遍華人醫學常識貧乏，英國政府決定以優厚福利作招徠，從國內及其屬地延攬外藉醫療人員到港，1892 年在高街盡頭興建宿舍，供醫療人員居住。可惜二戰期間，宿舍一度被日軍用作刑場。戰後復被改作精神病院。建築物帶著陰森可怖，提供創作靈感催生靈異傳聞，「高街鬼屋」傳說因而出現。
1894 年香港發生鼠疫，港府在西邊街興建西約華人公立醫局 (1909 年啟用)，專門照顧鼠疫病者。名校如英皇書院、聖士提反書院等，建校之初亦座落西營盤。
補充一點，西營盤風月事業也十分昌盛，染上性病的海員或妓女，往往到國家醫院求診。醫院同時為妓女提供定期驗身服務，遏止性病傳播，有「性病醫院」之稱。
