童軍活動早於1909年，由一些英國商人和軍人介紹到香港。第一個在香港組成的旅團 - 香港第1旅，是於1913年9月在位於香港島的聖若瑟書院成立的。由於當時香港童子軍總會尚未成立，本港的童軍單位都隸屬英國童子軍總會。

香港童子軍總會於1915年組成。成立初期，總會主力負責統籌童軍訓練與活動事務，在行政管理上並沒有區域的劃分。第一次世界大戰結束後，童軍運動在香港再度活躍起來，新旅團如當時的香港第7旅【英皇書院，即現時港島第5旅】、香港第10旅【聖保羅書院】、香港第12旅【皇仁書院】及香港第15旅【華仁書院】等亦相繼誕生。

香港童軍運動的分區管理制度設立，要追溯至1951年。為免將童軍活動過份集中在中央，總會決定接納專責英聯邦國家及地區童子軍運動的巡迴總監杜爾先生的建議，正式將香港劃分成3個童軍區 － 香港區、九龍區及新界區。當時的香港區其實是港島地域的前身，而黃康偉先生獲委任為香港區第一位區總監。

50年代，香港區的童軍運動發展蓬勃，新旅團不斷成立。為配合發展，香港區於1952年擴展為域多利亞區（其後改稱維多利亞區）和黃泥涌區，兩區的區總監分別為余子洲先生和黃康偉先生。

1958年，總會把管理範圍的名稱改為地方，成立了港島地方、九龍地方及新界地方。謝炳奎先生獲委任為第一位港島地方總監。港島地方於1967年改稱為港島地域，而地域再劃分為太平山地方和畢架山地方。太平山地方包括由維多利亞區劃分出來的維多利亞城區、西區及長洲區；畢架山地方則包括由黃泥涌區分拆出來的東區、北區及筲箕灣區。不久，總會取消了地方架構，所有童軍區由地域直接管轄。

此後，隨著童軍運動在港島地域的迅速發展和人口分佈，地域內童軍區域的規劃曾先後作出數次更改。1973年，長洲區改稱為離島區，並轉為隸屬於新界地域。同年，東區劃分成東區和銅鑼灣區。1983年，西區和筲箕灣區分別劃分部份地方成為南區。由東區擴展而成的銅鑼灣區，於1996年再度與東區合併為灣仔區。1999年，柴灣區正式成立。時至今日，港島地域共有7個轄下區會。

1954年，香港童子軍總會由花園道摩士小屋遷往九龍覺士道摩士大廈，摩士小屋於是成為香港區的童軍總部。港島地方成立初期，其總部同樣設於摩士小屋，直到1978年才搬到新落成位於愛群道的鄧肇堅大廈。

2010年，鄧肇堅大廈完成歷史任務，拆卸後，原址將重建成新童軍總會訓練場所及港島地域總部。重建期間，港島地域臨時總部暫遷入香港童軍中心11樓1111室及柴灣青年廣場8樓，繼續為轄下各區各童軍單位提供全力支援及服務。

總會於2014年得到政府撥款資助重建灣仔愛群道鄧肇堅大廈為一座樓高20層的多用途大廈，並命名為「香港童軍百周年紀念大樓」。 總會會長馬道立首席法官於同年11月22日主持動土禮，改建工程於四年後（2018年）年底完成，各單位於2019年初陸續遷入。 港島地域獲編配17至19樓三層為地域總部，於2019年3月27日遷入，並由4月1日起正式運作。