香港攀岩歷史始於五十年代，當時只有英軍、外籍人士及專業人士參與攀岩活動。在一九五六年一月，香港皇家空軍組成第一支攀山搶救隊，隊長為Tomy Smith。他後來成立本港第一個攀岩組織 (香港攀山會)，是一個軍方組織，會員全為英軍。香港華人最初只有行山（遠足）、露營等活動。
在五十至七十年代初，攀岩活動只有外籍及專業人士(如：律師、醫生、警司和軍部人員等)參與。期時，參與健行、遠足的華人不斷增加，並留意外籍人士在郊野場地進行攀岩活動，因而引發他們開始探索攀岩。
當時香港英國空軍人員D.C. Reeve在本港及英國出版「A Guide to Rock Climbing in Hong Kong」（香港攀石路線指南），此書成為很多攀岩愛好者的入門指引。當時的攀岩地點限於天然岩壁如：飛鵝山、獅子山、畢架山、大老山，港島山頂的布力徑、同樂徑及石澳大頭洲，還有各離島如：東龍島、南丫島、長洲及蒲台島等。只有簡單的器材作輔助，危險性頗高，因此只有少數華人參與。
於七十年代中期的香港政府修訂了「公安條例」，嚴禁非法集會、遊蕩及阻街…等，攀岩人士為免觸犯法例便向社團註冊署申請為社團。本港第一個成功向社團註冊署註冊的華人攀岩組織「嶠孓攀石會」的成立，為香港攀石界起了示範及啟發作用，往後不斷有攀山運動的團體以攀石會名義向社團註冊署註冊，對外推廣攀山及攀岩活動。香港岳峰攀石會於 1976 年成立，於 1978 年正式註冊為非牟利團體(岳峰攀石會其後為攀山總會之創會會員)。
至八十年代，各「攀石會」及「攀山組織」期望組織一個有代表性的總會，參與國際攀山攀岩等活動。經數年之磨合及努力，並得到鍾逸傑爵士、市政總署和康體發展局的協助，在一九八四年二月廿八日正式成立了香港攀山總會（Hong Kong Mountaineering Union）「總會」，並於一九八五年註冊成為香港攀山總會有限公司。「總會」的成立，令香港的攀山運動發展邁向新里程。「總會」其後成為中國香港體育協會暨奧林匹克委員會會員，及後分別加入成為「國際攀山聯盟」U.I.A.A.及「亞洲攀登賽事委員會」A.C.C之地區性會員，確立香港攀山總會為香港攀山組織的代表並成為對外及國際攀山組織的正式聯絡機構。「總會」於一九九九年在香港攀山總會前加上中國兩字，改名為中國香港攀山總會有限公司。
「總會」成立的原意是積極為屬會爭取權益及爭取外界對「總會」教練資格之認可。「總會」亦促進各界加入為屬會、制定各科訓練內容及指引、提供各類訓練班及舉辦攀岩、攀登同樂日等，以普及山藝、攀岩、攀登運動及海外遠征。對外方面，「總會」積極與內地攀山團體合辦國內的攀山遠征活動，又邀請國際教練來港授課：攀登教練、定線員及裁判員等。此外，「總會」亦積極舉辦各項攀登比賽如本地賽事、亞洲區邀請賽及國際賽事等，並且成立集訓隊，培訓本地運動員代表香港參加國際舉辦的各項賽事。
(以上內容是本會主席何老明口述筆錄)