天保元年（1830）6月18日、山手佐古高行の次男として生まれる。 　通称源左衛門と称する。幼年のころより学問を好み、武技に長じ、資性豪気にして胆力あり。嘉永6年（1853）6月、米艦浦賀に来航、通商条約を迫った為、物情騒然となったが、この時高郷は同郷の野崎主計・上平主税・丸田藤左衛門等と共に主唱者となり、郷の壮年1,000人を集め、武器を調達しこれを訓練、国家の役に立てたいと計画、上平等を総代として五條代官へ建白書を提出した。しかしこのことは当時の混乱した国情から、実現には至らなかった。世は幕府の弱体化に伴い、尊王倒幕論沸騰、かかる中、安政元年（1854）丹波亀山の藩士長沢俊平来り、わが郷士と大いに国事を語る。高郷また俊平と交わりを結ぶ。安政5年（1858）若狭小浜藩士梅田雲浜来郷、郷土を集めて大義を論じ名分を説く。高郷雲浜の説くところに感奮、これより同志と共に京に上り、諸国の志士と交わり密に時期の到来を待つ。文久3年（1863）4月、郷中同志と共に赤心建白書を中川宮に上書、5月学習所に上書し十津川郷士の往古の如く朝廷に奉仕したき旨請願した。結果6月に至り朝廷より「祖先の意志相続忠勤を励むべし」との御沙汰を拝した。この恩命を拝受し、高郷等感激、京より帰郷の途次、千葉清宗と書面をもってこのことを五條代官に伝え、帰りて人数200名を募り日程を定め出発させ、自らも京師に上り御守衛に従う。 　慶応3年（1867）王政復古の大号令を前に、紀州及び付近諸藩の動きを封ずる為、鷲尾侍従が勅命を奉じて高野山に兵を挙げた。これを高野山義挙といい、郷人650余名が参加するが、高郷は軍監としてこれに従う。 　この義挙は直接戦闘には至らなかったが、親藩紀州を牽制、鳥羽伏見の戦いに紀州が一歩も動くことの出来なかった効果は大なるものがあった。事止みて侍従は部下を率いて帰京するに際し、高郷・丸田藤左衛門等に兵100余名を付して高野山を守らしめた。程なくして京に帰るが、明治3年（1870）病となり帰郷する。 　この年12月、積年王事勤労につき金200両を賜う。 　明治16年（1883）7月14日、ひたすら国事に奔走した53歳の生涯を閉じた。