土佐藩出身の志士で、薩長同盟の成立に協力するなど明治維新に関与した。
大政奉還の1ヶ月前に近江屋事件で暗殺される。
1853年に江戸遊学中に北辰一刀流創始者千葉周作の弟である千葉定吉の桶町千葉道場で修行する。
現状発見・現存している目録は「北辰一刀流長刀兵法目録」で、免許皆伝を伝授されたかは明確になっていない。

北辰一刀流剣術伊東道場に入門し、道場主に力量を認められて婿養子となる。 その後、同門の藤堂平助の仲介で新選組に加盟し参謀兼文学師範になる。
新選組を離脱後、御陵衛士を結成するが、1867年12月13日油小路の本光寺門前にて、 新選組隊士の数名により暗殺された（油小路事件）。
近藤は北辰一刀流の道場主であった伊東の剣技を警戒したため、妾宅にて酒に酔わせたうえでの暗殺を企んだとされる。

近藤勇らとともに新選組を結成する。当初は副長、後に総長を務めた。
屯所移転問題を巡り近藤や土方歳三と対立を深め、脱走し新選組の隊規に違反したとして切腹したといわれる。
温厚な性格から山南は壬生の女性や子供たちから慕われており、 「親切者は山南・松原」という言葉が明治のはじめ頃まで伝わっていた。
また、隊士からも親しまれていたという。

新選組八番隊組長、のち御陵衛士。
北辰一刀流開祖・千葉周作の門弟となり、北辰一刀流目録（中目録免許とみられる）を十代半ばで取得した。
1867年12月13日夜、油小路で新選組に暗殺された伊東の遺体を奪還するため、 同志7名と共に現場へ向かい待ち伏せていた40名以上の新選組隊士らと死闘の末、12月14日未明に戦死した。

日本の幕末の幕臣、剣術家、明治期の官僚、政治家。剣・禅・書の達人。
家が武芸を重んじる家だったため、幼少から神陰流や北辰一刀流の剣術、樫原流槍術を学ぶ。
浅利義明（中西派一刀流）門下の剣客であり、明治維新後は一刀正伝無刀流（無刀流）の開祖となる。

浪士組を結成し新選組・新徴組への流れを作り、自らも虎尾の会を率いて明治維新の火付け役となった。
弘化4年（1847年）、江戸に出て古学派の塾の同輩に誘われ、北辰一刀流の開祖・千葉周作の玄武館で剣を磨き免許皆伝を許された。

北辰一刀流の千葉栄次郎の道場に入門し、剣術修行の傍ら勤皇志士と交友を結ぶ。
明治政府では造幣、戸籍、出納など様々な政策立案を行い、初代紙幣頭、次いで大蔵省三等官の大蔵少輔事務取扱となる。
退官後は実業界に転じ、現・みずほ銀行や現・東京商工会議所、東京証券取引所といった多種多様な会社や 経済団体の設立・経営に関わった。