1875年,山县有朋建议设置炮台和发布《废刀令》,进一步剥夺了封建武士的军事特权。可见,他对军制改革的内容是全面而深刻的。这为日本走上军国主义道路、对外推行侵略扩张政策奠定了重要的组织基础。
1874年佐贺发生士族叛乱时,山县有朋被任命为征讨参军,将叛乱迅速平定。1877年2月,日本西南部又发生了大规模的叛乱,叛军达3万多人,对明治政府威胁很大。山县有朋作为征讨参军,亲自制定作战方案,指挥政府军浴血奋战,直至最后胜利。由于山县有朋保卫明治政权有功,同年被授勋一等和旭日大绶章。
设置参谋本部
西南战争后,山县有朋为适应统治阶级对外侵略的需要,又进行了一系列军事改革。1878年12月,在山县有朋的建议下,日本军队设置参谋本部,山县有朋任参谋本部长。参谋本部的设置在日本军制史上是一个划时代的事情,它标志着日本军队开始走向反动。按照规定:参谋本部是直属天皇,不受太政大臣及任何人控制的独立军令机关,并拥有直接向陆军下达命令的权力。这样一来,参谋本部长便可通过陆军省控制政府,从而有恃无恐地推行对外侵略政策。