1875年，山县有朋建议设置炮台和发布《废刀令》，进一步剥夺了封建武士的军事特权。可见，他对军制改革的内容是全面而深刻的。这为日本走上军国主义道路、对外推行侵略扩张政策奠定了重要的组织基础。
1874年佐贺发生士族叛乱时，山县有朋被任命为征讨参军，将叛乱迅速平定。1877年2月，日本西南部又发生了大规模的叛乱，叛军达3万多人，对明治政府威胁很大。山县有朋作为征讨参军，亲自制定作战方案，指挥政府军浴血奋战，直至最后胜利。由于山县有朋保卫明治政权有功，同年被授勋一等和旭日大绶章。
设置参谋本部
西南战争后，山县有朋为适应统治阶级对外侵略的需要，又进行了一系列军事改革。1878年12月，在山县有朋的建议下，日本军队设置参谋本部，山县有朋任参谋本部长。参谋本部的设置在日本军制史上是一个划时代的事情，它标志着日本军队开始走向反动。按照规定：参谋本部是直属天皇，不受太政大臣及任何人控制的独立军令机关，并拥有直接向陆军下达命令的权力。这样一来，参谋本部长便可通过陆军省控制政府，从而有恃无恐地推行对外侵略政策。
