清朝在镇压太平天国运动的时候，因为原有的八旗、绿营都衰败不堪，难当大任，所以只能依靠新兴起的湘军等团练担负重任。满清朝廷通过鸦片战争、镇压各地反清势力等一系列战事，也认识八旗军、绿营军等旧军战斗力丧失，需要在其基础上进行整顿，以编制新的军事力量。

因为看到湘军战斗力强，所以清廷在咸丰年间有了整顿旧军制，重新编制新军的想法。同治四年（1865年），兵部、户部诸臣会议决定首先在天津选练直隶六军，以“简器械、勤训练”口号，始定练军之名。到七十年代，全国各行省陆续设置练军，最后一个省是甘肃，到1883年才设练军。最初练军的兵勇是从原先绿营中抽选精锐，这是各省练军士兵的基本来源。例如，直隶练军就从旧军中抽选了10306人。另外的一个来源是地方团练勇营，改编制为练军士兵。

既然是区别于旧式绿营军，新组建的练军为提高士气，待遇方面相应增加。绿营军1名兵丁饷银每年12两，粮食36斗（450斤），根本不能养家糊口。各省练军步军兵勇基本饷银每月就达到3两，马兵更高，这比原先绿营军高了不少，可以维持一家人生活。各省章程都是取直隶练军为蓝本，其编制仿照湘军，营为基本单位。每步队营设营官1人，哨官4人，哨长5人，什长40人，正兵360人，营官亲兵50人，哨官护兵40人，营官自率中哨，全营共500人。

马队营设营官1人，帮办2人，督队官5人，每哨5棚，每棚什长1人，正兵9人，营官自率中哨，全营包括伙兵、马夫共316人。但是各省条件不一样，每营规模不同。例如，江苏、河南、广东、湖南、湖北、安徽、山西、四川等省马队以250人为一营，而云南练军在中法战争中步队实行220人为一营。在训练方面，练军取法于淮军，采用洋法操练。每营设正教习1名，帮教习4名，这些教习基本上从淮军中调派。训练项目除练习瞄准打靶外，还要修垒浚壕以习劳苦，也要参加练习阵操。

武器装备方面，以创设练军的直隶为规则，拟每营装备洋式劈山炮16门，开花炮4门，抬枪48杆，鸟枪112杆，马枪32杆，其余大刀长矛等184件，合计有300名兵丁操作火器，约占总人数的60%。其他各省大多数效仿直隶规则，也是既有刀矛等冷兵器，又有抬枪、鸟枪等旧式火器，也有洋枪洋炮等近代火器。成立不久后的七十年代，直隶练军开始改装近代枪炮，九十年代又装备新型毛瑟枪和克虏伯大炮，这些武器使直隶练军成为当时清军中装备比较精良的部队。但是放眼全国，因为财政原因，直到甲午战争期间，各地练军还有部分新旧武器混用的情况。

至1898年，全国练军达到36万。与同时存在的绿营相比，练军战斗力无疑要稍高一些，因此练军在各地承担了防守重镇的任务，一旦有战事就派出去作战，在中法战争、甲午战争中练军就被大量派往沿海，担负要地防守。在抗击八国联军战斗中，直隶练军大部分参战，表现出一定的战斗力。1900年6月，八国联军20000多人，以及大批舰艇进攻大沽口。总兵罗荣光率练军3000人马防守，战斗于16日晚上开始，至17日早晨结束，由于众寡悬殊，大沽口失陷，罗荣光英勇牺牲，部下近千人阵亡。但是练军也取得了一定的战果，击沉击伤敌舰艇6艘，毙伤敌军255人。

八国联军进攻京师，练军也参加了保卫战，各省练军也有一些小规模战斗，但是大多数情况都败退，作战能力不高。1907年，练军被新组建的巡防营所取代。当时清廷采取这种换汤不换药的方式编练军队，最终是不会取得好效果。