特别是在中唐以后，均田制遭到破坏，府兵制土崩瓦解，卫府丧失战斗力，仅能充为仪饰之用。

杜睿从根本上主动瓦解了这种已经不能满足于当下现实情况的兵制，并且将原先拱卫长安的八支禁军全部重新打乱，重组，演变成了现在的北衙禁军和南衙禁军。

其中北衙禁军指的是屯驻于宫城以北，以保卫皇帝和皇家为主要职责的皇帝私兵，与国家军队南衙禁军相对。

其中左右羽林军，定额为一万两千人，设左右羽林大将军各一人，为段轨，张旭统领。下设统军一人，将军三人。左右羽林大将军府属官有长史、录事参军事，仓、兵、胄曹参军事，司阶、中候、司戈、执戟，长上、录事、史、亭长、掌固等。

左右龙武军，定额为一万两千人，设左右龙武大将军各一人，为李业诩，李业嗣统领。

下设统军一人，将军三人。左右龙武大将军府属官有长史、录事参军事，仓、兵、胄曹参军事，司阶、中候、司戈、执戟，长上、录事、史、亭长、掌固等。

左右神武军，亦称神武天骑，定额为一万两千人，设左右神武大将军各一人，为屈突寿，屈突诠统领。下设统军一人，将军三人。左右神武大将军府属官有长史、录事参军事，仓、兵、胄曹参军事，司阶、中候、司戈、执戟，长上、录事、史、亭长、掌固等。

左右神威军定额为一万两千人，设左右神威大将军各一人，为杜睿的弟子邱远恕，章贤诚统领。下设统军一人，将军三人。左右神武大将军府属官有长史、录事参军事，仓、兵、胄曹参军事，司阶、中候、司戈、执戟，长上、录事、史、亭长、掌固等。

左右神策军，定额为五万人，设左右神策大将军各一人，为尉迟宝庆，尉迟宝林统领。下设统军一人，将军三人。左右神策大将军府属官有长史、录事参军事，仓、兵、胄曹参军事，司阶、中候、司戈、执戟，长上、录事、史、亭长、掌固等。

左右神策军人数最众，自然也就成了拱卫长安的重要军事力量。

历史上的神策军是唐代后期主要的禁军，神策军原为西北的一支戍边军队，唐玄宗时哥舒翰击败吐蕃，在天宝十三载置神策军于洮州磨环川，以成如璆为军使，统兵戍边，防遏吐蕃。安史之乱起，成如璆军将卫伯玉率千余人赴中原参战。参加了乾元二年攻围安庆绪之战。

九节度兵败邺城后，卫伯玉与宦官观军容使鱼朝恩退守陕州，防备安史。这时神策军故地已被吐蕃占领，卫伯玉所统之军仍沿用神策军的名号，卫伯玉为兵马使。

后卫伯玉入朝，此军归陕州节度使郭英乂，郭英乂入朝，神策军遂属鱼朝恩。在这期间，鱼朝恩把陕州节度使所辖军队并入神策军，使其扩大为万人以上的大军。

广德元年，吐蕃进犯长安，禁军溃败，代宗奔陕州，鱼朝恩率此军护卫代宗，京师克平之后，鱼朝恩便率神策军归于禁中。

永泰元年，吐蕃军队再次进攻关中，神策军于是屯苑中，分为左、右厢，正式成为天子禁军。

大历五年鱼朝恩因获罪被处死，以后十几年均以本军将领为兵马使统率之。建中四年，德宗以司衣卿白志贞为使，却遇到所谓“泾卒之变”，德宗出奔。