北凉灭西凉时，曾将俘获的李暠孙李宝押送到了姑臧，但不久李宝就寻机逃回晋昌，并再西奔伊吾，在那里长住下来，以后前去投奔他的西凉遗族有2000多家。当北凉沮渠无讳撤出敦煌后，李宝就率领着这批人迁回了故土，着手重建敦煌。李宝一面安集百姓，修缮城府，一面派弟弟怀达赴平城入朝北魏，请求内附。太武帝拓跋焘遂拜李宝为沙州牧、敦煌公，又任怀达为散骑常侍、敦煌太守，让他们留居敦煌，直到444年北魏才将李宝召往平城，将敦煌置于自己的直接控制之下。
　　北魏接管敦煌后，很快就在这里设立了军镇，统领酒泉军、张掖军、晋昌戍、乐涫戍等，管辖范围似乎已及西汉时的酒泉郡，因而历史上以敦煌为名的州郡、军镇等行政区划中，要数北魏时敦煌镇的辖地最大。这次设镇对敦煌的影响很大，势力范围的增大尚在其次，最主要的是将河西走廊西端的政治中心又从酒泉移回了敦煌。
　　北魏重视敦煌的原因在于它所处的重要战略地位。北魏平定建都张掖的北凉，标志着中国北方的统一。这个新兴王朝又将敦煌视为经营西域、向西进取的据点，以后成周公万度归两度经由这里西破鄯善、焉耆、龟兹，控制了西域大部分地区，打通了断绝多年的丝绸之路，敦煌的政治地位更加突出，自405年西凉李暠迁都酒泉后，敦煌无力制御西域的形势至此有了极大改观。
　　但是当时在北魏的西北地区存在着一股强大的游牧民族势力柔然，他们不断向西域、河西扩张。太武帝(423～452年在位)统治晚期，北魏在西部地区强于柔然的优势已经动摇，文成帝(452～466年在位)初遂调任熟悉柔然事务，并以骁烈闻名的尉眷镇守敦煌。献文帝(466～471年在位)时柔然更加强盛，控制了敦煌以西、葱岭以东的广大地区。北魏在西域的兵力渐被柔然消灭，敦煌也多次受柔然骚扰。如孝文帝延兴二年(472年)柔然发3万骑兵包围了敦煌，接替尉眷任敦煌镇将的尉多侯率镇兵英勇奋战，才将柔然骑兵击退。不久柔然军队又来偷袭，尉多侯只得再次苦战。至延兴三年、四年时，柔然仍旧不断围困敦煌，虽都被镇将尉多侯、乐洛生打败，但北魏朝廷属官中已有人提出了放弃敦煌，退守凉州的主张。赞同的人非常多，仅韩秀等人反对，指出如果放弃敦煌，北魏王朝的统治将受到威胁。孝文帝支持他们的意见，并采取实际措施，加强敦煌镇的守备，设置都大将，将敦煌镇升级，敦煌终得保全。最早见于文献的敦煌镇都大将是文成帝婿，长乐王秦州刺史穆亮，他在任期间政尚宽简，振恤贫乏，很受百姓的爱戴，对加强敦煌实力起了很大作用。
　　在北魏向敦煌派驻镇都大将的同时，5世纪80年代，柔然的劲敌高车逐渐强大了起来，与北魏呼应，夹击柔然，柔然衰微，进入6世纪以后，敦煌终于安定了下来。
　　孝明帝孝昌年间(525～527年)，北魏罢敦煌镇置瓜州，敦煌变成了瓜州属郡，仅领有敦煌、平康、东乡、效谷、龙勒(正光年间更名为寿昌)、阳关等6县(一说还应当加上鸣沙，共7县)，面积大为缩小，仅及今敦煌一市之地。待至北魏末西魏初时，效谷、寿昌两县又改立为郡，敦煌至多只辖有5县，相当于今敦煌市区及其附近地区，范围更小了。
　　大约与取消军镇同时或稍后，北魏在敦煌的统治开始不稳，只得改派大员前来镇守，这样明元帝的四世孙元荣便从洛阳而来，出任瓜州刺史。在他的治理下，敦煌社会经济逐渐恢复，并有所发展。
　　北魏末年阶级矛盾尖锐，爆发了六镇起义，派往镇压各地起义的高欢、宇文泰两大军事集团也发生分裂，造成东、西魏和以后北齐、北周政权的分立。534年北魏孝武帝西奔长安，次年被控制长安的宇文泰酖杀，宇文泰另立文帝，史称西魏，敦煌转为西魏所有。
　　西魏初期，东阳王元荣以宗室王身份留任瓜州刺史，继续掌领敦煌。纷乱多变的政治局面令元荣更加佞佛，在敦煌地区大兴佛事，施写了几百部佛经，并掀起了继北凉之后莫高窟第二个建窟热潮。
　　宇文泰死后，557年其子字文觉(北周孝闵帝)“受禅”，废魏自立，建立北周，敦煌又转辖于北周。
　　北周对敦煌地区的建置又做了两次变动。先是废阳关县，复效谷、寿昌2郡为县，并入敦煌郡。后又于建德二年(573年)将敦煌、鸣沙、平康、效谷、东乡、龙勒(原寿昌郡)合并为鸣沙县，使北周后期的敦煌郡仅辖有鸣沙一县，辖境基本与北魏中后期的敦煌郡相当，仅及于今敦煌市地。
　　敦煌是宇文王朝的西部重镇。约在并立鸣沙县之前，北周便派建平公于义出任瓜州刺史，于义虔诚信佛，也是莫高窟兴建史上的重要人物，现在研究者们推测莫高窟第428窟就是他开凿的。
　　北周武帝建德三年(574年)宇文邕曾在全国范围内灭佛，这是中国佛教史上著名的法难之一，瓜州大乘寺的几座塔也毁于这一事件中。但因偏居西隅和地方执政者信佛等原因，敦煌的佛窟兴建活动却并未受到多大影响，莫高窟和西千佛洞中至今还保留着许多有精美壁画、塑像的北周洞窟。