北周太祖宇文泰为西魏丞相时创建。西魏大统年间(公元535—551年)宇文泰采用苏绰的建议，仿《周礼》六军之制，在都督中外诸军事之下设六个柱国大将军以领兵，每一柱国大将军之下辖两个大将军，每一大将军之下辖两个开府将军，以每个开府将军所统为一军，共二十四军。开府将军的佐官为仪同将军，其下又设大都督、帅都督、都督以分级统领军士。军士另立户籍，与民户有别。北周武帝时宇文护执政，改府兵军士为侍官，不属柱国大将军，而分属于天官府的左右宫伯、夏官府的左右武伯。武帝亲政以后，又置大司武、大司卫， 其下又有左右司武、左右司卫。司武与司卫的职责略有不同，使其互相制约，以加强皇帝对军队的控制。宣帝时又有武候府之设，《续高僧传》卷十九《释法藏传》记乙娄谦在大象元年(公元579年)为武候府次大夫。这些名号逐渐演变为隋十六卫府的左右监门卫、左右武卫、左右卫及左右武候卫等。隋初确定府兵军府名称为骠骑府，以骠骑将军为长官，车骑将军一般为车骑将军的副职，不另设府，有时也设立与骠骑府平行的车骑府。各府分隶十二卫，军人称“卫士”，其户籍改属州县。大业三年(公元607年)改骠骑府为鹰扬府，骠骑将军改称鹰扬郎将，车骑将军称为鹰扬副郎将。唐初改鹰扬郎将、鹰扬副郎将为军头、府副。为了以名位笼络将领，旋又改军头为骠骑将军，府副为车骑将军。武德六年(公元623年)以天下已定，又贬骠骑将军为统军， 车骑将军为别将。太宗时对府兵组织与名号重加厘定：贞观十年(公元636年)改统军为折冲都尉，别将为果毅都尉，其地位低于刺史。诸军府总名折冲府，主要分布在京师附近的关内、河东、河南等道，以所在地区的地名定具体的折冲府名。如京兆府云阳县有甘泉山，为汉甘泉宫所在，该地所设折冲府即名甘泉府;长安城内的永乐坊也设有折冲府，就名为永乐府。甘泉府、永乐府则是各地方折冲府的专称和简称。诸道折冲府是府兵的基层单位，分上中下三等，上府一千二百人，中府一千人，下府八百人。折冲府除以折冲都尉与左右果毅都尉各一人为正副长官之外，还有长史、兵曹、别将各一人，校尉六人。兵士以三百人为团，团有校尉;百人为旅，旅有旅帅;五十人为队，队有队正， 十人为火， 火有火长。府兵服兵役的年龄是， 二十岁入军，六十岁免役。平日务农，农隙教练，征发时自备兵器资粮。据《新唐书·兵志》记载，府兵所带之物有“弓一，矢三十，胡禄(箭囊)、横刀、砺石、大觽(音希，古代解结的用具)、毡帽、毡装，行滕皆一、麦饭九斗，米二升。”府兵主要的任务是宿卫，其次才是征战。调往京师宿卫，按路途远近分番轮流，叫做“番上”。各地折冲府分隶于十二卫与东宫六率，其隶属关系如下：左右卫，领武成、武安等五十府，府兵名号为“骁骑卫士”;左右骁卫领永固等四十九府，府兵名号为“豹骑卫士”;左右武卫领凤亭等四十九府， 府兵名号为“熊渠卫士”;左右威卫领宜阳等五十府，府兵名号为“羽林卫士”;左右领军卫领万敌、万年等六十府，府兵名号为“射声卫士”，左右金吾卫领同轨、宝图等五十府，府兵名号为“佽飞卫士”。以上为十二卫所属(十六卫中左右监门卫、左右千牛卫不领府兵)。东宫六率所属为左右卫率领广济等五府，府兵名号为“超乘卫士”;左右司御率， 领郊城等三府， 府兵名号为“旅贲卫士”;左右清道率，领绛邑等三府，府兵名号为“直荡卫士”。玄宗时，由于府兵制赖以存在的经济基础——均田制的破坏，农民大量逃亡，富户规避兵役，每年简阅训练的制度也不能执行，至开元六年(公元718年)不得不命折冲府兵每六年一简，拆冲府渐至无兵可交。于是卫士改用招募，兵器资粮由政府拨给。天宝八载(公元749年)停止折冲府上下鱼书，府兵的上番和发兵活动就完全停止。折冲府的活动停止以后，折冲府的机构、官吏、兵额，在名义上、形式上还保留了相当长的时期，其目的则是利用府兵的军职，作为军将升转的一种依据。府兵制是西魏至隋唐兵制的一个组成部分，并非是此时期唯一的兵制。在府兵制存在的同时，就有招募的禁卫军;西魏以来，州郡兵也一直不曾削弱;唐代在地方又有都督府所领之兵、镇戍兵，在边疆地区更有军、守捉等的设置，都是用的募兵。又有临时招募的兵，如隋的骁果、唐的猛士等。