禧太后从西安回銮的时候，冯玉祥还作为仪仗兵在保定亲眼见过慈禧太后（心里很不爽）。在袁世凯的军队中，冯玉祥逐渐由副目、正目、哨长、队官等一路升迁上去，并在清末的时候做上第二十镇的营管带。

    武昌起义后，潜伏在第二十镇（驻扎滦州）的革命党也蠢蠢欲动，当时的骨干便有营管带王金铭、施从云、冯玉祥及其张树声、张之江、鹿钟麟、李鸣钟、龚柏龄、商震、刘骥等同袍或部属，就连镇统制张绍曾也是倾向革命的，由此也引发了后来的“滦州兵谏”。

    可惜的是，由于张绍曾举棋不定，自请辞职，“滦州兵谏”最终以王金铭、施从云等十四名革命党被杀而告终。冯玉祥等参与者还算幸运，只是被解除军职并押送回籍了事。无巧不成书的是，军法处的人押送冯玉祥路过北京的时候，正好偶遇了曾经的老上级陆建章。

    原来，赋闲三年的袁世凯在复出后，对之前编练的北洋军已无绝对掌控之信心，所以要组建一支忠于自己的嫡系军（后来的事实也证明袁世凯的判断是正确的），这就是之后的五路备补军。当时陆建章被袁世凯从广东潮州镇守使调回来担任左路备补军统领，他对当年冯玉祥带兵的印象不错，而他这里又急缺优秀的中下级军官，于是当即决定让冯玉祥留下来帮忙。

    由此，冯玉祥便留在陆建章的左路备补军中担任营长，随后又升为团长。在民国初年“剿白狼”中，冯玉祥被提升为旅长，并随陆建章入陕。袁世凯称帝后，冯玉祥的第十六混成旅奉命开进四川与护国军作战，但未及半年，袁世凯便因病去世，护国战争不了了之。

    而在这时，忠于袁世凯的陕西督军陆建章也被皖系军阀陈树藩驱逐，冯玉祥失去了靠山，也无法回陕西，只能由陆军部指定回廊坊一带驻扎，第十六混成旅也险些被解散。所幸的是，后来张勋闹复辟，段祺瑞组织讨逆军，实际上他并没有基本部队，因而第十六混成旅正好派上用场，老段也由此对冯玉祥另眼相看。

    但是，冯玉祥终究不是段祺瑞的嫡系，后来广东护法军攻入福建时，第十六混成旅奉命前去支援，但部队到了南京后，江苏督军李纯奉总统冯国璋之命（冯国璋反对段祺瑞的“武力统一”政策）将之留下，直到段祺瑞一派在北京取得优势，才奉命离开南京，前往湖南参加湘鄂之战。

    1918年2月，在陆建章的鼓动下，冯玉祥部开到皖鄂赣交界的武穴时突然宣布主和，并指斥段祺瑞“对外宣而不战、对内战而不宣”，这不但对皖系军阀的震动很大，也很是伤了段祺瑞的心，并最终导致了后来陆建章的被杀（“武穴主和”据说是陆建章的主意）。尽管冯玉祥后来还是迫于皖系军阀的压力而率部驻扎湖南常德，但在吴佩孚率军北撤并在直皖战争中击败皖系势力后，第十六混成旅也随即北上投入曹锟、吴佩孚的门下。

    冯玉祥本人贫困出身，一向艰苦朴素，与士卒共甘苦，因此他带的部队很团结，凝聚力很强。尽管他的部队屡遭排挤，但却磨炼了部队的顽强作风，其战斗力不容小视。1921年，冯玉祥作为先锋部队进入陕西驱逐皖系督军陈树藩，随即因为阎相文自杀而接任了陕西督军的职位。在第一次直奉战争中，冯玉祥击败河南督军赵倜有功而做上了河南督军的位置。但是，由于吴佩孚的军队驻扎在洛阳，一山不容二虎，因而冯玉祥很快便被排挤到有职无权的陆军巡阅使一职，这也是冯、吴产生矛盾的直接原因。

    早在第二次直奉大战前，冯玉祥便通过部下与奉系接洽，密谋共同反吴。在得知冯玉祥在京中极为苦闷困窘之后，张作霖决定联合冯玉祥并接济了冯部一些军械和钱饷（一说是二百万日元，一说是奉天官银号一百多万小洋）。随后，冯玉祥又与同为非嫡系且有同盟会、革命党背景的孙岳、胡景翼、岳维峻等人联系，共组冯、孙、胡同盟