冯玉祥原籍安徽巢县，生于河北保定。其父冯有茂是位泥水匠，为逃避兵役来到一个偏僻村落为地主当雇工。地主家有两个少爷，老地主为了光耀门第，请来一位武艺人教儿子练武。冯有茂天生好学，常去武场讨教两手。考期到了，老地主叫冯有茂带两个少爷前去应考，结果，两个少爷连射三箭无一中的。这时，冯有茂冒昧上前试手，竟连中三元，从而考取武庠，继而投身淮军。
其实，冯玉祥原名“冯基善”。11岁那年，母亲去世了，当时父亲在保定府五营练军当兵。这个地方实行父缺子补。父亲没退伍，儿子自然不能补缺。但由于冯家生活拮据，家人都希望冯玉祥补上，多挣几两银子。这时，营中恰巧出现缺额，一位姓苗的管带是冯有茂的好友，得知消息后立即提出：“这次补冯大老爷的儿子吧！”旁人问：“冯大老爷的儿子叫什么名字？”这一问，姓苗的管带愣住了，他也不知道。接着那人就说：“让我问问去。”姓苗的管带生怕他一去问，耽搁了时间，缺额被别人抢去，灵机一动便说：“别问了，我知道。”于是，随手写了“冯玉祥”三个字。这样，读书郎冯玉祥辍学进了军营，成为一名少年军人。
初到军营没几年，冯玉祥得了一个绰号“外国点心”。一次，父亲意外受伤，冯玉祥希望多挣一点银子以便老父解甲归田，便下决心当一名替教官喊操的“教习”。每天清晨天还没亮，他就站在操场上大喊“立正”、“稍息”、“托枪”，日复一日，风雨无阻，一喊就是四年。他的“喊”功练好了，却得罪了那些睡懒觉的人。于是，他们便给冯玉祥起了一个绰号叫“外国点心”，意思是说他如此卖命，迟早会被洋鬼子打死。但冯玉祥丝毫不以为然，反而特意刻了一枚“外国点心”的图章保存起来，日后给人写字时常盖上这枚图章。
冯玉祥还有一个外号叫“基督将军”，这个外号来源于义和团运动时期。当时冯玉祥的部队驻守河北保定，他亲眼看到保定天主教堂的外国传教士全被逮捕，面临杀头，其中一位女传教士在行刑前要求只杀她一个而放别人。她的那种舍己为人的精神使冯玉祥深受感动。1913年，冯玉祥任京卫军团长时，常到崇文门教堂听讲基督教义，被基督“博爱”所打动，遂于两年后由牧师为其施洗入教。后来，他又为其部下进行领洗盛典。直到五卅运动后，冯玉祥看到帝国列强侵略、蹂躏中国的悲惨景象，终于认清了帝国主义者的丑恶嘴脸，愤然与基督教彻底决裂。
冯玉祥功勋卓著、高风亮节。1935年，国民政府授予他陆军一级上将军衔。但冯玉祥是一个很有个性的人，一生为人正直，嫉恶如仇，做了高官后仍厌恶“朱门酒肉臭”的军阀作风。他在部队与士兵一起劳动，同吃一锅饭，同睡一张床，同洗一个澡堂，和战士一起训练，真正做到了官兵平等，被誉为“平民将军”。有一次，吴佩孚做五十大寿，将领们纷纷送厚礼，当时冯玉祥还是他的手下部将，却只送了他一坛清水。
在重庆时，冯家住在陈家桥，因为那里达官显贵太多，谁也不敢去查户口和收捐税，街区的保长无人敢当。冯玉祥便自告奋勇，被称为“重庆最尽责的保长”。