1941年，侵华日军对晋察冀根据地河北易县的狼牙山地区抗日根据地进行了连续的“扫荡”，制造了田岗、东娄山等多起惨绝人寰的惨案，妄图以凶残的“三光”政策，“蚕食”我抗日根据地。
9月23日，日军分三路向易县进军，妄图包围杨城武司令员指挥的晋察冀军分区一分区。
24日，3500名日伪军突然包围了狼牙山地区，将邱蔚团以及易县、定兴、徐水、满城四个县的游击队以及周围人民群众共2000多人围住，形势十分严峻。
邱蔚团长急速将此情报告杨成武司令员，为解救游击队员与当地百姓，杨城武司令员制定了“围魏救赵”的作战方案，命令3团、20团佯攻管头、松山、甘河一带日军，促使日军从狼牙山东北方向调兵增援，以便于被围的游击队员与人民群众从狼牙山东北方向突围。
邱蔚团长根据此作战方案将掩护部队转移的任务交给7连。午夜，邱蔚团长指挥部队及当地群众
从盘陀路安全地转移到了田岗、牛岗、松岗一带。清晨，日伪军误以为邱蔚团已经被包围，在飞机、大炮的掩护下，500多日伪军凶猛地向狼牙山方向攻来。
7连战士早就在敌人必经的路上埋下地雷，炸得日伪军丢下五十多具尸体慌忙地逃了回去。日军指挥官深信邱蔚团已被围住，命令部队再次疯狂地向狼牙山方向进攻。激战中，7连战士大部分牺牲，连长刘福山身负重伤，生命垂危。
为了让大部队及7连受伤的战士能安全地转移，指导员蔡展鹏命令马宝玉这班留下坚守。为了拖住并吸引日伪军，马宝玉带领葛振林、宋学义等5名战士边打边向棋盘陀方向撤退，把日伪军引向悬崖绝路。
当他们退到棋盘陀顶峰时子弹已经全部打光，他们就举起石块向日伪军砸去。日伪军发现他们已经没有子弹了，蜂拥向山顶冲来，并叫喊道“捉活的，捉活的！”
马宝玉、葛振林、宋学义、胡德林、胡福才五人宁死不屈，为了不让日伪军活捉与武器落到日伪军手中，砸碎枪后，高呼：“打倒日本帝国主义！”“中国共产党万岁！”等口号纵身跳下悬崖。
马宝玉、胡德林、胡福才三人壮烈牺牲，但副班长葛振林、战士宋学义被山崖上的树枝挂住，幸免于难。
班长马宝玉等五名战士的英雄壮举迅速传遍全军全国，被誉为“狼牙山五壮士”。
1942年5月，晋察冀军区举行了“狼牙山五壮士”命名暨反扫荡胜利祝捷大会，晋察冀军区领导机关授予3名烈士“模范荣誉战士”称号，并追认胡德林、胡福才为中国共产党党员；通令嘉奖葛振林、宋学义，并授予“勇敢顽强”奖章。
狼牙山五壮士大无畏的牺牲精神和坚贞不屈的民族气节受到聂荣臻司令员的高度评价，他说：“他们身上体现了中国共产党领导的人民军队的优秀品质，体现了中华民族的英雄气概。”
为纪念和表彰5位抗日英雄，当地革命政府在棋盘陀主峰建起了纪念塔。新中国成立后，狼牙山五壮士英勇事迹被收录进小学课本。
2009年9月14日，“狼牙山五壮士”被选入“100位为新中国成立作出突出贡献的英雄模范”之列。