霍去病在成名之前，生活并不好过。他的少年时代是在奴婢群中度过的，贫贱而艰苦。
他的父亲是平阳县衙役，曾在平阳公主（汉武帝之姐）家当差，母亲是公主家的侍女。霍去病少年时的一大乐趣，就是跟随舅舅卫青习武，骑射，不久他的击刺就技艺超群，长成了一个体魄健壮、寡言守信、智勇兼备的青年。
因为姨母卫子夫的关系，霍去病18岁就做了天子侍中（皇帝身边保卫安全的官）。就在这一年，他随大将军卫青参加与匈奴右贤王争夺河南地（今河套地区）的最后一战，号“票姚校尉”（意为行动迅猛的武官）。
他率领800精骑，距大军数百里之遥，乘匈奴不备，选择便于进攻的目标，出奇制胜，斩杀敌兵1028人，首战告捷，被封为冠军候。
此后，匈奴主力远遁漠北，河西走廊的匈奴势孤力单。公元前121年春，霍去病升为“骠骑（意骁勇）将军”，率骑兵万人从陇西出发，进击河西匈奴右贤王（匈奴辖西部地方的最高长官）诸部，6天连续攻破五个部落，险些活捉单于之子，且以直取之势，使浑邪、休屠二王惊恐万状，日夜筑城堤防汉军正面进攻。但是霍去病令全体将士口衔竹箭，马摘响铃，悄悄沿焉支山（今甘肃山丹县东南）东急驰1000多里至皋兰山（今甘肃兰州市南）下，与卢侯、折兰二王进行短兵相接的肉搏战。
当时，汉军因长途跋涉，人马已疲惫不堪，但见霍去病一声高呼，跃马向前，连连击杀敌军，汉军士气大振，奋勇斩杀卢候、折兰二王及部众近9000人，俘浑邪王之子，缴休屠王“祭天金人”（作为匈奴人崇信“天主”祭祀用的丈高偶像）。
同年夏，霍去病又与公孙敖率数万骑兵从北地郡（今甘肃永昌西）出发，进攻匈奴右贤王，以彻底歼灭河西匈奴有生力量。由于沿焉支山北正西挺进的公孙敖部迷失道路，未能如期会师，霍去病随机应变，率军越过居延海（今内蒙古自治区西北），由西北转向东南，深入2000多里，从祁连山麓烁得（今甘肃张掖西北）猛攻浑邪、休屠二王侧翼，斩敌3万余，迫使匈奴退出河西走廊。匈奴为此悲歌：“失我祁连山，使我六畜不蕃息；失我焉支山，使我嫁妇无颜色。”
由于匈奴单于欲以战守不力，将浑邪、休屠二王问罪，这年秋天，二王决定降汉。
