争败给罗马之后，汉尼拔之父哈米尔卡·巴卡为改善迦太基的前景，出兵征服伊比利亚半岛。当时汉尼拔才9岁，他央求与父亲同行，父亲命令他跪在祭坛前发誓：长大成人后，一定要成为罗马誓不两立的仇人。
25岁时，年轻的汉尼拔成为迦太基驻西班牙部队的最高统帅。虽然年轻，但他却在父亲的培育下成长为一个意志坚强、富有军事才能的人。由于从小跟随父亲，受过多年军营生活的磨炼，他具备了坚韧不拔的毅力和吃苦耐劳的精神，胆识过人，善于用兵。平时，他生活简朴，与士兵同甘共苦；战时，他身先士卒，深受士兵的拥戴。
有人曾这样描写他：“没有一种劳苦可以使他的身体疲乏或精神颓丧。酷暑也好，严寒也好，他一样受得了。无论在骑兵还是步兵里，他总是把其他人远远地抛在后面，第一个投入战斗，交战之后，最后一个退出战场。”
当哈米尔卡在战争中阵亡之后，其婿哈斯德鲁巴继任为统帅。哈斯德鲁巴采用以外交为轴心的策略，以巩固迦太基在伊比利亚的经贸基础为重，并在伊比利亚建立新迦太基城。此时，汉尼拔在是其骑兵部队的指挥官，积累了丰富的骑兵指挥经验。后来哈斯德鲁巴被凯尔特人刺杀身亡，汉尼拔在军队拥护之下接管军权，并随