据（德国人自己）说，小赫尔曼生来就英明神武，能征善战。不管这是真是假，单从他后来的表现看，这个被俘虏的小野蛮人的确有一套--他入伍之后，由于能打仗、不怕死，而且具有当时日耳曼人民所普遍不具备的聪明头脑，所以提升很快：
他先是摆脱了奴隶的身份，成了罗马公民，然后跻身罗马骑士的行列，公元4年，在罗马征服巴尔干土着的战争中，不到22岁的赫尔曼被提拔成日耳曼佣兵的首领。就这样，到了公元8年瓦鲁斯率领大军征讨日耳曼的时候，赫尔曼也被带上，做为一名低级军官去征讨他的父母之邦。