Joseph von Hilmer, fils d'un paysan, commence sa carrière militaire dans l'armée autrichienne, comme simple soldat, dans le régiment de dragons Archiduc Ferdinand. Après 16 ans de services, il est enfin officier. A la fin des guerres de la Deuxième Coalition, il entre dans le régiment de cuirassiers Melas (qui deviendra plus tard le régiment de dragons n° 6). En 1805, son régiment fait partie du corps d'armée de l'archiduc Jean, dans le Tyrol. Sous les ordres du FML Saint Julien, il combat au Pass Strub. Hilmer, alors lieutenant colonel y fait preuve d'un courage particulier, à la tête de 15 de ses dragons et réussi à contenir les Français, jusqu'à l'arrivée de l'infanterie. Il est alors fait sur-le-champ Rittmeister au régiment de chevau-légers n° 2 (Hohenzollern) et reçoit, en avril 1806, la Croix de Chevalier de l'Ordre de Marie-Thérèse.

Après de très longues années de service, et de nombreuses blessures, Joseph von Hilmer prend, en 1812, sa retraite. Il meurt, 14 ans plus tard, en 1826, à Vienne, à l'âge de 60 ans.