漢大將軍、將軍、校尉之屬官都有司馬，專掌兵事。
1、馬在中國古代的戰爭中佔據重要地位，春秋以前的職業化軍隊主要由貴族出身的子弟組成，戰爭方式主要是戰車的列陣對陣衝鋒，而古代的戰車是由馬拉的，所以馬的地位極其重要。形容哪個國家軍力強盛，就稱呼它為什麼千乘之國、萬乘之國之類，由於這層關係，司馬其實是專門負責管馬匹的官，是非常重要的軍職；
2、殷商時代始置，位次三公，與六卿相當，與司徒、司空、司士、司寇並稱五官，掌軍政和軍賦，春秋、戰國沿置。漢武帝時置大司馬，作為大將軍的加號，後亦加於驃騎將軍，後漢單獨設定，皆開府。隋唐以後為兵部尚書的別稱；
3、漢武帝定製，司馬，主武也，掌管軍事之職。大將軍所屬軍隊分為五部，各置司馬一人領之。魏晉南北朝，諸將軍開府，府置司馬一人，位次將軍，掌本府軍事，相當於後世的參謀長。 宋制，司馬銅印墨綬，絳朝服，武冠。至隋時廢州府之任，不置司馬，改置治中。
