1、源於姜姓。據《通志》載：柴氏，姜姓。齊文公子高之後。高氏傒，以王父字為氏。十世孫高柴，仲尼弟子。柴孫舉，又以王父字為柴氏。
2、源於鮮卑族和氐族、羌族等，出自東漢時期鮮卑吐谷渾部，屬於漢化改姓為氏。
3、源於蒙古族，屬於漢化改姓為氏。
4、源於滿族，屬於漢化改姓為氏。據典籍《清朝通志·氏族略·滿洲八旗姓》記載：滿族賽密哷氏，亦稱塞蒲里氏，源出金國時期女真白號姓氏，以姓為氏，滿語拼音為Saimire Hala，世居薩哈爾察（今黑龍江北岸 佈列亞河流域）、齊齊哈爾、長白山區和黑龍江沿岸等地，後多改漢字姓為柴氏、賽氏等。隨後達斡爾人中也出現柴姓。
