根據《勞動合同法》第22條和第23條規定：只有在兩種情形下，用人單位才可以約定由勞動者承擔違約金。
1、在培訓服務期約定中可以約定違約金。
用人單位為勞動者提供專項培訓費用，對其進行專業技術培訓的，可以與勞動者訂立協議，約定服務期。違約金的數額不得超過用人單位提供的培訓費用。用人單位要求勞動者支付的違約金不得超過服務期尚未履行部分所應分攤的培訓費用。
2、在競業限制約定中可以約定違約金。
用人單位與勞動者可以在勞動合同中約定保守用人單位的商業祕密和與智慧財產權相關的保密事項。對負有保密義務的勞動者，用人單位可以在勞動合同或者保密協議中與勞動者約定競業限制條款，並約定在解除或者終止勞動合同後，在競業限制期限內按月給予勞動者經濟補償。
