一般來說，夫妻在離婚時，女方是不需要退還彩禮的，但考慮到特別的情況，司法解釋對此有規定，夫妻雙方在離婚時，有以下情形之一的，女方需要退還彩禮：1、夫妻雙方雖然辦理了結婚登記，但事實上沒有共同生活的；2、男方在結婚前給付彩禮，因此發生生活困難的。只要這兩種情形，女方才需要退還彩禮。
法律依據
《最高人民法院關於適用《中華人民共和國民法典》婚姻家庭編的解釋(一)》第五條當事人請求返還按照習俗給付的彩禮的，如果查明屬於以下情形，人民法院應當予以支援：(一)雙方未辦理結婚登記手續;(二)雙方辦理結婚登記手續但確未共同生活;(三)婚前給付並導致給付人生活困難。適用前款第二項、第三項的規定，應當以雙方離婚為條件。
