購房人要解除合同是需要要承擔責任的，但不是既交違約金又交定金，而是繳納違約金或者定金中的一種。根據《中華人民共和國合同法》第一百一十六條，當事人既約定違約金，又約定定金的，一方違約時，對方可以選擇適用違約金或者定金條款。結合本案具體情況來看，開發商可能要求繳納違約金，因為違約金比定金要多。
不交違約金是不行的，如果購房人不按時繳納違約金是有相應的懲罰的。根據《中華人民共和國合同法》第一百一十四條第三款的規定，當事人就遲延履行約定違約金的，違約方支付違約金後，還應當履行債務。如因購房人未履行相應的義務給對方造成擴大損失的，對方將會追究相應的責任。《合同法》第一百一十九條的規定，當事人一方違約後，對方應當採取適當措施防止損失的擴大；沒有采取適當措施致使損失擴大的，不得就擴大的損失要求賠償。當事人因防止損失擴大而支出的合理費用，由違約方承擔。
