这个要看你们的房屋约定,一般而言,如果你违约,而你们的违约金是属于解除合同的违约金,也就是说如果约定违约方可以以支付违约金的方式解除合同的话或者说是守约方有权解除合同并要求支付违约金的话,那么你可以主张继续履行合同,并要求支付违约金。