首先需要确定的是是否构成违约。一般来说因为中介提供房屋不满意，不满足自身需求，根据合同来说是不会构成违约的，但这时候还是需要支付给中介一定的劳务费。
看你们之间的合同约定。如果合同有约定违约金，那违约要承担违约责任。再签个解除合同的协议。
