父亲探视孩子属于法定权利,不可能因为夫妻双方的约定而废除,所以男方虽然签了该协议但还是有探视权。不过你可以要求男方支付孩子的抚养费。
你起诉法院,就说协议无效,试试,我觉得抚养即是权利又是一种义务,没法放弃吧。