我觉得这看除了电话号码其他的个人信息是谁的了，如果只是个电话号码是你的应该就没什么影响。银行说会有影响估计是认为你就是贷款人只是不愿意承认罢了，当然最好还是找机会尽快去银行核实，避免影响征信。个人意见，希望对你有帮助。
