用人单位无权扣留档案，劳动合同法规定，用人单位应当在解除或者终止劳动合同时出具解除或者终止劳动合同的证明，并在十五日内为劳动者办理档案和社会保险关系转移手续。否则属于违法，你可以通过劳动部门申请解决，争取自己的权益。
