我离婚的时候有一份 离婚协议，上面写到孩子跟着他爸爸的，但是由于

夫妻离婚，一般也会导致夫妻其中一方失去抚养权。失去抚养权的一方将失去与子女共同生活的权利。不过，失去抚养权的一方仍然会享有探视权，可以在约定或裁判的时间内定期探视子女，与子女进行相对短暂的相处。
离婚时抚养权的归属，可以双方协商，一旦协商不成，则需由法院判决。法院判决抚养权归属，一般根据有利于子女成长原则进行：主要考虑以下因素：夫妻双方的学历、工作、收入、年龄、家庭环境、子女的年龄等。
继父母的对继子女的抚养权
继父母和继子女之间的关系和一般的父母子女关系不同，具有姻亲关系和教育抚养关系，但不具备血缘关系，这种权利和义务是可以解除的，由此推论：生父与继母或生母与继父离婚时，生父(母)和继母(父)都要求抚养该子女的，抚养权归生父母所有。生父与继母或生母与继父离婚时，对曾受其抚养教育的继子女，继父母不愿意继续抚养的，认为抚养关系已经解除，该子女仍由生父母抚养。
夫妻离婚后的任何时间内，一方或双方的情况或抚养能力发生较大变化，均可提出变更子女抚养权的要求。变更子女抚养权一般先由双方协商确定，如协议不成，可通过诉讼请求人民法院判决变更。有下列情形之一的，人民法院应予支持：
1.与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；
　　2.与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；
　　3.十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；
　　4.有其他正当理由需要变更的。
　　5.根据以上规定，只要具有上述任意一个条件，即可向人民法院申请变更抚养权。
离婚后，孩子由谁抚育，应从有利于孩子健康成长的角度考虑，在这个前提下，夫妻离婚时可以协商确定，协商不成，可由人民法院判决。