行政处罚法第五十四条第二款有规定“公民、法人或者其他组织对行政机关作出的行政处罚,有权申诉或者检举;行政机关应当认真审查,发现行政处罚有错误的,应当主动改正”。各省的行政执法程序规定基本也都明确规定,发现错误应主动改正。实践中,执法部门发现自己处罚存在错误,通常做法是重新下发处罚决定书,同时注明撤销原处罚行为。如果发现相对人不构处罚标准,直接出具撤销决定书,如果执行完毕,向财务部门申报退回款项。