퇴근 10분 전 업무 지시, 거절한 제가 잘못인가요?

6시 퇴근인데 5시 50분에 팀장님이 내일 아침 회의 자료를 정리해 달라고 하셨어요. 그날 병원 예약이 있어서 '내일 아침 일찍 와서 하겠습니다'라고 했더니, 다음 날 회의에서 '요즘 애들은 책임감이 없다'고 공개적으로 말씀하셨습니다. 저는 실제로 7시에 출근해서 자료 다 끝냈고요. 제가 잘못한 건가요?