Значение фамилии Холостяков

Холостяк - не женатый одинокий мужчина. Но откуда тогда дети носящии такую фамилию? Возможно, отец очень поздно женился, да и жил одноко, и в деревни за ним уже закрепилось прозвище Холостяк..