En el 1543, las milicias de Cascaborros se integraron a ella para reforzar su misión recaudatoria por el campo y el pueblo, formando parte desde entonces del cortejo navideño que recorría las calles y plazas de la Puebla para pedir limosna. Este cortejo se hacía y sigue haciendo reonocible por una serie de elementos iconográficos, como el estandarte de la Virgen del Carmen o las Campanillas, que con sus toques iban avisando de la existencia de algún difunto.

Posteriormente, durante la invasión napoleónica en el 1804, se suspendieron todos los actos de la Hermandad de Ánimas, hasta que volvieron a resurgir en 1813 por iniciativa de Fray Gerardo de Muela, quien consiguió del entonces Rey Fernando VII una cédula real en la que transfería los poderes de autoridad del pueblo a la Hermandad, durante los días de sus celebraciones, a través de una cámara de Diputados compuesta por alcaldes, ministros y secretario, conocidos por Cuadrilla de Inocentes, vestidos aún actualmente según el protocolo de aquella época, con atuendos de estilo napoleónico.