Au Moyen-Age, le village de L’Île-d'Elle fait partie de la paroisse de Marans. En 1655, L’Île -'Elle est érigée en paroisse par l'évêque de La Rochelle et la chapelle de l'ancien prieuré Saint-Hilaire devient officiellement église paroissiale.
Elle est reconstruite totalement entre 1847 et 1852 dans un style néoclassique et est consacrée par l'évêque de Luçon. Touché par la foudre, le clocher a été reconstruit en 1871 sur les plans de l'architecte yonnais, Victor Clair. Les voûtes de l'édifice sont en bois.