Una prima chiesa, una pieve risalente al IV secolo e dedicata a Santo Stefano, viene distrutta da un incendio nel 1173. Già nel IX secolo è comparsa, comunque, l'intitolazione a San Mercuriale. Nel 1176, la responsabilità della chiesa viene affidata all'Ordine Vallombrosano.

L'attuale edificio è terminato nel 1180 in stile romanico lombardo, insieme al campanile, che, di circa 75 m, risulta, nel suo genere, uno dei più alti d'Italia (l'impressione visiva di quest'altezza si coglie anche dalla foto a fianco). Nel XIII secolo è considerato una delle meraviglie del Regno d'Italia.