La Badia Normanna di San Pietro Apostolo e l'annessa chiesa furono edificate ai tempi di Re Guglielmo. Completate nel 1159, come scritto in una lapide dedicatoria all'interno della chiesa, furono affidate ai monaci benedettini. Nel 1557, con bolla di Papa Gregorio XIII, dai benedettini passò ai padri minimi di San Francesco di Paola. Nel 1743 Benedetto XIV la assegnò al Collegio dei Cinesi, istituito da Matteo Ripa, che modificò alcuni elementi della struttura in senso barocco. Dopo l'occupazione francese, il convento passò definitivamente ai frati cappuccini. Archi e colonne separano le navate e in alto sono posizionate 6 monofore per ciascun lato della navata. La zona dell'abside era decorata con affreschi, dei quali sono ancora visibili poche tracce. Di notevole spicco per le fasce maiolicate del campanile, che richiamavano decorazioni arabe di provenienza sicilana. Nel 1929 si verificò il crollo del soffitto della navata centrale della chiesa e durante i lavori di recupero fu scoperta la cripta, grazie a una voragine apertasi nel pavimento. Di forma rettangolare, ha un soffitto con volte a crociera e tre absidi corrispondenti a quelli della Basilica superiore. L'altare in pietra conserva in una urna il corpo di san Berniero, compatrono di Eboli. Sull'altare vi è un crocifisso ligneo e ai suoi lati due statue lignee, di San Fedele e di San Berniero. Un bassorilievo presente nella cripta raffigura il Santo in abiti da pellegrino con un bastone in mano in atto di scacciare il demonio da un'ossessa. Il chiostro è delimitato da volte a crociera sorrette da arcate a tutto sesto. Degli stemmi nobiliari presenti sui conci di chiave ne sono rimasti solo alcuni.Dal 1930 il complesso è noto come San Pietro alli Marmi.