Se cree que el primitivo monasterio de San Pelayo o San Paio data del siglo X. En el interior del tímpano de la puerta principal parece leerse 1170 como fecha de la edificación de la iglesia que en la actualidad tiene uso parroquial.
El palacio episcopal, levantado al norte de la iglesia de San Pelayo, fue de construcción posterior, realizada entre los siglos XV y XVI. En 1379 Juan I, confirmó la posesión de Diomondi al obispo de Lugo, a quien perteneció ya en adelante. En 1480 se menciona el lugar como los palacios del Sr. obispo a Diomondi y en 1498 todavía como el monasterio de Diomondi.
En el siglo XIII se añadió una torre adosada a la iglesia románica y poco después una segunda, la que más adelante se convertió en el palacio episcopal y después casa rectoral. Esta construcción podría ser heredera de la antigua residencia del obispo Odoario de Lugo y Braga, venido aquí a causa de la invasión sarracena y donde se considera que murió.
Sin protección específica
2014– Cultura decide rehabilitar el palacio de Diomondi tras tres años en ruinas. La Dirección General de Patrimonio asumirá los trabajos, que contarán con un presupuesto de 200.000 euros.
2004– Debido a las patologías derivadas de la nueva cubierta, se colocaron andamiajes metálicos para sostener la maltrecha fachada del palacio.
2003– Se construye una cubierta nueva, dos años después de que el antiguo tejado se hundiese, por efecto de la humedad y también de la falta de mantenimiento.
En el 2015 terminaron los trabajos de rehabilitación del el palacio asumidos por la Dirección Xeral de Patrimonio, en los que la Consellería de Cultura invirtió 194.000 euros.
Derrumbe total a causa del deterioro de las lluvias y las filtraciones de agua.
2016
Primera romería con el palacio restaurado. La Voz de Galicia, 23 de agosto.
2015
El palacio de Diomondi, rehabilitado al cabo de cinco años de espera. La Voz de Galicia, 16 de diciembre.
2014
Diomondi entra en la lista roja. La Voz de Galicia, 13 de febrero.
2010
Se derrumba la fachada principal del palacio obispal de Diomondi. La Voz de Galicia, 30 de diciembre.