I ruderi del Castelvedro si trovano in località Mai (detta ad Mayum già nel Quattrocento), in posizione dominante sul promontorio sovrastante la parte meridionale di Dervio, a 400 m di altezza. Eretto nel periodo romano attorno al V secolo, il castello faceva parte del sistema difensivo creato sulle rive del Lago di Como contro le incursioni dei Barbari dalla Rezia, il quale, tramite numerose fortificazioni, permetteva di inviare le segnalazioni da Colico a Lecco o a Como.
Il Castelvedro, in particolar modo, serviva a controllare l'antica strada che saliva per il versante sinistro della Valvarrone verso Piazzo di Casargo, all’imbocco della Valsassina, che all’epoca costituiva un importantissimo passaggio strategico. Quando la strada sul versante destro della valle, peraltro più favorevole in inverno, sostituì quella sul lato opposto che passava da Mai, la fortificazione perdette di conseguenza la sua importanza e fu sostituita dal Castello di Orezia, posto sul versante destro della valle. La presenza e il ruolo di quest’ultimo portò ad affibbiare al castello di Mai la specifica di “vedro”, che deriva da vetero (vecchio) e da lì il nome Castelvedro. Già nello Statuto di Dervio e Corenno del 1384 e in un atto di vendita del 1405 veniva così soprannominato e considerato antico e obsoleto.
Al giorno d’oggi sono ancora presenti tratti delle murature in pietra, in alcuni punti alte fino a 4 metri. Si pensa che la struttura originaria si estendesse per circa 1500 metri quadrati, con a sud una muratura arrotondata, base di una torre da avvistamento.