Hôtel construit en alignement de rue autour d'une petite cour intérieure. C'est un hôtel de plan en équerre dont la façade sur rue est à pans de bois en encorbellement sur un soubassement en pierre. Le pan de bois est régulier, raidi par 2 écharpes à chaque extrémité. Les entretoises reliant les solives sont moulurées d'un large cavet. La cage d'escalier latérale limitée par des cloisons en pan de bois contient l'escalier à retour avec jour en bois, à rampe à balustres. Le sous-sol est accessible par un escalier droit en pierre, face à la porte d'entrée. Le premier étage se compose de deux pièces en enfilade et d'une troisième en retour sur le jardin ; un passage étroit conduit de la pièce sur jardin vers deux petites pièces de service au sud contigües de la cage d'escalier.
Cet hôtel doit son nom à ce qu'il aurait accueilli trois duchesses de Bretagne après leur veuvage : Isabeau d'Écosse, femme de François Ier, Françoise d'Amboise, femme de Pierre II et Catherine de Luxembourg, femme d'Arthur III, comte de Richemont.
Il est en partie reconstruit à la fin du 17e siècle sur les bases de l'hôtel de Jean de la Rivière, chancelier de Bretagne en 1450, dont il subsiste le rez-de-chaussée sur rue et le soubassement (porte d'entrée en accolade, fenêtre à cavet et vestiges de la grille). Mitoyen côté ouest de l'hôtel des Monnaies ouvert sur la rue du même nom, mitoyenneté visible sur les anciens documents cadastraux, l'hôtel de Jean de la Rivière avait lui-même été reconstruit sur l'emplacement de l'hôtel de Camarec qui servit un temps de Chambre des Comptes.
Des remaniements du 17e siècle témoignent l'escalier en demi hors-œuvre, et le pan de bois sur rue à l'exception des têtes de poutres et des entretoises qui sont sans doute du 15e siècle. Une aile de retour a été créée au 18e siècle, entrainant la réfection de tous les lambris du 1er étage. Par rapport au plan cadastral de 1844, on remarque l'adjonction d'un petit corps postérieur construit sur un jardin. Les cuisines se trouvaient à l'origine en sous-sol. L'hôtel a fait l'objet à la fin du 20e siècle de travaux importants, aboutissant à sa transformation en appartements.