Située en bordure de la rue Thiers, la chapelle, dédiée à la Sainte-Famille, est aujourd'hui le seul vestige de l'ancien couvent des Ursulines fondé à cet emplacement dans le quartier du port en 1627. Il participe comme d'autres établissements conventuels au renouveau spirituel lié à la Réforme catholique. La façade principale de la chapelle est couronnée d'un fronton semi-circulaire. Elle se distingue par son décor abondant et sa mis en oeuvre en pierre de taille de granite et calcaire. A la Révolution, les Ursulines sont explusées et leurs biens confisqués.
Les bâtiments sont récupérés en 1850 par les jésuites qui s'y installent. Le père Pillon, premier recteur, s'emploie à l'agrandissement des logis existants et aux acquisitions de terrains nécessaires à l'implantation de dépendances. Il confie l'élaboration des plans à l'architecte départemental et diocésain Marius Charier et au père Matthieu Lauras chargé des questions matérielles.
L’ancien bâtiment principal des sœurs est augmenté d’un nouveau corps en équerre formant quadrilatère autour d’un cloître à arcades. De ce programme date l’élévation de l’ancienne façade aux cent fenêtres sur les cours de récréation vers l’ouest et la construction de la petite chapelle de la Congrégation dans l’aile sud du quadrilatère. Les deux cours de récréation, séparées par des grilles, sont bordées de chaque côté par deux ailes symétriques de style toscan de la Renaissance, abritant préaux, salles de sport et théâtre.
Une grande chapelle est construite en 1870 sur les plans du révérend père Tournesac. En 1949, les anciens bâtiments conventuels sont détruits par un incendie. La reconstruction est due à l'architecte Guy Caubert de Cléry qui reprend le plan d’origine en conservant les extensions du 19e siècle qui n’avaient pas été touchées par le feu.