Basse de réputation internationale, Joseph Rouleau a chanté sur les plus grandes scènes, en compagnie de chanteurs exceptionnels tels Victoria de Los Angeles, Luciano Pavarotti, Joan Sutherland, Cesare Siepi, Placido Domingo, Kiri Te Kanawa et Maria Callas. Médaillé d’argent pour ses 30 années de service au Royal Opera House Covent Garden, il est le seul Canadien à avoir effectué trois tournées en ex-U.R.S.S.
Son imposante discographie comporte notamment Semiramide de Rossini, Boris Godounov de Moussorgski, Roméo et Juliette de Gounod, L’Enfance du Christ de Berlioz, un enregistrement intitulé Grands Airs d’Opéra Français ainsi qu’un coffret « Hommage » de trois disques compacts paru sous étiquette Analekta. Intronisé au Panthéon canadien de l’art lyrique en 1992, Joseph Rouleau est promu en 2004 au grade de Grand Officier de l’Ordre national du Québec et reçoit également le Prix de la Gouverneure générale du Canada pour les arts de la scène. En novembre 2010, il est promu Compagnon de l’Ordre du Canada, la plus haute distinction honorifique canadienne. Et tout récemment, il reçoit l’insigne d’Officier de l’ordre des Arts et des lettres de la République française. Il est le fondateur du Mouvement pour l’art lyrique du Québec qui a donné naissance à l’Opéra de Montréal.
L’Université du Québec à Montréal, où il a enseigné le chant de 1980 à 1998, l’a nommé professeur émérite en 2007. Joseph Rouleau a été président des Jeunesses musicales Canada de 1989 à 2014 – la salle de musique de chambre de l’organisme porte aujourd’hui son nom – et a cofondé avec André Bourbeau le Concours musical international de Montréal.