Né à Montréal en 1973 de parents vietnamiens, Hoang Mai a grandi à Brossard, où sa famille a rapidement priorisé son intégration dans un milieu francophone.
Il a fait des études en sciences pures et en sciences économiques avant de compléter son baccalauréat en droit et une maîtrise en droit international privé avec option notariat à l’Université de Montréal. Il a ensuite perfectionné sa formation en droit international à La Haye.
En 1998, il s'est joint à un cabinet d’avocats international, ce poste l’a amené à travailler au Vietnam, à Singapour et à Hong Kong avant de revenir à Montréal en 2001. Depuis 2002, il a choisi d'être notaire autonome.
Passionné de sports, en plus de pratiquer régulièrement le hockey, Hoang entraîne bénévolement des jeunes au soccer sur la Rive-Sud de Montréal et enseigne la plongée sous-marine.
Aux élections fédérales de 2008, Hoang a été le candidat du NPD dans la circonscription de Brossard–La Prairie. De 2008 à 2010, il a occupé le poste de trésorier de la Section Québec du NPD et a mis sur pied la Commission des communautés culturelles de la Section. Hoang a aussi été le vice-président des communications de la Section.
Aux élections de mai 2011, Hoang Mai a été élu député néo-démocrate dans sa circonscription d’origine, Brossard-La Prairie. En juin 2011, Jack Layton lui a confié le rôle de porte-parole en matière de revenu national dans le cabinet fantôme du NPD et a été un membre actif au comité permanent des finances de la Chambre des communes jusqu'en 2012.
Le chef du NPD, Thomas Mulcair, lui a confié de nouvelles responsabilités en janvier 2013. Il est dorénavant porte-parole adjoint en matière de justice et siège sur le comité de la Justice et des droits de la personne.