Formé à l’Étoile de Lusitana, un centre au Sénégal, Mbaye rejoint en 2010 l’Inter Milan, en Italie¹, où il signe officiellement en janvier 2011, à 16 ans². Il intègre alors l’équipe des moins de 17 ans du club, puis rapidement l’équipe réserve (en), avec laquelle il remporte le tournoi NextGen Series en 2012 et le championnat d’Italie. Andrea Stramaccioni promeut Mbaye en équipe première le 28 avril 2012, sans le faire jouer cependant³.

La saison suivante, Mbaye fait ses débuts en équipe première. Il joue quelques matchs amicaux, puis dispute son premier match officiel en tour préliminaire de coupe d’Europe, face à l’Hajduk Split, comme défenseur gauche. Il n’est cependant pas retenu parmi les 17 joueurs étrangers autorisé par le règlement européen. Peu après ses 18 ans, Mbaye signe un nouveau contrat avec l’Inter⁴.

En 2013-2014, il est prêté à Livorno, en Serie A, pour gagner du temps de jeu. Avec Livourne il dispute 25 matchs en première division, inscrivant 2 buts⁵. Le 23 janvier 2015, Mbaye est prêté au Bologna CF jusqu’à la fin de la saison, avec une option d’achat automatique en cas de promotion (fixée à 3 millions d’euros)⁶. Il participe activement aux bons résultats de sa nouvelle équipe, qu’il rejoint donc définitivement l’été suivant.