Déjà le sheng fut mentionné dans les inscriptions sur les os, datant de la dynastie des Yin (1401-1122 av. J.-C.), et il connut depuis une évolution incessante.

Le sheng est un instrument composé d'un certain nombre de petits tuyaux en bambou, munis d'une anche en cuivre à leur extrémité inférieure, et plantés dans une sorte de bol fait en calebasse, en bois ou en cuivre; il est muni d'une embouchure par laquelle on souffle, tandis que les doigts des deux mains ouvrent ou ferment les trous percés dans les tuyaux. La vibration de l'anche et la résonance du tuyau donnent les sons.

Depuis le milieu du XXe siècle, les musiciens ont rénové le sheng en lui ajoutant par exemple une anche et un clavier. La technique d'exécution a évolué. Le sheng est maintenant utilisé dans l'accompagnement, l'interprétation avec d'autres instruments ou en solo.