L’ancêtre du shakuhachi japonais est un instrument similaire importé de Chine avec l’ensemble gagaku (musique de cour) au cours de la période Nara (710-784). Vers le milieu de la période Heian (794-1185), l’utilisation du shakuhachi dans l’ensemble gagaku commençait à disparaître. Au milieu de la période Kamakura (1185-1333), la pratique du bouddhisme zen fut importée de Chine. Le prédécesseur du shakuhachi moderne, le Fuke shakuhachi, fut développé par des prêtres zen itinérants pour faire partie de leur formation religieuse. Avec la corruption des samouraï qui suivit la période Sengoku (1467-1568), le nombre de ronin (samouraï sans maître) augmenta. Grand nombre de ces ronin devinrent des prêtres bouddhistes errants, ou Komuso, et le nombre de Komuso pratiquant le takuhatsu (mendicité religieuse) augmenta.
C’est vers cette époque que les pièces que l’on appelle aujourd’hui les "Honkyoku (morceaux de base) classiques" furent répandues dans tout le pays par des membres de la secte Fuke. L’un des membres de cette secte, un homme qui se nommait Kurosawa Kinko (1710-1771), fit un pèlerinage à travers le Japon, au milieu de la période Edo (1600-1867). Il recueillit des pièces des quatre coins du Japon, et ces pièces, plus de trente en tout, devinrent les honkyoku de l’actuelle école Kinko de shakuhachi.
La secte Fuke fut interdite au début de la Restauration des Meiji (1868). Par suite, des gens ordinaires, à qui il était auparavant interdit de pratiquer le shakuhachi, avaient enfin le droit d’en jouer. Jusqu’à cette époque-là, le shakuhachi se jouait avant tout comme instrument soliste, mais lorsqu’il devint accessible au grand public, on commença à l’associer dans des ensembles à d’autres instruments. Il en résulta une expansion et un développement de la musique pour shakuhachi à un niveau artistique plus élevé.
Pendant la période Meiji (1868-1912), de nouveaux styles de jeu, dont ceux des écoles Tozan, Ueda et Chikuho, furent établis. L’école Tozan, en particulier, créée à Osaka en 1896 par Nakao Tokan, prit une grande importance partout au Japon. Nakao Tozan prit comme base pour son école les honkyoku classiques, mais il développa aussi le jeu d’ensemble et introduisit des techniques provenant de la musique occidentale, ouvrant ainsi beaucoup de nouvelles possibilités pour le shakuhachi.
Il existe plusieurs théories sur l’origine du mot shakuhachi. Selon le "Tosho", un recueil de biographies chinois datant du début du septième siècle, un homme nommé Rosai façonna une flûte de pan à douze tuyaux correspondant au système chinois des douze hauteurs de son fixes. Le tuyau produisant le son grave , connu sous le nom de "Kosho" (correspondant à un "Ichikotsu " japonais ou au ré occidental), mesurait un shaku (unité de mesure) et huit (hachi) dixièmes (sun) de shaku - c’est-à-dire, environ 54,5 centimètres. Le nom de l’instrument, shakuhachi, proviendrait donc de ses dimensions.
Le shakuhachi généralement utilisé aujourd’hui est fait d’une tige de bambou coupée jusqu’au septième segment. L’instrument est muni de cinq trous, quatre devant et un derrière. Le bord avant de l’embouchure est taillé en diagonale à un angle incliné abruptement vers l’extérieur. Le bord intérieur de cette encoche est renforcé avec un petit morceau de corne de karbau ou d’ivoire.
Vue de l’extérieur, la structure du shakuhachi paraît simple. Cependant, la perce est conique et devient plus étroite du côté du pavillon. En levant (kari) et baissant (meri) le menton, le joueur peut modifier le flot d’air qui passe sur l’embouchure, produisant ainsi des changements de timbre. Il peut produire d’autres changements de timbre en couvrant à moitié un trou, ce qui crée un flot d’air plus puissant, ou par toute une série d’autres effets spéciaux, dont, par exemple, le muraiki (procédé unique, consistant à envoyer une grande quantité d’air à la fois à l’extérieur et à l’intérieur de l’embouchure).
L’une des caractéristiques particulières du shakuhachi est que le joueur peut aussi imiter le bruit des animaux ou des sons que l’on trouve dans la nature : par exemple, le bruit des insectes, le souffle du vent, ou le brame d’un cerf.
