De geschiedenis van het jiu-jitsu gaat zeker 4 eeuwen terug. Men zegt dat het jiu-jitsu oorspronkelijk uit China komt.
Rond 1690 moet in China Akijama Shirobei Yashitoki, een arts van Japanse afkomst hebben geleefd. Op een bijeenkomst van een religieuze sekte zag Akijama een speciale gevechtsmethode. Hij liet zich inwijden in deze kunst en was deze na geruime tijd eigen. Terug in Japan dacht Akijama na over deze aparte kunst.
Eén probleem bleef hem dwarszitten : hij kende de uitwerking van de grepen, maar kende zelf ook geen methode om zich te verdedigen wanneer deze grepen op hem werden toegepast. Akijama zag in de winter hoe de takken van een kerselaar en een wilg verschillend reageerden op de last van de vracht sneeuw die zij torsten. De takken van de kerselaar braken af, terwijl de wilg zijn takken liet afhangen waardoor de sneeuw eraf gleed. Dit gaf hem de oplossing voor zijn probleem : “meegeven om te overwinnen”. Met deze gedachte als uitgangspunt lukt het Akijama om zich uit de moeilijkste grepen te bevrijden.
In de 18de eeuw ontwikkelde Meester Mataemon Iso het Tenjin-Shinyo-ryu in Japan, een synthese van verschillende stijlen. Hij aarzelde ook niet om een gevecht aan te gaan teneinde zijn technieken op proef te stellen en zijn eigen stijl te verbeteren. Hij was een van de eerste die het belang van “Atemi” inzag. In 1877 inspireerde Meester Hachinosuké Fukuda – welke toebehoorde aan de Tenjin-Shinyo-ryu – Jigoro Kano (1860 – 1938) in het mysterie van het jiu-jitsu. Op 22-jarige leeftijd in 1882 opende hij zijn eigen school onder de naam Kodokan Judo.
Vooral de samurai gingen zich in deze kunst bekwamen, want indien zij ontwapend werden, moesten zij zich met de blote hand kunnen verdedigen. De samurai hielden het jiu-jitsu ongeveer 200 jaar geheim in hun kaste. Omstreeks 1868 werd in Japan het einde gesteld aan het feodale stelsel en werden oude zeden, instellingen en gebruiken verworpen. Veel samurai gingen toen, om in hun levensonderhoud te voorzien, les geven in jiu-jitsu. Pas op het einde van de 19de eeuw maakte de rest van de wereld kennis met het jiu-jitsu.