No Japão do século XVI, Shinmen Takezou é um jovem selvagem e rústico tanto na aparência quanto no comportamento. Sua natureza agressiva lhe rende o desprezo e o medo de sua aldeia, levando-o, junto com seu melhor amigo, Matahachi Honiden, a fugir em busca de algo maior do que a vida provinciana. Eles se alistam no exército Toyotomi, esperando por glória — mas quando os Toyotomi sofrem uma derrota devastadora para o Clã Tokugawa na Batalha de Sekigahara, os dois amigos escapam por pouco com vida.
Após se separarem, Shinmen retorna para casa com uma missão autoimposta de informar a família Hon'iden que Matahachi está vivo. Em vez disso, ele se vê procurado como criminoso, incriminado pelo suposto assassinato do amigo devido ao seu histórico de violência. Capturado, é amarrado a uma árvore e deixado para morrer. Um monge errante, o distinto Takuan Soho, tem piedade do "filho do demônio", libertando Shinmen secretamente e dando-lhe um novo nome para evitar a perseguição das autoridades: Musashi Miyamoto.
Vagabond é uma releitura ficcional da vida de um dos espadachins mais famosos do Japão, o "Santo da Espada" Musashi Miyamoto — sua jornada de um espadachim sem outro objetivo senão tornar-se "Invencível Sob os Céus" a um guerreiro iluminado que gradualmente aprende o valor de amigos próximos, da autorreflexão e da própria vida.