Néanmoins, vers le début du 18ème siècle, l’irezumi finit par marquer les criminels. Sur les bras ou sur le front pour plus de visibilité, il servait à les punir de manière éternelle. Ce qui entraîna naturellement une mauvaise image du tatouage au Japon.
Mais c’est réellement à la fin du 19ème siècle que l’irezumi vit ses pires années. À la suite de l’effondrement du shogunat et à la restauration de Meiji quelques années plus tôt, le gouvernement entama la construction d’un État moderne en s’inspirant des occidentaux. Le pays ouvre ses portes au monde, les voyageurs et marins commencent à affluer.