后，鉴真又准备船只和物品，准备第五次东渡。这时他已经六十一岁，但东渡的决心丝毫没有动摇。此次随他同行的有日本僧人荣睿、普照以及他的弟子祥彦等。
他们师徒一行刚出海的时候，天刮着西南风，这是顺风行船，船走得又快又稳当，可是没过多久，海面上突然刮起了大风，天很快暗了下来，乌云漫天，风越刮越猛，海水掀起了巨浪。他们乘坐的那只木船，在大风浪中上下颠簸。
船上的人一个个东倒西歪，有的使劲抱着船舱里的木柱子不敢动弹；有的因为晕船，大口大口地呕吐。木船在这种险恶的环境里颠簸了一天又一天，随时都有葬身海底的危险。就这样在漂荡了十四天后，船上的人发现，他们只是到了海南岛。
在辗转返回扬州的途中，弟子祥彦和日本僧人荣睿相继去世，鉴真本人也因长途跋涉，加上南方炎热染病，视力减退，医治无效，双目失明。第五次东渡又失败了。
又是五年过去，樱花国第十次派遣唐使团到了中国。遣唐大使听说了鉴真五次东渡的经过，对鉴真极为敬佩，就在第二年十月回国的时候，绕路到扬州专程拜访鉴真，并且邀请他一同前往樱花国。