Fue decisivo en la consecución de los Juegos Olímpicos de 2020 para Tokio, acariciando el deseo de presidirlos e incluso apareciendo como Mario, el personaje de videojuegos de Nintendo, durante la entrega de los Juegos en Río, la sede de 2016.
Abe se convirtió en el primer ministro más longevo de Japón en noviembre de 2019, pero en el verano de 2020 el apoyo se había visto mermado por su gestión del brote de la Covid-19, así como por una serie de escándalos que incluían la detención de su antiguo ministro de Justicia.
Dimitió en septiembre de ese año sin lograr su objetivo, largamente perseguido, de revisar la Constitución o presidir los Juegos, que se habían pospuesto a 2021 debido a la pandemia.
Pero siguió siendo una presencia dominante en el Partido Liberal Democrático (PLD) en el poder, controlando una de sus principales facciones.