Pouco antes do fim do semestre, um incidente fracassado de voyeurismo leva o estudante de ensino fundamental Yuuichi Kanba a se reconectar com sua amiga de infância Makio Fujiyama, uma garota que se destaca entre os colegas por sua altura de 181 cm. Após vislumbrá-la sem roupa, Kanba começa a desenvolver sentimentos românticos por Fujiyama, mesmo que ela seja considerada pouco atraente tanto pelos colegas quanto por estranhos. Num impulso, ele a convida para sair — e, para sua surpresa, ela aceita.
Enquanto eles navegam por eventos escolares, festivais de fogos de artifício e outras atividades, Kanba luta para lançar olhares furtivos à sua nova namorada enquanto mantém o relacionamento em segredo. Isso se mostra desafiador para o impopular Kanba, já que Fujiyama frequentemente atrai a atenção de todos ao seu redor.
Fujiyama-san wa Shishunki acompanha o par enquanto eles, de mãos dadas, tropeçam por uma série de situações leves e cômicas, descobrindo gradualmente mais sobre o amor jovem e um ao outro.