Haruto Kirishima menjalani kehidupan yang tenang di pedesaan, jauh dari kehidupan kota yang serba cepat. Kemudian Yuzuki Eba muncul dalam kehidupannya entah dari mana, datang dari Tokyo untuk tinggal sebentar bersama keluarganya. Kebersamaan mereka membuatnya terpikat dengan kenangan masa-masa singkat itu, sebelum Yuzuki Eba tiba-tiba menghilang dari kehidupannya, dan membuatnya penuh dengan pertanyaan.

Kimi no Iru Machi dimulai beberapa waktu kemudian, setelah Haruto pindah ke Tokyo untuk tinggal bersama saudara perempuannya, untuk mengejar karir sebagai juru masak. Pada kenyataannya, dia ingin bersama Yuzuki. Segalanya tidak dimulai dengan baik. Ketika dia tiba, dia disangka sebagai pencuri dan diserang oleh tetangga saudara perempuannya, Mishima Asuka. Setelah kesalahpahaman itu hilang, perasaannya mulai goyah. Apakah Eba, yang terus menghindarinya tanpa alasan, adalah orang yang tepat untuknya ataukah Asuka?