Aujourd'hui, Allie est âgée. Atteinte de la maladie d'Alzheimer, elle vit en maison de retraite. Chaque jour, Noah lui lit un livre, toujours le même. Il s'agit du carnet où Allie a consigné sa propre histoire, lorsqu'elle a appris sa maladie. Pour ne pas oublier ses sentiments, elle a écrit, et Noah, inlassablement, lui relit ses propres mots. à travers eux, on la découvre dans les années trente, éperdument amoureuse d'un jeune homme, Noah, que sa mère fera tout pour éloigner d'elle, sa situation n'étant pas jugée assez bonne. Après des années de séparation, Allie s'apprête à épouser un avocat de la bonne société alors que la Seconde Guerre Mondiale s'achève. Lorsque par le journal, elle apprend le retour de Noah, l'envie lui prend de le revoir. Echappant à une vie de convenance, les deux jeunes gens se retrouvent et découvrent que leur amour est intact. Ils passeront le reste de leur vie ensemble, jusqu'à ce que la mémoire les sépare...