Dans le passé, Bernard et Mathilde se sont aimés avec passion, puis séparés violemment. Sept ans plus tard, Mathilde et son mari viennent s’installer dans leur nouvelle maison, voisine de celle où habitent Bernard, sa femme Arlette et leur petit garçon. Tout le monde se retrouve au club de tennis tenu par Madame Jouve, celle par qui cette histoire nous est contée. Mathilde et Bernard n’ont pas assez de sagesse pour devenir amis. Entre elle et lui, ce sera, comme le dit Madame Jouve, « ni avec toi ni sans toi ».

Avec La Femme d’à côté, François Truffaut tresse de façon inédite deux de ses thèmes les plus chers : le souvenir nostalgique et l’intensité passionnelle. Traitant l’amour fou à travers les détails du quotidien, il mêle l’idéal sublime et la simplicité vécue pour aboutir à un chef-d’œuvre d’authenticité.