提及陆游的感情生活，妇孺皆晓的是他与唐氏《钗头凤》词演绎的凄婉。其实，沈园邂逅无非敷衍寒暄，甚至如南宋刘克庄《后村诗话续集》推测仅“坐间目成而已”，断无置唐氏后夫尴尬于不顾当场唱和题壁道理。且当年陆游继室身怀三子修，若陆、唐《钗头凤》本事说成立，岂不表明一开始他对续弦已纯属虚情假意？况前辈学人就词用典与唐氏身份、山阴景致（宫墙）多所不合，词调词牌流行蜀中等矛盾迭曾质疑，都表明《钗头凤》应另有所属。
    
　　陆游约廿岁跟唐氏私订终身，后不为陆母所容被迫仳离属实，二婚择偶唯父母之命是遵可知。旋蜀州（四川崇州）王氏与之结合，并随之“细雨骑驴入剑门”赴蜀州任，似属她系念家乡对陆游影响使然。可当王氏回归桑梓，安土重迁之际，原本融洽婚姻竟隐现裂痕，稍后陆游宦游嘉州（乐山）时因夫妻分离渴望情感填空，遂为情所惑发生邂逅锦城艺妓杨氏而纠缠此后卅载余生的婚外情。陆、杨畸情线索，源自他出蜀为官浙江建德替与杨氏抚育不幸夭折幼女定娘所撰墓铭文。其时她既随行东下且与花甲放翁生育，反映他生命力旺盛，也表明两人深爱依旧，因为这离他们擦出爱的火花已有十余年之遥，定娘已是陆、杨第三个子女。
   
　　考陆、杨艳遇事发乾道九年（1173）陆游二赴锦官驿馆。因后《寓驿舍》诗“惟有壁间诗句在，暗尘残墨两依依”句，分明透露此前题壁答杨氏时，已然成为她撒下情网而自愿上钩的网中鱼。又，陆游《渭南文集》间《真珠帘》、《风流子》词虽无系年，但玩其词意，当作于杨氏投怀送抱两情相悦时。而另一首以“并蒂莲”命名者，咀嚼之余，亦足以判断属陆游在嘉州对她的审美感念。因为由“伫想艳态幽情，压江南佳丽。春正媚，怎忍长亭，匆匆顿分连理？”句联想杨氏姿态，极具视觉冲击，陆游被其品貌才情倾倒自可想见。淳熙四年（1177），他触景生情作《偶过浣花感旧游戏作》诗有“忆昔初为锦城客……玉人携手上江楼，一笑钩廉赏微雪……三日楼中香未灭……异事惊传一城说”的咏叹。“玉人”者，自属新欢杨氏；而“至今西壁余小草”云云，该是彼此唱和又一凭证。
   
　　由于移情杨氏印象挥之不去，淳熙元年夏，备受思念煎熬回蜀州的放翁魂不守舍，终于有了第三趟毫无理由的成都之行；而月半流连，显然是为与一秋之隔的杨氏温存。也正是在这数周驿馆藏娇同居生活中，情到浓处，铸成陆、杨第一个爱情结晶——子布，估计就是此次陆、杨欢晤暗结的珠胎。回顾陆、杨生养的三个子女，唯定娘被明确杨氏血脉；陆游有案可查九个子女，亲子关系最复杂的为子布是否王氏亲生。据陆氏谱牒：子布生于本年底，若属王氏幼子，她随陆游出蜀约四、五岁光景；自己老来得子，绝不舍得将乳气未脱的孩儿孤伶伶遗留蜀中。如此看来子布留蜀另有隐情，唯一可能是他非王氏骨肉，杨氏才是子布生母。
   
　　且说陆游回蜀州后，王氏对其婚外情有所觉察。面对几十年婚姻处于崩溃边缘，为防家庭解体，制约将赴荣州（荣县）任的陆游情感失控，王氏令他偕家室同行，以家庭、子女名义施压。但荣州之行仅停两月余，次年春陆游就因新职下达举室迁回成都。其时陆、杨爱情结晶子布呱呱坠地，但陆游音讯杳无。其实他虽携家返蓉，唯碍于王氏“监护”在旁分身乏术，无法跟杨氏见面如恒。《渭南文集》系年不详但可甄辨某年春天作《月上海棠》，正是陆游回蓉揣测杨氏幽怨心境词作；而属于杨氏本身的词章，是被南宋赵闻礼标明“陆游妾某氏”收录在他选编宋词集《阳春白雪》中的《生查子》，表达的是见不着陆游的郁闷。
   
　　面对委身驿馆无助的杨氏与襁褓中婴儿，陆游男子汉责任油然而生，似乎如实向王氏坦陈始乱终弃及生子经过，以求原宥并接纳其为家庭成员。王氏出身本非等闲之辈，尤其就陆游二婚及后感情出轨暗渡陈仓论，道义上自有负于王氏。况且王氏与之半百风雨兼程，一直伴随左右，照应子女，他《离家示妻子》诗也承认跟她患难与共。故当王氏由风闻到猜测到陆游坦白确曾有那段被无情事实言中的婚外情，而杨氏仅出身烟花，她遭受不可言状感情打击可想而知，故断然回绝陆游恳求也在情理中；唯念夫妻情份和杨氏已生子布，她还是准予他在外安排杨氏，但决不容忍携子布搬来跟自己分享陆游。这或许就是宋人陈世崇《随隐漫录》等有关陆游纳妾“方余半载，夫人逐之”逸闻背底的真相。而杨氏闻知跟陆游生育孩子后依旧难以融入其家庭，终于悔恨交加不辞而别，带着嗷嗷待哺的子布离开了让她有罪恶感的约会寓所。面对杨氏母子人去楼空，这回该本以为她仰赖于对其感情不能自拔的陆游呼之欲出了，这大抵是他作于冬天的诗歌反被冠以《春愁》并慨叹“寻人似疟何由避”的原因。
   
　　从淳熙二年底杨氏出走直到五年初，陆、杨几乎两年多未曾谋面了。五年早春，陆游闲来到锦官城东后蜀燕王宫故址张园观赏海棠，不意竟跟契阔良久的杨氏别后重逢。相见之下，自有一番互道离愁别恨的感伤，在陆游正是以吟咏风尘女子“手、酒、柳”典故，冠以流行蜀中新词牌而谱写的那首被谬传甚久致离异原配唐氏的山阴沈园《钗头凤》词，而真正内涵是向“一怀愁绪，几年离索”的杨氏表达错全在我的忏悔。又，《阳春白雪》录《渭南文集》之外的《解连环》词，似乎是他继《钗头凤》后献给杨氏的，因为“尽今生、了为伊，任人道错”云云正是现成的注脚。而宋人周密《齐东野语》“蜀娼词”条收录杨氏佚词，是她就陆游辩白疏远缘故的回应，即以调侃的口吻嘲弄他起初百般殷勤，信誓旦旦；事后负心怕事，不承担丈夫、父亲双重责任，置其母子俩于不顾，为己罪孽开脱而挫伤了她的自尊。
　
　　自从恢复联络，陆、杨欢晤重趋密切。其时，陆游行将东返山阴而“归舟已具客将行”；杨氏获悉为求随行，明显加紧感情攻势，陆游为情所困再使她怀上子聿，杨氏以此执著要求同行。陆游未料多情又惹是非，为防王氏阻挠而从长计议，授意杨氏近乎残酷地乔装改扮以行脚尼姑装束尾随南下，以此凭借宽大袍服为伪装掩饰业已微微腆起的肚皮和臃肿体态。而既以尼姑出行，自然只能割爱留下子布，不顾母子连心亲情单枪匹马远走高飞，追随陆游一江春水向东流了。这或许正是《齐东野语》和元人方回《桐江集》等有关陆游“挟蜀尼以归”和“携成都妓剃为尼而与归”传闻的真实背景，也足以揭开子布何以长期被留蜀中之谜了。
    
　　王氏鉴于陆、杨偷情木已成舟，无奈之下，准许腹中有喜的杨氏以非家庭成员身份出蜀，终于不致杨氏次子聿胎死腹中或骨肉分离。但长子子布却仿佛被抛弃的孤儿般一直无缘跟父母团聚；其“思远”表字寓意令人不难想象陆、杨出蜀时与子布江干诀别，依依不舍，希望他长大勿忘长思远方父母的良苦用心。诚如最终子布回归山阴时陆游含泪相迎追悔诗的所谓“忆昔初登下峡船，一回望汝一凄然。梦魂南北略万里，人世短长无百年。”
    
　　此后父子音讯时断时续，直到庆元二年（1196）王氏病入膏肓，子布重返家庭希望才出现微妙转机,并给病中的陆游无限宽慰；同时也不免跟内心自责交织到一起，遂有《寄子布》诗倾吐父子别离之痛，透露了私生活孽债对家庭、子女多重连累及投射的负面阴影。次年，王氏去世，子布终获跋涉万水千山回到近乎陌生的生父身边，父子相见自有一番离合悲欢，真所谓：远使有书常洒泪，长宵无梦更伤心。何由老眼迎归棹……一纸新诗千万恨……劳还深愧里闾情……憙极翻成涕泗横。道途一见相持泣……回首人间万事非。我似伤禽带箭飞，更怜汝作雁行稀。异时恐抱终身恨，此日宁知徒步归？也因此，垂暮的放翁始终将子布、子聿留在身边，以就己从前未尽父职予以补偿。子聿既是他最疼爱的幼子，也是侍奉、聆教而寄予最大培养希望的；《剑南诗稿》中不少有关处世立命的诗歌就是专门单独写给子聿的。