1825年3月3日，门罗第二次总统任期届满，卸任后偕夫人回弗吉尼亚故乡定居。
1829年出席为修改\门罗宣言\而召开的国民大会。
1830年9月23日，门罗夫人因中风逝世，给门罗以极大打击。安葬完夫人之后，他几乎一文不名，他的所有资产都耗费殆尽。只得搬到二女儿在纽约的家中，依靠女儿生活。当时的总统约翰·昆西·亚当斯任命他的二女婿为纽约邮政局局长，这份薪俸保证了他一家的生活。
为了挣钱，他只得写书换取稿费。他的贫困状态终于感动了美国国会，他们批准给予他在任总统期间的补偿费3万美元，连同他的卖地进账只够还清门罗的旧债，却无法弥补他清贫的生活。
1831年，最后的家--橡树庄园被他卖掉了，到此，他成为地道的无家可归者。
1831年7月4日，詹姆斯·门罗在纽约去世。他在女儿家因心脏衰竭离开了人世，终年73岁，成为死于独立日的第三位前总统。
为政举措
政治
缓和矛盾
内政门罗就任总统后，首先物色一批国内最有影响的人物组成一个强有力的内阁班子，并与他们和睦相处，历经8年之久，共同制订和推行了美国政府的国内外政策。
门罗在政治上坚持推行折衷调和的方针。在第二次独立战争中，联邦党由于反战投降，不得人心。但少数联邦党人并不甘心自己的失败，煽动新英格兰各州的一部分联邦分子要求脱离联邦。门罗为了维护国家统一、团结联邦派，曾周游南北，同各派政治头目交换意见，陈述联合之利，分裂之害。经他奔波游说，两派没有公开决裂，并在一定范围内趋于合作，开创了美国历史上的\和睦时期\。尔后，门罗又以同样的方针处理了美国南部和北部各州的矛盾。
1819年，南部和北部各州为增加参议员的代表名额，在密苏里州加入联邦问题上发生争吵。南部各州主张密苏里州以蓄奴州加入联邦，北部各州主张密苏里州以自由州加入联邦。
扩大联邦
在门罗的敦促下，南北两方在1820年达成了\密苏里妥协案\，即规定密苏里作为蓄奴州加入联邦，同时让马萨诸塞州划出缅因州作为自由州加入联邦。以此为例，规定今后凡有一个自由州加入联邦，必须同时有一个蓄奴州加入联邦。法案还进一步规定，今后西部土地在北纬36度30分以南为蓄奴州;该线以北则为自由州。这是一次南北两种社会制度冲突明朗化的表现，同时，它也使北方资产阶级和南部种植园奴隶主达到了暂时的妥协和休战。
经济
门罗在经济上执行保护和发展国内资本主义的政策，他坚决执行1816年通过的新税法，提高进口税，防止外国特别是英国工业品涌入国内市场。同时，他鼓励推广先进技术，大量发行科普刊物，各大城市建立科学讲座制度，加速了工场手工业向大机器工业发展的进程。
他还拨出巨款扩建横贯俄亥俄州和印第安纳州、直达伊利诺斯州的坎伯兰国家公路;开凿连接哈得逊河、大西洋与大湖的阿瑞运河，沟通东部工业区和西部农业区，促进了向西部的大规模移民。
军事
扩张版图
门罗进一步扩大了美国的版图。1818年初，门罗致函美军将领安德鲁·杰克逊出兵东佛罗里达。杰克逊立即派兵从西班牙手里夺取了这一地区。翌年2月，西班牙被迫签订《亚当斯-奥尼斯条约》。