王阳明和湛若水弃走官道，改走山林小道，一路打听一路往西走。不几日，走出了武夷山，来到江西境内。江西有史以来都是贫瘠之地，近些年来，匪患猖獗，弄得民不聊生。官道尚且杂草丛生，山林小道基本就无人问津，到处都是杂树横长，已经没有道路的样子了。王阳明两人为了避开追杀，牵着马，翻山越岭、持剑砍道，渐渐的进入深山，迷了路；不辨东南西北。两人不断的跃上树梢观看，四周都是绵绵群山，看不到边，山林间也无村落，连问路的人都没有，无奈两人继续前行，天色渐暗。
夜间，两人来到一相对平坦处，砍了一些树木柴火，生起篝火。
王阳明抬头看了看满天的星斗道：“要是此次赴任能有生还，我们就辞去官职，来到这僻静的山林过着隐居的生活，白天砍柴、练剑，晚上饮酒、作诗，无拘无束，无烦无恼。”
“要是真有那一天，朝廷可能会委任更加重要的职务，以你的性格怕是放不下哦。”湛若水道。
“你看那满天的星斗，不管世事如何变迁，朝代如何更替，那满天星斗依旧闪烁；这个天下不管少了谁，天黑依然出星星，天亮依然出太阳。”王阳明感慨道。
“哈哈哈，守仁，你早有这觉悟就好了，你以前非要立志成圣人，为天地立心、为生民立命，非要考取功名；以后你要是真退隐，我定当陪你，你知道的，我是最不喜欢官场上那些勾心斗角了。”湛若水笑道。
王阳明突然听到远处有潺潺的水声，惊奇道：“若水，听，有水声。”
湛若水屏住呼吸听了一会儿道：“真有水声，太好了，说明有小溪，明日天亮我们只要沿着溪流一直往下走，就定能走出大山。”
“是的”王阳明回道。
次日一早，王阳明和湛若水朝着水声的方向找过去，果然找到了一条小溪，溪流两边都是茂密的灌木，两人沿着溪流往下走，渐渐的水流越来越大，小河边上也隐隐的显现一条有人走过的痕迹小道；湛若水甚是高兴，上马飞奔，两人一前一后驰骋了一段路，来到一山隘处。
“过了这山隘应该就有会村庄了，也不知道是什么州县，到时候我们找户人家问问。”湛若水道。
“是呀，不要是往回走就行，不然我们这几天的辛苦就白费了。”王阳明道。
突然，山隘两边的林中窜出一群人，有四五十人之多；穿着粗犷，手拿武器，为首的那个骑着一高头大马，手持朴刀，高大雄壮。
“大清早的，我当是什么好生意，原来是两名书生。”为首的有些失望的道。
王阳明本是心里一惊，以为又是刘瑾派来的杀手，一看他们的穿着和为首的说话，断定应该是遇到了土匪。王阳明也不想多惹是非，上前客气的道：“大王，我俩是进京赶考的学子，落榜后回乡途中迷路了，路过贵宝地，还望大王通融通融。”
匪首看了看王阳明和湛若水道：“我看你俩也算是有文化的人，既然落榜了，本大王正好差个文书，你俩就留下给本大王做个文书吧。当官有什么好的，规矩那么多，朝廷又那么腐败，看看本大王，自由自在，方圆几十里都是老子说了算，在本大王下面，你俩也算是个官了，但比朝廷的官要轻松多了。”
王阳明心想这土匪也并非那杀人不眨眼的恶人么，但也不想与他们动手，他们要是能够放行就算了，于是又道：“大王，小人上有年迈父母，下有妻儿，家里可还等着小人回去呢。”
“没想到你还挺有孝心的，看在你俩是书生又孝顺的份上，留下马匹、配剑和银两，你们走吧。”匪首淡淡的道。只见两名土匪走上来牵马和拿东西。
“哧”的一下，湛若水笑出声来。
“你笑什么？大王让你们留下东西走，还不走，不想活了？”走过来的土匪道。
“我是不想活了，只怕不是被杀死的，而是笑死的。”湛若水回道。
“狂妄书生，竟敢取笑本大王。”匪首大声喝斥道。
“盗贼我见多了，没见过像你们这么斯文，这么懂道理的，我看你们不应该做盗贼，应该去教书才对。”湛若水道。
“大胆，本大王今天就让你见识见识什么叫土匪。”说着飞身持朴刀杀向湛若水。
另外一些土匪马上上前，冲杀向王阳明，王阳明见他们都是一些壮实的民众。蛮力倒是有一些，但没有专门练过武，于是并不拔剑，连剑戴鞘“啪啪啪”的，一下子打倒四五名土匪。顿时，其他的土匪面面相觑，不敢上前。
湛若水这边倒是遇到了对手，匪首的朴刀足有三四十斤重，但匪首耍的满天飞舞，毫不费力。湛若水长剑抵挡，轻飘游走；片刻间，两人已经拆了四五十招。
匪首的朴刀刚猛、霸道，但耗元气，两人又斗了几十招，匪首已经大汗淋漓，气喘嘘嘘；湛若水的长剑，轻巧、灵活，游走在大刀的挥舞间，时间一长越发的游刃有余了。百余招后，突然，湛若水连攻数招，长剑一挑，打掉匪首的朴刀，飞身出腿，把匪首踹出数丈倒地。
“原来是老子看走了眼，两位看似书生，实则都是高手，今日落你们手里，要杀要刮悉听尊便。”匪首抚着胸口道。
“我看你并非穷凶极恶之人，有如此身手，为何要做盗贼呢。”王阳明上前扶起匪首。
“在下叶芳，原本为赣南吉安县的捕头，因看不惯知县的儿子在当地作威作福，一次知县儿子在欺负民女的时候，打伤了知县儿子，被通缉后逃出，来到此地占山为王。”匪首道。
“原来也是正义之士，我看你的兄弟，也都是淳朴之人，不如就此散了，不要再做盗贼了。”王阳明道。
“我的兄弟原本也都是当地村民，因官府苛政，实在活不下去了才跟着我落草的，我等多年来也只是劫财，并不杀人。”叶芳道。
“原来如此。”王阳明看着面前的土匪，衣衫褴褛，若有所思。
“敢问大侠尊姓大名。”叶芳抱拳道。
“在下王守仁，原为兵部主事，因得罪刘瑾被贬到贵州龙场，我俩因弃走官道，迷路了才来到此处，多有打搅。”王阳明道。
“原来是王大人，此地我熟，到我山寨饮几杯，我送两位出山。”叶芳道。
“多谢了。”王阳明和湛若水在山中走了几日，带的干粮也吃的差不多了，确实有些疲累，就欣然答应了，几人来到叶芳的山寨住了一宿。
次日一早，叶芳带着王阳明和湛若水出了大山，来到江边的码头，抱拳道：“王大人，沿此江而下，可以穿越崇山峻岭直到鄱阳湖，到了鄱阳湖后上岸向西走陆路很快就可以进入湘界了。”
“多谢叶兄指路，守仁有个请求，不知叶兄可否应允？”王阳明道。
“王大人请吩咐，只要叶芳能力所及，无不照办。”叶芳回道。
“我看叶兄以及众兄弟们都是纯朴、厚道的义士，占山为王并非长久之计，不如让兄弟们回家归田吧。”王阳明道。
“大人所言甚是，我等以后就在山里开荒屯田，自给自足，再也不做拦路抢劫之事。”叶芳回道。
“多谢叶兄，后会有期！”王阳明和湛若水转身上船道别。
“王大人，官场险恶，多多保重。”叶芳在岸上挥手送别两人道。
叶芳送走王阳明后，听从了王阳明的劝导，改过自新，带着兄弟们在山中开荒屯田，自给自足，虽然辛苦一点，但没有官府的欺压，日子过的好不自在；后来王阳明被封为南赣巡抚负责剿匪后，带着兄弟们加入了王阳明的军队，在剿匪和平宁王之乱中立下了功劳；此为后话。