无来禅师俗姓谭，字恒志，是清朝后半叶时衡山（今湖南衡山）人氏。他的父亲叫谭安禅，母亲姓陈。
出家前无来曾为附近的一座寺庙耕种田地，前后长达三个寒暑。这么漫长的时日里，无来白天在田地里努力耕种，到了静夜，就诵径礼佛，以致通宵达旦。可是，他除了一衣一裤之外，却又身无长物。如果是把衣裤给洗了，便蹲在晒衣服的树下，等待衣服干了，穿上身，然后才起身。
有一次，无来将自己的那床旧被褥的里子裁剪成一条裤子。寺院中有一个僧人却说他偷别人的，四处传告，败坏他的名声。这个僧人的小徒弟却曾亲眼看见无来做裤子的前后经过，很为他抱不平，跑到他住的地方，劝他离开这是非之地。可是，无来不仅没有逃避，反而说：“你作徒弟的，不应该背地里指责自己的师傅。我在作裤子之先，未能前去禀报师傅，以致招致他人的指斥，我这也是咎由自取啊！”就在他说这一席话时，那位指责无来偷盗的僧人正要带人入屋来捉拿无来，听了他这几句话，全都惊呆了，面面相觑，自惭形秽。
这时，法空、成中二位禅师正在大力兴复衡阳（今湖南衡阳）罗汉寺，僧侣归附如流。无来也慕名而来，成中禅师一见，认为他骨格清峻，神清气爽，全然不像久淹尘世中人。因此，惊叹之余，便亲自执刀，为他剃度。紧接着，无来又来到培元寺，拜谒无漏律师受具足戒。
后来，他听说郴州(今湖南郴州)法云耀禅师本分接人，法音高妙，就南下郴州，拜谒禅师。但法云耀禅师却秘不传法。无来禅师见状，长跪座前，痛哭流涕，哀恳不已。法云耀禅师见他态度恭敬，求佛志诚，就垂怜他的一腔热心，告诉他说：“无上妙道，非积劫、勤苦不能修证。你只要静心修养，收回自己放纵的心意，苦修精炼，自然会有收益。”
无来禅师一听，如获至宝。便依言日夕研究，目不交睫。这样苦修勤学，倏忽间便过去了很多年。一天，他正在禅定之中，突然听得室外有破竹之声，迎风传来，不觉心中猛然有省，想：“我勤修数年，想寻觅到自己的心都不可得，哪里还会收回到自己放纵的心思呢？”于是，便与师弟恒忍二人辞别法云耀禅师，东游江浙(今浙江、江苏一带)，遍访名师去了。
因为不习水土，无来禅师却传染上疟疾，病得不轻。早晚或寒或热，饮食难进，人已瘦弱得不像样子。但他却依然诵经念佛，习禅不止。
而且，和他同行一位南岳衡山的僧人也和他一样，患了严重的疟疾，沿途呻吟不已。无来禅师十分伶悯他，就不顾自己身病体弱，从四明（今浙江宁波市）开始背负他，要把他送回南岳。遥遥千里，爬山涉水，对一个健康的旅行者来说，都非易事，何况是病人背负病人？其中的艰难困苦可以想见。但是无来禅师心意已决，执意做到。于是，沿途的人们从此便发现有一位患疟疾的病中僧侣背负着另一位患疟疾的僧侣，沿途乞食，迤逦西行。
行走的时候，因为久病体弱，无来禅师总是先将衣服、钵盂、经策等物运到前面的人家，然后又返身回来，背负那位僧友。如此往复，经常是一天往返数十次，而行程不过十余里……因此，整整花了一年时间，二人才回到衡山。
等到把那位僧友送到山寺之中，无来禅师自己的病一下子变得更加沉重起来，就借居于祝圣寺养病。
病尚未好，他却又开始研习禅定起来。寺中文静老人见他耽味禅定，不务他法，却又担心他后不能广为弘法，普济苍生，就劝戒道：“佛法广大，宛如太虚，无边无垠；洪纳巨细，又如大海，无际无涯。所以，我们佛门中人，一定要搏识多闻，彻溶法源，方能修证正果；哪里只是枯坐禅定便能得法的？”
看无来禅师似信非疑的样子，文静老人接着只说：“从前，有一位比丘，从远古的迦叶佛时代便开始禅定证悟，可是，直到梁武帝萧衍普通年间（公元520-527年）出定，却依然没有证通禅法。人家高僧尚且如此，何况是你？”
这样，无来禅师方始留心禅宗之外其他法门。一天，文静老人又诱导他论说教义。他手中拿着一只钵盂，告诉无来禅师说：“你可别小看了它，它却是大瘐岭（在今湘，粤交界处）都提不起来的宝物。”
“既然提不起来，怎么会又在你手中？”无来禅师反问道。
“如果不在我手中，我怎么知道它是提不起来的宝物！”文静老人微笑着回答说。
无来禅师一听，心中豁然大悟。从此，他禅机神捷，一如迅雷掣电，一触即发。但他却又深藏韬晦，并不炫耀人前；并又在衡阳罗汉寺闭关六年，苦心修炼，力求再进境界。在这六年的闭关苦修之时，他在自己的静修室中，供置了一座佛龛，不时跪拜；自己昏沉欲睡时，使劲地用头撞柱，借以警醒自己，苦苦修证。
后来，衡阳的紫云寺、衡山的万寿寺，分别设立了禅关大道场，邀请无来禅师前去说法。无来禅师一一答应了，多有阐发，四现禅机，听众无不称许。
距紫云寺外三十里，有一座岐山，壁立万仞，高与天齐。山巅之上，有一座仁瑞寺。这座寺庙是早明朝末年，一位进士修的。寺庙有田业千亩，附近豪右多有觊觎之念。到了咸丰年间(公元1851-1861年)，洪秀全率众举事，北攻衡阳，寺庙的田产于是便被太平军占去，寺庙也随之废弃。紫云寺有位定禅师，见状为之哀戚，就来到仁瑞寺，割草搭庵，粗建茅庵，护守这山寺基石。后来，又有一位默庵法师经过这里，看到群山蜿蜒，峻岭起伏；而又幽远寂静，人迹罕至，就居停在这里，开始修复寺庙。
无来禅师知道了这个所在，使辞别众人，爬上山巅，也栖止寺中。此时的无来禅师，法音远播，声名鹊起。仁瑞寺的僧徒日渐多了起来。一时间，清风远洒，云奔水赴。
岐山之上，本来森林遍野，荆棘当道，虎狼出没，樵夫、牧童轻易不敢进山。但自从无来禅师重振仁瑞寺法席之后，往来之人多了，人们也就渐渐地胆大起来，穿行其中，全无惧意。而那些樵夫村民，更是经常成群结队地到山中伐木。
一天，巡山的僧侣抓住了十几个正在偷伐树木的村人，将他们押到寺中，请无来禅师处置。但是，大出大家意科之外的是，无来禅师却把他们全都放走了。寺僧一见，赶紧劝告，说：“这些村民，不是您的慈悲心肠所能感化得了的，现在，如果不禁约他们，怎也能保证这一片山林不受损坏呢？”但无来禅师依然我行我素，全不顾大家的劝说。
村民果然没被禅师的慈悲心肠所感化，他们依然不时偷偷地跑到山中偷伐树木。一时间，只听得伐木之声丁丁，此起彼伏，不绝于耳。等到寺僧赶到，他们却早已轻车熟路，逃之夭夭了。
有一次，他们趁一位巡山僧人不备，将他反缚双手捆绑在大树之上，然后砍伐倒树木，背起来就要走。可是突然，凭空里跃出一只吊睛斑额猛虎，冲这些人便赴过来，偷树人魂飞魄散，亡命不迭，从此再也不敢进山伐木了。
从此，“岐寺寺，虎巡山；岐山僧，常闭关”的俗谚，便在附近一带传开了。
无来禅师对待村人以慈悲为怀，多加怜悯，对待佛门弟子，则严格要求，整肃有加。一次，有个僧人见山花烂漫，兰桂齐芳，不觉心动，就采摘了一大把。当他正高高兴兴地把玩之际，不意却被无来禅师撞见！无来禅师一见，马上呵斥他说：“你作为佛弟子，却不去努出参悟佛法，反而沉浸在花草之中。你到这荒山野岭干什么来了？转眼之间，生死便将轮回，难道你真的就无动于心吗？！”那个僧侣一听，不觉涕泣泗沱，忏悔不已。
有一天，寺中一名小沙弥发现一条毒蛇正缠身树干，准备掏食树杈上的雏鸟。雏鸟见状，惊惧扑翅，却又还不会凌空飞翔，只好坐以待毙。小沙弥一见，马上飞奔进寺，禀报禅师。无来禅师便手执一根长竹竿，率众出寺。来到跟前，无来禅师用竹竿冲毒蛇使劲挥舞，毒蛇怒目相视。禅师见状，厉声呵斥道：“你之所以变为蛇身，正是因为嗔怒而致；现在，你居然还不知悔改，反而恃强凌弱，难道你就不知道有比你更强大的东西，足以凌辱你吗？”
毒蛇一听，随即掉头下树，趴在禅师跟前，似有忏悔状。禅师便为他说法，毒蛇也一动不动，静卧听讲。直到禅师说法完毕，蛇才掉头离去。
众人亲眼目睹，大为惊叹，就向禅师请教其个因由。无来禅师这才说道：“我听说过这样的话：‘至人无心。入禽鸟不乱其群，近虎狼能驯其威。'我没有什么特殊法术，不过是当事临头之时，心中不见有蛇，不见有鸟，也不见有我，不见有物罢了！”大家听罢，若有所悟。