当我们尚未解答这个问题之先，应该明白一下苦行两字的定义。
一般所说的苦行，大抵是指以自苦为手段以解脱为目的而言。从原则上说，这个观念并没有错，若从出发点上说，却大有区别：有的是盲目的自苦，有的是有理想的自苦，盲目的自苦，往往都是指的盲修瞎练，砂中榨油，既没有理论的根据，也没有一定的目的。有理想的自苦也有分别：一是迷信的，一是理性的；迷信的自苦是指以为持了牛戒吃草、持了狗戒吃屎、持了鱼戒浸水，便可在死后生天。理性的自苦也分两种，一是以合理的修持方法，寻求自我解脱，一是利用可资自我解脱的身心，协助他人（众生）解脱。
除了理性的自苦，其余均是外道的苦行。
近人有些认为佛教不主张苦行，认为佛教是主张苦乐中和的中道行者。当然，佛陀成佛，也是在他放弃了六年的苦行，把羸弱的身体调养复原之后（增含增上品之八）。不过我们必须明白：佛陀放弃的是盲目的苦行或是迷信的苦行，却又强调理性的苦行。寻求自我解脱是小乘的苦行，协助他人（众生）解脱是大乘的苦行。
因此，在长阿含经卷八中，有著这样的叙述：
佛对尼俱陀梵志说：‘汝所行者，皆为卑陋：离服裸形，以手障蔽…；…；或食牛粪，或食鹿粪，或食树根枝叶果实……或有常举手者，或不坐床，或常蹲者…；…；或有卧荆棘者…；…；或有裸形卧牛粪上者，或一日三浴，或有一夜三浴，以无数众苦，苦役此身！’像这样的苦行，佛陀是极端反对的，因为那是除了自讨苦吃就毫无意义，既不能修身养生，又不能修心入定，更谈不上修行而利益他人。
佛陀接著把佛教的苦行告诉了尼俱陀梵志：‘彼苦行者，不自计念：我行如是；当得供养，恭敬礼事…；…；得供养已，心不贪著，晓了远离，知出要法。…；…；闻他正义，欢喜印可…；…；不自称誉，不毁他人…；…；不杀、盗、淫、两舌、恶口、妄言、绮语、贪取、嫉妒、邪见…；…；精勤不忘，好习禅定，多修智慧…；…；不为贡高我慢自大…；…；常怀信义，修反复行，能持净戒，勤受训诲，常与善人而为伴党，积善不已…；…；不怀憎恨，不为巧伪，不恃己见，不求人短，不怀邪见（不信因果为邪见），亦无边见（不是中道，便是边见：相信灵魂永恒不变，或者不信死后另有境界），是为苦行离垢法也。’
我们读了这一节佛教的苦行法门，该会感到无限的亲切，它的内容，无非是持戒、禅定、智慧等的解脱法，但也正是人间世的处世法。但这尚是属于理性的求解脱的法门。到了大乘经中，更加鼓励我们去大施大舍、难忍能忍、难行能行了，为了救济众生可以牺牲自己的一切，并且要发愿生生世世救济众生而牺牲自己，乃至做到‘三千大千世界，无一微尘，不是菩萨舍身命处。’像这样的菩萨行，能说不是大苦行吗？
因此，凡是正信的佛教徒，他必须检束身心，刻苦自励，待人要厚，自供要薄；唯有降低了物欲的生活，才能提高精神的领域，精勤于道业的修持，努力于事业的发展，贡献于大众的公益──发大愿心，为全体人类义务劳役，作一切众生不请之友，乃至牺牲自己而救济他人，这便是佛教的苦行。如果有人以不吃烟火食，不过人的生活，而以显异出奇作标榜，那便不是佛教的苦行而是外道的苦行。