年輕時的慧遠禪師喜歡四處雲遊。有一次，他遇到了一位極愛抽煙的行人。兩人走了很長一段山路，然後坐在河邊休息。那位行人給了慧遠禪師一袋煙，慧遠禪師高興地接受了行人的饋贈，然後他們就坐在那裡談話。由於談得投機，那人便送給慧遠禪師一根煙管和一些煙草。

與那人分開以後，慧遠禪師心想，這個東西會讓人感到很舒服，肯定會打擾我禪定，時間長了一定會惡習難改，還是趁早戒掉的好。於是，就把煙管和煙草全部都扔掉了。

又過了幾年，慧遠禪師又被《易經》迷上了。那時候正是冬天，天寒地凍。於是，慧遠禪師寫信給自己的老師，向老師索要過冬的寒衣。信寫完後，他託人騎快馬送到老師那裡。

但是，信寄出去很長時間了，當冬天已經過去，山上的雪都開始融化時，老師還沒有寄衣服來，也沒有任何的音信。於是，慧遠禪師用《易經》為自己占卜了一卦，結果算出那封信並沒有送到。

他心想：「易經占卜固然準確，但我如果沉迷此道，又怎麼能夠全心全意地參禪呢？」從此以後，他再也不接觸易經之術。

過了不久，慧遠禪師又迷上了書法，每天鑽研，居然小有成就。當時有幾個書法家也對他的書法讚不絕口。這時，他轉念想到：「我又偏離了自己的正道，再這樣下去，我就很有可能成為書法家，而成不了禪師了。」

從此，他一心參悟，放棄了一切與禪無關的東西，終於成了禪宗高僧。