貞享３年の春、祐天上人は増上寺を退出して、隠棲生活に入りました。50歳、増上寺で二臘の地位にあり、学頭になろうというときのことです。退出後しばらくは浅茅が原（台東区）蓮華院に滞在し、５月頃には牛島（墨田区東駒形）に移ったようです。
祐天上人の急な隠退の理由は、後期の伝記類にはもともと出世を望んでいなかったと記されていますが、初期の伝記である『顕誉大僧正伝略記』に「たちまち屯にあい」と書かれるのみではっきりとはわかりません。増上寺内での地位問題が絡んでいたのかもしれません。前年、貞享２年（１６８５）に本所の霊山寺が檀林として復興され、貞享３年増上寺学頭の鑑了が住職として赴きました。しかし、同年のうちに遷化してしまい、次期住職として廓瑩が赴くことになりました。またその頃、二臘三臘の人物が次々と檀林の住職になっています。檀林の住持に出世するには選挙（有権者は十七檀林住持、増上寺役職者ら61人）で選ばれなければならないのですが、その選挙制度が貞享２年に改正されており、１つの変革期にあったと考えられます。貞享２年、鑑了が去ったあと祐天上人は、増上寺での出世争いに嫌気がさし、隠棲を決意されたとも考えられます。
祐天上人は、庶民の間に念仏信仰をさらに広めたいという願いを持っておられ、これを機会に江戸の町に住み、その願いの実現に乗り出したようです。この年から祐天上人はしばらく旅に出たようです（元禄元年「祐天上人」参照）。
５月３日、祐天上人の弟子祐廓が入寂しました。弟子としては３番目に古い者でした。師匠に従った隠棲生活の苦労の中で弟子が寂したことは、祐天上人には深い悲しみであったと思われます。
牛島の地名は、あたかも牛が寝そべっているかのような、この土地の緩やかな起伏によると言われます。牛島は古くは中之郷、須崎、小梅、押上の４つの村からなる広い地域を指しましたが、祐天上人が隠棲していた場所は、特に本所牛島（墨田区）という地区でした。文政11年（１８２８）の『感応寺書上』に収められている『清薫一代記』には、「祐天大僧正いまた庵室にませし時、感応寺と軒近ふして、たかひに称名の声不断やまさるを」とあることから、感応寺があった地域（同区東駒形２丁目９、10番地辺り）のごく近くに上人の庵もあったと推定されます。