พ.ศ. ๒๓๒๔ อันเป็นปีสุดท้ายแห่งรัชกาลสมเด็จพระเจ้ากรุงธนบุรี สมเด็จพระสังฆราช (ศรี) ได้ถูกถอดจากตำแหน่งเนื่องจากได้ถวายวิสัชนาร่วมกับ พระพุฒาจารย์ วัดบางหว้าน้อย (วัดอมรินทราราม) และพระพิมลธรรม วัดโพธาราม (วัดพระเชตุพนหรือวัดโพธิ์) เรื่องพระสงฆ์ปุถุชนไม่ควรไหว้คฤหัสถ์ที่เป็นอริยบุคคล เนื่องจากคฤหัสถ์เป็นหินเพศต่ำ พระสงฆ์เป็นอุดมเพศที่สูง เพราะทรงผ้ากาสาวพัสตร์และพระจาตุปาริสุทธิศีลอันประเสริฐ ดังความว่า

     “ถึงมาตรว่าคฤหัสถ์เป็นพระโสดาก็ดี แต่เป็นหินเพศต่ำ อันพระสงฆ์ถึงเป็นปุถุชน ก็ตั้งอยู่ในอุดมเพศอันสูง เหตุทรงผ้ากาสาวพัสตร์ และพระจตุปาริสุทธิศีลอันประเสริฐ ซึ่งจะไหว้นบคฤหัสถ์ อันเป็นพระโสดานั้นก็บ่มิควร”

     ข้อวิสัชนาดังกล่าวนี้ไม่ต้องพระทัยสมเด็จพระเจ้ากรุงธนบุรี พระองค์จึงให้ถอดเสียจากตำแหน่งพระสังฆราช ลงมาเป็นพระอนุจร (พระธรรมดา) แล้วทรงตั้งพระโพธิวงศ์ เป็นสมเด็จพระสังฆราช และตั้งพระพุทธโฆษาจารย์ เป็นพระวันรัต

     เมื่อเจ้าพระยามหากษัตริย์ศึกทรงปราบดาภิเษกขึ้นเป็นพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลก เมื่อ พ.ศ. ๒๓๒๕ แล้ว ก็ทรงโปรดให้ถอดยศสมเด็จพระสังฆราช (ชื่น) วัดหงส์ฯ ลงเป็น พระธรรมธีรราชมหามุนี ทั้งนี้ทรงมีพระปรารภว่า "มีความรู้มาก เสียดายแต่ว่ามีสันดานสอพลอ" จากนั้นก็โปรดสถาปนาพระอาจารย์ศรี วัดระฆังโฆสิตาราม ขึ้นดำรงสมณฐานันดรศักดิ์ที่ "สมเด็จพระสังฆราช" อีกคำรบหนึ่ง จึงเป็นว่า พระสังฆราช (ศรี) วัดระฆัง ได้เป็นสังฆราชสองหน พระพุทธาจารย์และพระพิมลธรรมนั้น ก็ทรงโปรดให้คืนครองสมณศักดิ์และตำแหน่งดังเดิม และโปรดให้กลับครองวัดเก่าที่เคยสถิต