党的十一届三中全会后，邓小平成为党的第二代领导集体的核心。废除领导干部职务终身制，建立退休制度是当时邓小平提出的一个重要主张。早在1977年他重新恢复领导职务之时，就提出了干几年便退下来的要求。邓小平不愿意当中共中央主席的考虑就源于这样的背景。
从1980年起，邓小平即开始做退休的准备工作。8月18日，中央政治局召开了扩大会议，邓小平在《党和国家领导制度的改革》讲话中透露中央正在考虑再设立一个顾问委员会，积极发挥老同志的作用，同时也便于使党中央和国务院的日常工作更加精干，逐步实现年轻化。
1980年下半年，党内外有一种越来越强烈的舆论，认为在打倒“四人帮”以后，华国锋犯了严重错误，如热衷于“继承遗志”，坚持“两个凡是”，宣扬个人迷信，对老干部的解放、使用不积极，对“洋跃进”要负责任等等。尽管当时党内外的舆论非常复杂，但各方面形成的共识是，在过去四年工作中华国锋做过一些有益的工作，但是显然缺乏作为中共中央主席必要的政治能力和组织能力。同时，他也不胜任军委工作是显而易见的。因此，华国锋的党中央主席、军委主席的位置应该变动一下。
如何处理这个尖锐问题，人们期待着党中央的决策。叶剑英和其他同志一致提议由邓小平担任中共中央主席，党内外也一致要求邓小平出任中共中央主席，甚至连一些外国领导人也通过各种渠道表达了此种愿望。对此，邓小平婉言谢绝，并力排众议，推荐比较年轻的同志主持党中央的领导工作。他认为，在60多岁的人当中，胡耀邦政绩比较突出，所以提议胡耀邦担任中共中央主席，并对胡耀邦说要“当仁不让”
胡耀邦在与邓小平等几位德高望重的老一辈革命家的多次谈话中认为，党和国家正处在关键的历史转折时期，非常需要有邓小平这样无论在资历、威望还是才干上都非常卓越的老一辈革命家掌舵，自己不适合担任这么重要的职务。
从1980年11月10日至12月5日，中央政治局连续开了9次扩大会议，在第九次扩大会议上，胡耀邦还是表示：“几位老同志提名我担任党的主席，我是万万没有想到的。这不是什么谦虚，确实不够格。我也不同意……小平同志曾经说，要当仁不让。当仁不让我是同意的，但是，当不行就不上，也是正确的。”在最后一次就此问题交换意见时，邓小平用非常严肃的口吻对胡耀邦说：这是组织决定，党员必须服从。
中央政治局扩大会议经过充分讨论一致决定：向即将召开的十一届六中全会建议，同意华国锋辞去中央委员会主席、中央军委主席的职务；选举胡耀邦为中央委员会主席，邓小平为中央军委主席。在六中全会前，暂由胡耀邦主持中央政治局和中央常委会工作，由邓小平主持中央军委工作。
会议还通过《中共中央政治局会议通报》，指出：许多同志曾提议邓小平同志担任中央主席兼军委主席，因为这是众望所归。邓小平同志认为，由他担任中央主席不相宜。至于军委主席，暂时没有其他适当人选，他可以担任一段时间，以便培养比较年轻的同志将来接替。中央政治局一致同意了邓小平同志的意见。
中共十一届六中全会会场。
1981年6月29日下午，在中共十一届六中全会上，胡耀邦当选中共中央委员会主席后，向出席会议的中央委员们谈了他的意见：“第一点，这几年谁的贡献大一些？粉碎‘四人帮’之后，政治局和常委会的同志都在各自的岗位上作出了贡献。但是，贡献大一些、多一些的，还是老一辈革命家。拿常委来说，是叶剑英、邓小平、李先念、陈云4位同志。小平同志因为经验特别丰富，精力很充沛，加上长期斗争建立起来的巨大威望，他起的作用就更突出……第二点，两个没有变。我是在我们党一个特定的历史条件下，被推上现在这个岗位的。本来，按全党绝大多数同志的意愿，中央主席是要由小平同志来担当的。除小平同志之外，无论从水平、从能力、从威望来说，还有好些老同志都比我更合适……现在就这样定下来了，这当然是一个很大的变化。我有责任向全会说明，有两条并没有变：一是老革命家的作用没有变，二是我的水平也没有变……”
随后，邓小平发表讲话，他说：“我们这次把胡耀邦同志选作党的主席，刚才他作了一个简短的讲话，我想，这一段话也证明，我们这个选择是正确的。”