管仲去世之后，齐桓公似乎也没有什么心思继续争霸的事业，只是在公元前６４４年组织鲁国、宋国、陈国、卫国、郑国、许国、邢国和曹国的国君在淮地会盟，共同商议如何援救被淮夷侵犯的鄫国，向东方用兵。除了商量救援鄫国之外，齐桓公还号召各诸侯国一起帮助鄫国修筑城墙。
修筑城墙是一件很辛苦的工作，各诸侯国派来服劳役的人纷纷叫苦不迭，城墙的修筑工作进展缓慢。
有一天夜里，不知是谁在附近的山头上大声叫嚷：“齐国发生动乱了！”
诸侯们听见有人这么喊，也不去探究原因，直接就扔下没有修好的城池，带领自己的部下，各回各家了。
从这件事能反映出一个很现实的问题，齐桓公的威望严重下降，对中原诸侯国已经把控不住了。
第二年的冬天，齐桓公病重，还没等他薨逝，齐国的宫廷就乱做了一团。
早在齐桓公任命管仲为相之前，二人之间就进行过一次长谈，齐桓公很坦率地告诉管仲，自己志在称霸；同时，他也将自己的缺点一一罗列出来，请管仲帮他分析分析，这些毛病在多大程度上会影响他的霸业。
《管子·小匡》中是这么记载这段对话的：
公曰：“寡人有大邪三，其犹尚可以为国乎？”对曰：“臣未得闻。”公曰：“寡人不幸而好田，晦夜而至禽侧，田莫不见禽而后反。诸侯使者无所致，百官有司无所复。”对曰：“恶则恶矣，然非其急者也。”公曰：“寡人不幸而好酒，日夜相继，诸侯使者无所致、百官有司无所复。”对曰：“恶则恶矣，然非其急者也。”公曰、“寡人有污行，不幸而好色，而姑姊有不嫁者。”对曰：“恶则恶矣，然非其急者也。”公作色曰：“此三者且可，则恶有不可者矣？”对曰：“人君唯优与不敏为不可，优则亡众，不敏不及事。”
齐桓公说：“我这个人呐，有三大缺点，还能把国家治理好吗？”
管仲说：“您说说，我听听，都是什么缺点啊？”
齐桓公说：“我特别喜欢打猎，每次出去打猎都玩到天黑，直到田野里万籁俱寂，再也见不到鸟兽的踪影了，才肯回来。诸侯的使臣想见我，往往要等上很久；朝中的大臣有事情向我汇报，也没法找到我。”
管仲听了，回答说：“这的确是一个缺点，不过也不算很要紧。”
齐桓公又说：“我还特别喜欢饮酒，经常从白天喝到晚上，而且一喝酒，别的事情就都顾不上了。”
管仲说：“这个毛病不好，不过也不算很严重。”
齐桓公最后说：“我还有个缺点，就是太好色了。公室亲族中有好几位女子因为与我有染，都无法许配别人。”
管仲听了，还是说：“这个缺点也不好，不过也没有什么要紧的。”
齐桓公很惊讶：“这都不要紧，那什么算是要紧的啊？”
管仲回答：“做国君的人，最重要的是不可以优柔寡断，头脑不可以部敏锐。优柔寡断的人无法领导群臣；头脑部敏锐的人无法做出正确的判断，根本成不了大事。”
齐桓公的一生可以说是很顺利的，早年最大的危机就是与公子纠争夺国君之位，争位成功之后，在管仲、“桓管五杰”以及其他大臣的辅佐下，齐国的国力蒸蒸日上，很快就在中原诸侯中成为领军人物。他的人生比晋文公、楚庄王等人要平顺很多。
然而，齐桓公到了晚年，明显地越来越糊涂，尤其在继承人的问题上，出现了重大的疏漏，导致自己不得善终。
齐桓公有三位正室夫人，分别是来自周王室的王姬，来自南方徐国的徐嬴，以及来自蔡国的蔡姬。这三位夫人都没有生下子嗣，因此齐桓公没有嫡子。
齐桓公好色，后宫美女无数，其中有六位侧室很受宠，待遇如同正室夫人。后世所说的“如夫人”这个词就是由此而来。这六位“如夫人”分别是：来自卫国的长卫姬，生了公子无亏；也是来自卫国的少卫姬，生了公子元；来自郑国的郑姬，生了公子昭；来自葛国的葛嬴，生了公子潘；来自密国的密姬，生了公子商人；来自宋国的宋华子，生了公子雍。宋华子和公子雍没有什么外臣支持，相对比较低调。除了这六个儿子之外，齐桓公还有很多子嗣，因此，立谁做继承人，是一个必须慎重对待的事情。
管仲去世之前，齐桓公曾经与他商议过继承人的问题，当时他们决定立公子昭为太子。齐桓公还特意将公子昭托付给宋国的国君宋襄公，请他日后支持公子昭即位。
长卫姬得知自己的儿子没有被立为继承人，就联合了易牙和竖刁，一起在齐桓公的耳边吹风，让他改立公子无亏为太子。齐桓公的糊涂在这里就体现出来了，他竟然私下里答应了长卫姬的请求。
公元前年，齐桓公病重。几个公子为了能够坐上国君之位，互相厮杀。他们担心齐桓公对外宣布的继承人不是自己，干脆在宫中筑起高墙，把齐桓公养病的宫殿与外界隔离，无法传递消息。
史书上对于齐桓公之死有两种说法。一种认为，齐桓公被困宫中，最后被自己的儿子活活饿死；另一种观点则认为，齐桓公发现无法脱困，于是自尽身亡。无论他是怎么死的，终究是不得善终。
《史记》记载，齐桓公的尸体在榻上无人过问，直到六十七天之后，尸虫爬到了宫外，打得你死我活的公子们才知道齐桓公早已命丧黄泉。
一代霸主的结局竟然如此凄凉。