龚半伦晚年流于江表（今上海），穷困潦倒，却依然挥霍放诞。彼时李鸿章刚好也在上海，怜其才，哀其贫，每月派人送去二百两银子。然而，龚半伦拿着二百两银子，照样吃喝嫖赌。
并且，龚半伦纳了一个沪上名妓为小妾，对其特别宠爱，夜夜玩“藏腊肠”游戏。当时，他的妻子也在沪上，十多年同城而居，龚半伦却从不和她见面，亦不通音问。两个儿子，偶尔去看望他，一样会遭到斥逐。
后来，李鸿章得知此事，断了对他的援助。龚半伦失去援助，沦落到卖父亲的藏书字画为生。更有传闻，龚半伦曾带领八国联军火烧圆明园，但并无史实佐证。然而，他乘圆明园毁灭之机豪夺文物、字画，并且巴结洋人等辱国之举，却是事实。
龚半伦把抢到的文物字画携带到上海变卖后，继续过着花天酒地，穷奢极欲的生活。1870年，龚自珍的生命走到了尽头，但身无分文的他，无奈之下，只好“斥卖遗书举其丧”