杨素也算得上是个老谋深算的人物了，对此也不能不叹服道：“揣摩之才，不是我所能比得上的！”从此对封伦另眼看待，并多次指着宰相的交椅说：“封伦必定会占据我这个位置！”
可是，还没等到封伦爬上宰相的位置，隋朝便灭亡了，他便归顺了唐朝，他又要揣摩新的主子了。有一次，他随唐高祖李渊出游，途经秦始皇的墓地，这是一座连绵数十里、地上地下建筑极为宏伟、墓中随葬珍宝极为丰富的著名陵园，经过楚汉战争之后，地上建筑被破坏殆尽，只剩下了残砖碎瓦。李渊不禁十分感慨，对封伦说：“古代帝王耗尽百姓、国家的人力、财力大肆营建陵园，有什么益处！”
封伦一听这话，明白李渊是不赞同厚葬的，这个曾以建筑奢侈而自鸣得意的家伙立刻换了一副面孔，迎合地说：“上行下效，影响了一代又一代的风气。自秦汉两朝帝王实行厚葬，朝中百官、黎民百姓竞相仿效。古代坟墓，凡是里面埋藏有众多珍宝的，都很快被人盗掘。若是人死而地知，厚葬全都是白白地浪费；若是人死而人知，被人挖掘，难道不痛心吗？”