见于史籍，最早的潘姓人物是春秋时楚国太师潘崇，其世代为当朝有势力的家族。

西晋时有文学家潘岳，曾任河阳令、著作郎，给事黄门侍郎等职，以其文字才华及“美姿容”而著名。在文学方面他长于诗赋，文词华靡，为当时形式主义诗风的代表人物，与陆机齐名，其《悼亡诗》为世传诵。

宋代有大将潘美，为赵匡胤手下重要军事将领，屡立战功，累官至忠武军节度使，封代国公。

明代有著名水利家潘季驯，他自嘉靖末到万历间，四任总理河道，先后达二十七年。他治黄方法是：筑堤防溢，建坝减水，以堤束水，以水攻沙，河行旧道，反对改流，讲究修防，借黄（黄河）通运（运河）。他著书多部，甚有影响。

清朝有学者潘来，博涉经史及历算声韵之学，曾参与纂修《明史》。

现代人潘天寿，杰出的画家、美术教育家，平生积极从事艺术创作和艺术教育工作，为继承和发展我国传统绘画艺术，为培养美术人才等作出了可贵的贡献。他精于写意花鸟和山水，笔墨有金石味，朴厚劲挺，气势雄阔，融诗、书、画、印于一体，形成自己的特色。