王琳毫不客气的激烈言辞非但没有让王顗觉得奇怪，反而有种见怪不怪的意思，显然他早便料到会是这样，毕竟，王琳与卢潜二人不合乃是由来已久，人所共知的事情。
王琳与卢潜，一个拱手将淮南奉送给北齐，如今又得了朝廷授予的“自专”之权，一时风头无两，手握重兵，身负众望；一个在淮南十数年，任总军民，大树风绩，南朝上下都忌惮不已：“卢潜犹在寿阳，闻其何当还北，此虏不死，方为国患。“同样影响力很大……正常历史轨迹上，南朝也是等卢潜回邺城担任五兵尚书之后，才动身北伐。照理来说，这两人强强联合才对。
但显然这二人都没做好准备，主要是心态没扭转过来，当了十几年的死对头，忽然要他们联合共事，即便是以王琳如今的豁达心境，也难以做到。
王琳与卢潜不合的矛盾点在于两个方面：其一，主次问题，讲道理，淮南是王琳献的，各地方大族也是王琳摆平的，王琳本该是淮南说一不二的人物。可朝廷是怎么做的？先把地方治权给剥了，然后又空降了一个“北齐版王思政”下来，让他们二人“共事”。
一山不容二虎，这是亘古不变的道理。
朝廷空降卢潜下来是什么意思大家心里都很清楚，王琳一样清楚，但王琳没有办法，都混到投奔北朝了，还想就凭着淮南割据咋地？
于是只能捏着鼻子认了，反正淮南还是他的地盘，他手里照样捏着兵权呢，想来卢潜一个北人，想在淮南占住脚跟必定不会是轻松的事情……他显然又低估了卢潜，这就导致了王琳的地位一步步受到挑战，在政争上面慢慢被拖入到了一个被动的局面。
北齐刚刚占领淮南的时候，对江北诸郡并不重视，认为这不过是意外得来的边鄙之地，一众勋臣更是视淮南为异己之地，在高洋许诺的“十年不加赋”期满的时候，北齐勋贵就开始对淮南进行了报复性的征税，不但赋税徭役日益繁重，还禁止百姓渔猎，百姓怨声载道。
不单单是剥削百姓，一些奸臣猾吏还把目光瞄向了淮南的大族、富户，胡作非为，比如将鲜卑胡商欠下的债务强行摊派到地方豪强的头上，令州郡强行收缴……北地征收过来的战马，也强买强卖给豪强们，刚收到钱马上又不认账了，借口国家有战事，要将马匹都收回去。
可以说，豪强和百姓都得罪光了，卢潜不一样，卢潜任扬州道行台左丞之后，严惩此类现象，平衡各方势力，保护百姓利益，史载：“辑谐内外，甚得边俗之和。”
这一枝独秀换来的是淮南各豪强的善意以及鼎力支持……如果单单只是如此，当然无法撼动王琳的地位，但卢潜又不是一个只会治政的书呆子……扬州与陈地毗邻，陈朝将领王奉国、周令珍先后入寇，都被卢潜打败，这样亮眼的表现，道一声文武全才不为过。
王琳开始感受到了危机感，两相对比，卢潜是北齐皇帝看重的大臣，而王琳只是一个南来降臣，忠心方面要圈起来打一个大大问号的那种。
邺城朝廷更加相信谁，可想而知。
于是为了保住自己地位，王琳开始有意无意的让人挑衅卢潜的地位，好给邺城朝廷一种“卢潜德不配位，赶紧换人吧”的暗示……高演也很鸡贼，一开始就没给王琳机会，鼓噪声势大力支持卢潜，将他扶上正位，而王琳则给扣几个大帽子，让他回来述职，从此王琳就坐上了冷板凳，退居二线。
当然，王琳现在好歹堂堂郡王，又是京畿大都督，领着五兵尚书之衔，根本看不起当年争的那点蝇头小利，但除此之外，他与卢潜还有一桩恩怨：
王琳降齐之后，一心要鼓动北齐伐陈，但跟许多北齐大臣一样，卢潜贯彻的是重西北而轻东南的国策，南伐之事因此受阻，无期限拖延下来……后来王琳被皇帝赏识，话语权重了之后，也多此向皇帝提议南下伐陈，又是这个卢潜上疏制止！
王琳不由得气结，他与陈霸先恩怨极深，其中滋味之复杂三言两语休想道尽，故而南下伐陈也几乎成了他的一桩心病……卢潜拦着不让他南伐计议得逞，就是他的生死大敌！
王琳自忖没有追究卢潜失地之责，已经是很有气度了，偏偏这个时候卢潜还要来撩他的火！
也就是面前的是王顗，换成别人非被他推出帐外鞭挞二十不可……王琳先是不悦的皱起了眉，而后深吸口气说道：“众人皆疑我，可你该知我才对，我王琳并非贪生怕死之人，关于眼下战局，我的意思还是那样，吴兵甚锐，而我多是屯田兵，训练不足，不能一战而克，得从长计议。”
王顗默然，晓得王琳所说的是事实，王琳也确实不是怕死的人，在平定侯景之乱中号称军功第一的王琳怎么会怕死，他若怕死，当年就该降了陈霸先，岂会为了旧主南梁萧氏屡屡与陈霸先作对？
若说这王琳身上最让人信服的，本事还是其次，最重要的是义气！
但王顗相信王琳的义气，陛下信不信？本就对王琳心存偏见的邺城朝廷信不信？这还是一桩难说的事情！
这厢王顗还在忧心忡忡，那厢王琳又自顾自地谈论起来了，“……陛下自己也在信上说了，只要不丢了寿阳，一切都好说，可见陛下本来也不报什么期待了……但我仔细研究了一下他们的路数，我觉得，这场仗我们是有很大几率可以打赢的。”
王顗当即愕然抬头，胜算