只不过杜伏威并没有自立为帝、角逐中原的打算，于是成为众多势力拉拢的对象，最先拉拢他的是宇文化及，封他为历阳太守，宇文化及的吝啬却激怒了杜伏威，他立刻投降了洛阳皇泰帝杨侗，皇泰帝封他为楚王，兼淮南六郡兵马大总管，出手比宇文化及大方得多。
但过不了多久，杨倓就被王世充谋朝窜位了，他所效忠的南隋王朝自此消失。
这些日子，不仅王世充派使者来拉拢，甚至连李渊也派使者前来游说，希望他能投降唐朝，李唐开出的条件极其优厚，打算封他东南道行台尚书令、江淮军事大总管、上柱国，加封楚王
但杜伏威却处于犹豫之中，因为如今的天下局势已经逐渐了明朗起来，将来统一天下者要么是大隋杨侗、要么是李唐李渊，至于王世充、窦建德、萧铣之流他也看不上。
相对来说，他了起来，隋朝不负他之所盼，果然还是派特使来了，他连忙道：“快将大隋使者请到驿馆休息，要以礼相待。”
“喏。”侍卫匆匆离去了。
杜伏威激动难平，虽然他没有立刻投降大隋王朝的意思，但隋者的到来使他有了更大选择，可以从容在隋唐之间考虑自己的前途，想了想，又令人将辅公祏请了来。
不大一会儿，一名四十多岁的大汉快步走到了进来，这名大汉便是杜伏威的亲密战友辅公祏，他在路上已经听说隋使到来，便匆匆赶来。
尽管两人私交情同兄弟，但在权力划分上杜伏威是主、辅公祏是副。没人在时，杜伏威会称辅公祏为大哥，但有外人时，他和众人一样称辅公祏为二将军。
“大哥请坐。”杜伏威亲切的说道。
辅公祏走进房间：“听说隋使来了？这么快就谈好了？”
“没有。”杜伏威摇了摇头，道：“我让他们先到驿馆休息，想先听听大哥的意见。”
辅公祏笑着入座。
两人在前途问题上的分歧很大，辅公祏反对投靠他人，当初之所以赞成投降皇泰帝杨倓，是因为杨倓太弱，控制不了他们，而他们却可以借杨倓的册封，从草寇变成官员，道理就跟李密接受魏王之封一样，他们都需要名正言顺。
但现在则不一样了，不管是大隋还是李唐，都是势力强大的诸侯，不管他们投降任何一人，都会遭受实际控制，如果反悔就会给对方歼灭的口实，所以辅公祏非常谨慎，他希望杜伏威拒绝任何人的招揽，效全力南下，创立一番基业。
待到天下彻底明朗再做决定，如果隋唐和李密谁也奈何不了谁，则主张仿效三国东吴，于南方自立一国，毕竟他们有自立的天然条件，又何必去受人窝囊气？