李鸿章于1861年12月奉命募勇，至1862年2月（同治元年正月），张树声、刘铭传、潘鼎新、吴长庆即各带所部团勇至安庆，并按湘军营制，编为最早之淮军4营；同时，曾国藩又从湘军拨来韩正国2个营，程学启2个营，张遇春1个营，以及新从湖南招募的4个营。这13个营中，张、刘、潘、吴4营为李新招，并有同乡乃至其他私人交谊；程学启、张遇春3营虽从湘军拨来，但弁勇全为安徽人，后者且为李之旧部。其他6个营之弁勇则均为湖南人，与李向无关系；韩正国2个营更为曾国藩之嫡系部队。其水师中，淮军数额也远不及湘军之多。更何况曾国藩既是李的老师和恩主，又是淮军的创建者和统帅者。这一切使初时的李鸿章军，名为淮军，实则与鲍超等军一样，都是湘军的一部分。
1862年4月，首批淮军乘坐上海官绅以18万两巨款租来的外国轮船至上海。至6月，陆营6500人全部到达，黄翼升水师不久亦至。4月25日，清廷擢李鸿章署江苏巡抚。
李鸿章率军到达上海后，首先大力整顿税政，扩大税收。据熟悉情况的人估计，1861年，“上海关税厘金所入终岁毋虑五百万”。但李鸿章初至上海，情况不熟，署布政使吴煦又有意把持封锁，遂仿照曾国藩对江西的办法，将上海财政一分为二，关税收入，仍由吴掌管，以备常胜军、会防局和镇江守军支用，厘金则由李派人接管，以作来沪湘淮军开支。数月后，吴卸署任他调，上海财政就全归李掌握。随着九江、汉口海关开征，上海关税收入虽然减少，但厘金田赋却因淮军收复失地日多而不断增加。此外，他还开办各种新捐税，再加上对吴煦把持、弊端极多的各项税政的整顿，革退不法人员，重新制定章程，也收到了较大效果。