1950年5月20日，中央人民政府任命柯庆施为南京市市长，8月5日，中共中央决定柯庆施任中共南京市委书记。此后不久，南京市召开第二届各界人民代表第一次会议，正式选举柯庆施为南京市市长。至此，柯庆施成为南京市的党政一把手。
1952年9月9日，中共中央华东局根据党中央指示，决定将南京市、苏南行政区、苏北行政区合并为江苏省，同时将原属山东辖区的徐州市、新海连（连云港）市划回江苏省，江苏省的总面积与管辖范围有了明显扩展。行政区划调整结束后，中共中央于10月18日批准柯庆施任中共江苏省委第一书记。柯庆施成为主政江苏的要员和最核心人物。
1952年11月15日，中央人民政府第十九次会议通过决议，成立江苏省人民政府，原属华东军政委员会直辖的南京市，改为江苏省人民政府直辖市，会议决定谭震林出任江苏省人民政府主席，柯庆施等担任省政府副主席。
为了方便工作，1952年底柯庆施搬到了位于南京市西康路33号的宿舍，这里原来是美国驻华大使馆，前院是中共江苏省委办公厅，后院的3幢2层小楼，原来是武官宿舍，现住着柯庆施等7位江苏省委领导。身为江苏省委书记的柯庆施，每天步行去前院上班。他很喜欢西康路这里的房子，上班不用坐车，住在集体宿舍，没有独门独院，也可以方便接近群众。此后不久毛泽东来南京视察工作，在陪同人员中央办公厅主任杨尚昆、公安部长罗瑞卿的安排下，也曾住在西康路33号的房子。