与此同时，上海起义军在陈其美的领导下也攻下了清军在上海的最重要据点——江南制造局，并于11月6日成立了沪军都督府，宣告上海光复，陈其美被推举为沪军都督。杭州光复后，蒋介石便回到了上海，协助陈其美整编革命军，维持上海治安。不久后，陈其美在上海商团的资助下，组建了5个团兵力的沪军，蒋介石被任命为沪军第5团团长。
1912年1月1日，革命在全国17个省都取得了胜利，南京也成立了中华民国临时政府，孙中山还被选为中华民国临时政府大总统。这时候，同盟会和光复会为了争夺权力发生了矛盾，上海同盟会负责人、沪军督军陈其美，指使蒋介石暗杀了即将就任浙江军政府督军的陶成章。这陶成章可是当时革命组织光复会的著名领袖，他曾经把会党中的宗派情绪带进了革命队伍，甚至都敢与孙中山拍桌子叫板，并因此还与孙中山产生过隔阂。但是，他在反对清朝封建统治的斗争中曾经多次深入基层，四方奔走联络各省革命党人，亲自组织并发动武装起义，是属于有功之臣，在革命党人中享有较大的威望。因此，陶成章被刺杀，立即引起了全国的震惊和革命党人的愤慨。为了平息民愤，孙中山命令陈其美，一定要缉拿凶手归案。陈其美一见大事不妙，又怕事情败露，就拿了一笔钱让蒋介石跑路，蒋介石有过留日的经历，只得逃到了日本躲避风头。