，通过了采取反共行动的决议。
为了替自己的反革命行动找借口，蒋介石指示手下四处造谣：
“共产党要暴动，推翻国民政府，组织工农政府。”
“汪精卫、王懋功都加入了共产党，共产党准备倒蒋，正在黄埔军校查帐，说蒋介石贪污。”
“有人要把蒋介石、陈立夫等劫往苏联，为他们二人前往苏联的护照都准备好了。”
“国民政府准备宣布共产，所有私人财产都要没收。”
诸如此类的谣言使得广州市民人心惶惶。
3月17日，陈立夫陪同蒋介石由黄埔乘汽艇到广州市东提八旗会馆广州卫戍司令部，再次放出谣言：“共产党有阴谋。”随即又将其寓所迁至有坚固工事的广州造币厂。
准备完毕之后，蒋介石决定从“中山舰”动手。
原来中山舰舰长李之龙是共产党员。他在任海军局政治部主任期间，曾查处过蒋介石的盟兄弟、虎门要塞司令陈肇英走私的活动，颇伤蒋介石的面子。更何况，李之龙后又被提拔为海军局代理局长，不论从哪一方面来看，打击李之龙都有利于蒋介石的野心。
3用旧日，蒋介石指使其亲信、黄埔军校驻省办事处主任欧阳格传达他的命令：
“着即通知海军局速派得力兵舰二艘，开赴黄埔，听候差遣。”
李之龙接到命令后，遂用纸笺写了两张命令，分别交宝壁舰舰长、中山舰代理舰长，命令即将舰只开赴黄埔，听候蒋校长调遣。
19日上午，宝壁舰、中山舰先后抵达黄埔。当中山舰开到黄埔之时，蒋介石既大耍无赖，矢口否认，声称“并无调遣该舰之命令”，中山舰“无故移动”，是“不法行动”，“显示共党阴谋暴动”。
这天晚上，蒋介石又召开紧急会议，商量办法。陈立夫参加了这个秘密会议，极力鼓动蒋介石不要错失良机，应立即采取行动，对共产党实行突然袭击。有人怕舆论谴责，陈立夫立即驳斥，认为不必顾忌，在陈立夫的鼓动下，蒋介石再次痛下决心，“今日若无决心，岂能挽救本党？”
20日凌晨，蒋介石派人抓走仍在睡梦之中的李之龙。随后又调动大批军队和警察，断绝广州市内交通，实行戒严，扣留中山舰及其他海军舰只，包围苏联顾问的办事处及住所，监视苏联顾问。拘捕黄埔军校及第一军第二师中的共产党员40多人。同时蒋介石还密令何应钦将驻防潮汕的第一军中的共产党员全部逮捕，并取消第一军的党代表制度，汪精卫的住宅也被蒋介石派兵“保护”起来。
由于共产国际指示的错误，由于陈独秀的右倾思想，“中山舰事件”之后，蒋介石很快达到了自己的目的：国民党中央政治会议作出查办李之龙，季山嘉等苏联顾问回国，共产党员撤出第一军的决议。汪精卫也声称病了，赴外地求医。
中山舰事件，陈立夫自始至终都参与了此事，并在其中担任了极不光彩的角色。如果不是陈立夫劝说蒋介石不要离广州，断不会有之后的中山舰事件。周恩来后来指出：“张静江、陈立夫都于1926年1月2日回到广州，同蒋介石进行勾结，挑拨国共关系。这就是3月20日中山舰事变的原因，也是3月28日事变以前的政治形势。”
在这件事上陈立夫所表现出来的对蒋介石的忠心、对共产党极端仇视的心理和顽固的反共态度以及在复杂事变中的机警沉着和诡计多端，都深深获得了蒋介石的赞赏。为此蒋介石在日记中写道：“今日方知孤臣孽子操心之危，处境之苦，若非亲历其境者决非想象所能及其万一也。”北伐开始后，陈立夫被提拔为国民革命军总司令部秘书处秘书兼机要科长。他工作认真负责，凡是蒋介石签发的文件，他总是逐字逐句地从头到尾阅读一遍，然后交监印员盖上大印。他对下属科员管束甚严，每到一地，他总要召集部下训话，要求机要科员精心保管好印章，文件等物品，以免战乱中受损大。
陈立夫的工作作风和态度，令蒋介石刮目相看。不久，蒋介石让他主管整个秘书处的工作，成为蒋介石的贴身心腹。这为陈立夫日后飞黄腾达奠定了基础。
5．鲍罗廷“不识果夫真面目”
蒋介石极力吹捧苏联顾问鲍罗廷：“孙中山是国父，鲍罗廷是亚父”。国民党中央在广州召开政治会议，决定迁都武汉。蒋介石提议迁都南昌。为说服武汉方面同意迁都南昌，蒋介石亲自到武汉，有人问：“既然蒋总司令这样革命，为什么还违抗国民党中央迁都武汉的决定？”鲍罗廷对陈果夫没有看透，一度想将他拉入革命队伍，还想争取陈果夫反蒋。
蒋介石对苏联顾问公开表示不满始于1926年3月20日“中山舰事件”。1926年3月20日中山舰舰长李之龙被捕时，蒋介石同时派兵包围了苏联顾问和汪精卫的住宅，并下令拘捕第一军中的共产党员，取消第一军的党代表制度。蒋介石之所以如此行动，是因为他确信苏联顾问、汪精卫和共产党串通一气，要将他逐出广州。
蒋介石发动政变前共产党已发现了一些蒋介石的意图，1926年1月，周恩来和两广区委书记陈延年一起找鲍罗廷商量，打算将全部共产党员撤出蒋介石的第一军，联合其他非蒋系部队，与汪精卫联合成立国共合作的军队，以孤立和打击蒋介石。蒋介石对此当然不会不知道。所以他先下手为强，发动“中山舰事件”，既整肃了他的第一军，又将他的首要政敌汪精卫驱出广州。随后，为了获得苏联顾问和中国共产党的谅解，不立即导致国共分裂，以“此事起于仓猝，其处置非常，事前未及报告，专擅之罪诚不敢辞”为由，“自请从严处分，以示惩戒而肃纪律”。蒋介石对苏联顾问不满的首要原因是苏联顾问支持中国共产党。
在北伐的问题上，苏联顾问和蒋介石也产生了尖锐的分歧。广东国民政府统一两广后，蒋介石认为北伐时机已经成熟，应立即北伐。而苏联顾问认为应首先在北伐所经省份发动群众，然后北伐军再出兵北伐，北伐才有必胜的把握。而在这时，中国共产党也是反对立即北伐的，1927年6月7日，陈独秀在《向导》上发表了《论国民政府之北伐》一文，认为：“革命的北伐时期尚未成熟。……现在的实际问题，不是怎样北伐，乃是怎样防御，怎样的防御吴佩孚之南伐，防御反赤军势力之扰害广东，防御广东内部买办、土豪、官僚、右派响应反赤。”苏联顾问和中国共产党反对北伐的言论如出一辙，这更加深了蒋介石的疑虑。
在北伐进军作战计划上，苏联顾问也和蒋介石发生了分歧。苏联顾问认为，北伐军从广东、广西出发后，首先应攻取湖南、湖北；占领武汉后，向西北进军，与冯玉祥部国民军会师后，以西北为基地，进攻东南沿海。为此目的，苏联首席军事顾问加仑亲至冯玉祥部做联络指导工作。而蒋介石主张北伐军占领武汉后，沿江东下，先占领江南半壁，然后北伐。现在看来，苏联顾问的主张确实是站在苏联的立场上看问题的，苏联有用冯玉祥率制蒋介石的意图。而蒋介石主张先占江南，再行北伐也是想巩固并扩大自己的势力。
正当苏联顾问和蒋介石的矛盾已经初露端倪时，1926年2月，鲍罗廷“回国述职”，不久，加仑前往冯玉样部，在广州的季山嘉接任了苏联顾问团首席顾问的职位。
季山嘉既没有鲍罗廷那样灵活的政治手腕，也没有加仑那样高明的军事才能，因此他和蒋介石的第一次谈话，就因故弄玄虚和无端讽刺蒋介石，而把事情搞僵。季山嘉向蒋介石提出了两条建议：一是建议蒋介石由海路运兵到北方去支援冯玉祥的国民军；二是劝蒋介石到北方去帮助冯玉祥训练国民军士兵。季山嘉建议立即触怒了蒋介石，蒋介石斥之为“儿戏欺人之谈”和“根本打消北伐之毒计”。
季山嘉很快就把和蒋介石的关系搞得水火不相容，以致最后迫使蒋介石找上汪精卫“明告其如不准我辞职，就令季山嘉回俄”季山嘉只得表示愿意辞职。季山嘉的愚蠢直接导致了“中山舰事件”，蒋介石派兵包围苏顾问住所，使他和苏联顾问的矛盾公开化。
当“中山舰事件”发生时，苏共中央执行委员会委员、苏联红军总政治部主任布勒诺夫率领的“苏俄观察团”正在广州检查苏联顾问团的工作。布勒诺夫也认为季山嘉是个混蛋，苏联顾问团举止失当，他因此指示顾问团在任何情况下都不应越轨，不应承担直接领导军队的责任，不得有过火行为，而应该“通过对国民党左派的工作，直接增强国民党本身”。可以说，布勒诺夫在处理“中山舰事件”上做了重大让步。
3月22日，布勒诺夫派人问蒋介石他发动“中山舰事件”是针对个别人还是针对苏联，蒋介石声称“对人不对俄”，并表示愿意同苏联继续合作，希望鲍罗廷速回广州。3月24日，布勒诺夫率观察团回国，被蒋介石驱逐的季山嘉也跟随同行。这样，蒋介石和苏联顾问团的紧张关系便由于布勒诺夫的退让和季山嘉的被逐而暂告缓和。
在对待中共问题上，苏联顾问和蒋介石的矛盾，无论如何是难以弥合的。在鲍罗廷1926年4月29日回到广州后不久，在“整理党务”问题L鲍罗廷便和蒋介石发生了冲突。由于1926年3月15日共产国际第六次执委会闭幕，该会把国民党接纳为同情党，把蒋介石列为共产国际主席团名誉委员和布勒诺夫对“中山舰事件”的处理，鲍罗廷对蒋介石“整理党务”采取了妥协的态度。企图暂取妥协态度，逐渐使国民党向“工农政党转变”。
蒋介石也做了妥协，他向鲍罗廷保证继续实行孙中山的联俄，联共，扶助农工三大政策，声称：“俄国力量，直接间接帮助我们，故要革命成功，须联苏俄共同打倒帝国主义。”对于共产国际，他说：‘’应该和第三国际联络，而且还承认它是在指导的地位。”
对于鲍罗廷本人，蒋介石也极力加以吹捧。他说，“孙中山是国父，”“鲍罗廷是亚父。”中国的政治、军事都要听鲍罗廷的指挥。
1926年7月，加仑返回广州，重任军事总顾问，他建议立即开始北伐，先进攻湖南、湖北，再进攻江西，占领江南，然后再视形势发展，向北进攻。他的这一作战计划符合蒋介石的意图，加上大敌当前，所以在以后的一段时间里，蒋介石和苏联顾问未再发生激烈的冲突。但是，冲突的根源并没有去掉，暂时的平静是在酝酿更大的冲突。
1926年10月10日，北伐军占领武昌，吴佩孚被打垮。11月8日，占领南昌，孙传芳部主力被消灭。大敌一去，国共统一战线内的矛盾立即显露出来。苏联顾问和蒋介石的矛盾首先表现在迁都问题上。
1926年11月26日，国民党中央在广州召开政治会议，决定迁都武汉。随后，在广州的国民党中央委员和国民政府委员分两批北迁。12月2日，首批北迁的陈友仁、吴玉章、徐谦。宋庆龄、王法勤和苏联顾问鲍罗廷等人抵南昌。12月7日在庐山举行中央会议，在会上，蒋介石提议迁都南昌。他的建议未被接受，其他人继续前往武汉，并于12月13日组成“中国国民党中央执行委员会及国民政府委员会临时联席会议”。主要组成人员有宋庆龄、徐谦、陈友仁、孙科、宋子文、邓演达、吴玉章、唐生智、于树德、詹大悲、王法勤、张发奎、柏文蔚、蒋作宾等。
武汉政府政治上的灵魂人物是鲍罗廷，主要组成人员像邓演达、陈友仁、徐谦等都属国民党左派，掌握军权的唐生智。张发奎也非蒋介石所能控制，尤其张发奎部，在国民革命军各军中共产党员最多，张发奎在政治上当时支持汪精卫。蒋介石的支持者当时主要在江西，要他离开江西，前往新都武汉，这意味着脱离自己的势力所在，受别人的控制。所以从1926年12月初开始，他便以种种名义，要求迁都南昌。1926年12月底，从广州出发的第二批国民党中央委员和国府委员到达南昌，蒋介石将这批人留在了南昌，并召开了一个国民党中央政治会议第三次临时会议，决定“中央党部与国府暂驻南昌”。第二批到达南昌的国民党中央委员和国府委员在国民党大员中资格大多比较老，职位也比较高，如张静江是中央政治会议浙江政治分会主席、谭延铠是国民政府代主席。
迁都之争马上引起了在武汉的国民党中央执行委员和蒋介石间的争吵。1927年1月1日，武汉方面宣布国民党中央及国民政府已迁都武昌，并于3日举行迁都和北伐胜利庆祝大会。同一天，蒋介石致电武昌，声称根据南昌国民党中央政治会议决定，以及北伐政治军事需要，国民政府暂设南昌。武汉方面复电表示反对。
为说服武汉方面同意迁都南昌，1927年1月9日，蒋介石亲赴武汉说服。因为蒋介石是攻占武汉后第一次来武昌，武汉各界举行了有30万人参加的盛大的欢迎会，蒋介石在会上发表了演说。当蒋介石演说正在兴头上的时候，有人当场站起责问蒋介石：
“既然蒋总司令这样革命，为什么还违抗国民党中央迁都武汉的决定？为什么无理扣留国民党中央委员？”
这样让蒋介石下不来台，蒋介石当然得理解为有人指使。何况苏联顾问鲍罗廷接着讲话，声称革命要依靠人民，发扬民主，反对个人独裁，要求提高党权，简直是不给蒋介石面子了。
蒋介石刚到武汉时，鲍罗廷当面对他说：
“蒋介石同志，我们三年以来，共事在患难之中，所做的事情，你应该晓得，如果有压迫农工，反对C·P的这种事情，我们无论如何要想法子打倒他的。”
蒋介石回到南昌以后，虽然表面上承认武汉为迁都之地，拥护迁都武汉，但他和鲍罗廷的矛盾却急剧恶化。他又拿出对付季山嘉的手段，在回到南昌以后，于1月19日给武汉联席会议主席徐谦打电报，声称鲍罗廷当众侮辱了他，要求撤去鲍罗廷的总顾问职务。为了进一步为最后和苏联摊牌做准备，蒋介石开始攻击苏联，他在南昌总部第13次总理纪念周上说：
“无论哪一国，如其放弃帝国主义政策，能以平等待我中国的时候，那么我们对他们，如同对苏俄一个样子。……着苏俄一旦不以平等待我，像别的帝国主义一样压迫我们的时候，我们也像反对帝国主义一样反对他们。”
1927年“四·一二”反革命政变后，宁粤尖锐对立。在和武汉的对骂中，蒋介石把鲍罗廷看为罪魁祸首。他说：
“现在汉口有一班叛党的党员，勾结共产党，情愿受鲍罗廷的支配，假冒我们国民党的招牌，来骗一般的民众，来破坏国民革命，想把我们国民党的党权政权统统落在他们的手里。”
1927年4月18日，南京国民党政府成立，由胡汉民出任主席。第二天，胡汉民下令通缉共产党和跨党分子，共197人，第一人赫然是苏联顾问鲍罗廷，第二是中共总书记陈独秀。
鲍罗廷对蒋介石的反共反苏的真面目认识是比较早的，所以对他采取了孤立和斗争的政策。陈果夫由于经常不动声色，鲍罗廷对他的认识就比较少了，以至于一度还想将他拉人革命队伍，据陈果夫回忆说，1926年11月国民党中央委员及各省市海外党部代表联席会议闭幕后，“鲍罗廷第二天下午就约我到他那里去谈话。他问我是否英士先生之侄，他说俄国人对英土先生很尊敬，他个人尤其敬佩。接着要我说一点有关英士先生的革命历