即使这个推荐，也由于下面这条建议而变得没有多大价值了；他的“才智，使他更适合于向军事政治方面而不是单纯的军事方面发展”。因为卡纳里斯虽然勇敢、能干，却根本不具备高级指挥官必须具有的冷酷无情的进取个性。再说雷德尔也不喜欢他。舰队司令的职位当然被别人抢走了，卡纳里斯只捞到一个闲职：波罗的海斯温明德海军站站长，就在那里等着告老还乡了。
但是，他到达那儿几个星期之后，帕齐希被解职了。帕齐希推荐卡纳里斯接替职务。卡纳里斯的级别相称，他的服役记录是优秀的。他熟悉外国。他的上级多次强调他在政治军事方面是有能力的，而且也有间谍工作的经验。他是亲纳粹的，这将有助于消除曾使帕齐希陷入困境的磨擦。从各方面来说，他非常适合担任这个职务，只有雷德尔不喜欢他。雷德尔拒绝了帕齐希的推荐。只是当帕齐希指出，不这么做，海军就得把谍报处交给陆军，因为谍报处里再也没有更合适的海军军官可以继任这一职务，雷德尔方才同意。一九三四年深秋，雷德尔把卡纳里斯从斯温明德召来，派他到柏林去熟悉他的新工作。一九三五年一月一日，卡纳里斯上校担任了德国间谍和反间谍机构的领导人，那天他正好四十八岁。
他年纪不算很大，头发却过早花白了，人们因此称他“白发老头”。他的风度不象军人。他动作轻，不引人注目。在他的办公室“狐狸窝”里，他总是突然出现在人们面前；谁也没有听到他到来的动静。他不修边幅，喜穿便服，不爱着军装，即使穿军装，总是捡最旧的穿。他把他的勋章扔到抽屉里，和一些乱七八糟的东西放在一起。他的下级听说他曾经获得金质德国十字勋章，却无法从他那里得到证实。他晋升为海军少将、中将和上将，还是别人告诉他们的。他的妻子和两个女儿和他一样，不注重仪容。一天晚上，他参加大型招待会，会后穿着一身礼服回到家里，一个女儿见了就嚷开了： “瞧您这别扭1 ”这件事典型地说明了他的家庭对这个问题的态度。然而他很注重社会礼节，非常客气，遇有约会，总要提前到达。
他似乎一年四季总是感到不够暖和。即使在夏天，他也时常穿一件大衣。他打网球的时候，穿一件厚毛衣。他有点儿患失眠症和疑病症。他每天早晨六点钟起床，在街上碰到他的邻居、钢琴家赫尔穆特·毛雷尔时，总要带点妒忌地问： “你睡得好吗？”而他自己需要服用大量的环巴比特鲁和溴异戊醯脲，才能安静地睡上几个小时。他总是劝别人服用他常吃的这种安眠药。他休息的办法是骑马和打网球，出其不意是他打球的致胜秘诀。
他的家庭生活是和谐的，虽然在战争期间，他的妻子和两个女儿住在巴伐利亚阿梅尔湖，而他却留在柏林，每年探家两三次。他秉性和蔼，关心手下的工作人员。有一个星期天，他请一位年轻女秘书替他打一份备忘录。她带上眼镜打了起来。看到这种情景，他便问： “孩子，为什么要戴眼镜？”她回答说她近视了，他说，这么年轻不应该戴眼镜。
谈话虽然不长，却使她看到：他在关心下级，把他们看作人，而不是一群仅仅替他卖命干活的劳力。他在和人打招呼时总是喜欢称“您”，更证明了他的友好态度。
他喜爱动物。除了家里养了一只鹦鹉外，他还有一对小猎狗，成天在办公室里跟着他转。他常常和它们说话。有时候，他关心它们似乎胜过关心他的下级和他的工作。他在意大利的时候，有一次打电话到柏林，询问其中一只生病的小狗的情况，他问得很详细，以致一些意大利人认为他是在用暗语讲话，其实这是真事。他认为一个人如果不喜欢狗，那么这个人就不能信任。他本人说过，他相信动物甚至胜过相信人。希特勒也讲过类似的话。
他对生活的基本态度是悲观的。他常常一脸忧伤。除了同朋友们在一起时外，平时很少讲话。为了养精蓄锐，应付极沉重的工作负担，他每到晚上十点整就撇开由他照管的一大堆事务。有一次，他向一位下级解释说： “晚上十点以后，谁也讲不了正经话。”这位军官轻声答道； “十点以前也是这样，上将先生。”他的文化兴趣广泛，手不释卷，尤其喜欢阅读外事方面的东西，但也喜好纯文学；他常常将哲学和史前学方面的书籍馈赠同事。谁都说他聪明。他善于迅速抓住别人的思想，讨厌开长会。
他的性格中也有令人不愉快的一面，不过并不伤人感情·他在每日召开的碰头会上，当一位下级汇报情况的时候，他总要挖苦地评论几句。当他和他的副手、非常讲究衣着的汉斯·奥斯特，在他家后面的网球场上比赛的时候，他喜欢把奥斯特逼到土质地面网球场的潮湿角落里，较量个没完，直到他最后使奥斯特滑倒了，把刚刚烫过的白色长裤子坐上一屁股泥方才罢休。他听下级口头汇报的时候，有时不停地追问细节，下级只好承认自己也弄不清楚。
但是，他的下级似乎觉得他的讥讽挖苦不带尖酸刻薄，反倒具有内在的幽默和善意，因为他们喜欢他，甚至热爱他。他们喜欢听他讲述如何对付爱发火的上级的故事。上级发火，就要骂人，他对付的办法，就是上级骂一句，他就重复这句中的最后一个词。上级骂“你们的舱面军官是个蠢猪！”卡纳里斯答道“蠢猪！” “这家伙干事恬不知耻！”
“恬不知耻！”一骂一答，上级的火气也就慢慢地消了。
这个方法是纯粹卡纳里斯式的。同他一样，它是在兜圈子和玩弄词义的细微差别，使上级的火气转到他自己身上。
卡纳里斯很少直截了当地说是或不是。他常常以反问来回答问题。他讲话总是半吞半吐，含含糊糊。他不喜欢强迫。他不适于当行政官也就不令人奇怪了。他不善于负领导责任。
他对不同的下级下达互相矛盾的指示。他在视察部下时常常招致混乱。他挑选的一些下级是很糟糕的，他能容忍那些不能胜任职务的人。当外面批评他们时，他却极力替他们辩护。然而总的说来，他的性格有些怪，他的一位直接下级说他是自当军人以来所共过事的上级中最难相处的一个。空军情报机构的一位负责人说他是一个好的情报人员，但不是一位杰出的领导。
他在接替谍报处的领导职务时面临的头一个问题，就是曾经使他的前任丢掉了职务的那个问题：同纳粹党及其控制的机构的磨擦。他用简单的办法解决了这个问题。他破除了帕齐希的观点，开始同希姆莱的人进行合作。一九三五年一月十七日，也就是他担任谍报处领导两个半星期之后，他和一个下级从下午三点至六点，在国防部会晤了海德里希及其三名军官，就谍报处、盖世太保和党卫队保安处之间的分工达成了协议。五天以后，大概是在卡纳里斯的敦促下，国防部长勃鲁姆堡要求内务部长和财政部长采取一些安慰海德里希的措施。海德里希则撤掉了盖世太保里一位反谍报处的官员，换上一个比较讲究策略的人，这个人同卡纳里斯相处很好。两年以后，一九三六年十二月二十一日，海德里希和卡纳里斯签订了“十诫”，进一步划分了谍报处和盖世太保之间反谍报活动的权限。
这几个互相竞争的机构的上层，表面上没有磨擦，多半归功于它们的领导人之间的私人关系。一九二三年和一九二四年，卡纳里斯在《柏林》号巡洋舰上当大副的时候，海德里希是该舰上的伺官生。海德里希在表面上至少总是尊重和亲近年纪比他大的卡纳里斯的。他们经常共进午餐。他们住在柏林西南的一个住宅区内，两家相隔不远。海德里希一家常常邀请卡纳里斯一家玩槌球游戏；卡纳里斯一家经常邀请海德里希一家吃饭，主人亲自烹调，作一些稀罕的佳肴，例如黑面包屑裹猪肋，还有红葡萄酒。卡纳里斯太太和海德里希一起拉过小提琴。卡纳里斯和海德里希两家曾经在布拉格一块儿度过一个星期。
卡纳里斯还是意识到野心勃勃的海德里希所构成的威胁。有一天，他的邻居毛雷尔正往车站走去，突然从拐角处窜出一个人和一条狗。那条狗猛扑过来。虽然那个人吹了一声口哨，把狗唤回去了，毛雷尔却恼羞成怒，警告那个人：下次再发生这样的事情，他不但要开枪把狗打死，还要把人打死。几天以后，卡纳里斯把毛雷尔介绍给一个人，这个人恰好就是那条狗的主人“海德里希先生”。海德里希说他已经认识毛雷尔；他就是曾经想打死他的那个人。卡纳里斯立即问道， “是吗？什么时候？”但是这位满头白发的海军上将似乎缺乏个性力量去同魄力粗犷的海德里希进行斗争。有一次，海德里希告诉他，一位新教牧师（卡纳里斯的一位相识）还在继续进行反纳粹活动。卡纳里斯本当要问，这个人在集中营里怎么能进行这样的活动？但是他却保持沉默。另有一次，海德里希表白自己一直是反对砸玻璃窗那天晚上发生的反犹太人暴乱的， 自己参加那次行动，只不过是在执行他的命令，他听了以后照样一声不吭。
卡纳里斯面临的另一个紧急问题，是谍报处的机构在迅速扩大。卡纳里斯就任后不到十一个星期，希特勒宣布恢复征兵和扩军。军区数目从七个增加到十二个，每个军区设一个谍报站。不仅谍报站的数目在增加，每个谍报站的人数也在增加。在二十年代，每个谍报站只有一至两名军官。在一九三七年，仅慕尼黑谍报站就有十名军官。另外还有土兵，文职官员和雇员。
卡纳里斯还预见到，自从一九二八年以来一直是军队的“唯一情报收集站”的谍报处，将重新变成纯粹间谍机构。
在他上任的头一年，这个变化过程还未开始之前，谍报处共有六个组：一组，陆军谍报组。二组，密码中心。三组，反谍报组。四组，破坏和暴动组。五组，海军谍报组，包括驻海军通讯情报处联络处。六组，空军谍报组。密码中心和罗韦尔的空中侦察中队脱离谍报处，使这个机构不再起非谍报活动的作用。一九三六年的一次改组把几个谍报组集中起来，从而加强了这个机构在谍报方面的工作。这次改组将一，五、六组划归一组组长指挥。与此同时，六组重新编为七组，驻海军通讯情报处联络处编为四组。二组空缺起来。
一九三八年六月一日谍报处进行的一次新改组，使这个机构朝着专门从事谍报活动的方向发展的趋势达到顶点，因为经过这次改组，谍报处升为谍报局——级别同武装部队最高统帅部其他机构一样得到了提升，目的显然是使这个新指挥机构享有较高威望。谍报局一处专门负责武装部队的全部间谍活动，陆、海、空军的谍报组成为一处的组级机构。七组即破坏和少数民族暴动组成为谍报局二处。三组即反谍报组成为谍报局三处。原来的二组取消。第四组即驻海军通讯情报处联络处，并入纳粹党对外处，对外处在同一天划归卡纳里斯的谍报局。对外处最初处理涉及德国武装部队的国际法和国际条约，后来它的作用逐渐加强。它主要向武装部队最高统帅部提供有关外国政治局势的情报，只要这种情报是涉及军事问题的。它为最高统帅部分析外国报刊，使最高统帅部同外交部保持联系，并且充当德国军队驻外武官和外国武装部队驻柏林武官的联络处。这个处的处长，从一九三八年夏到战争结束时为止是利奥波德·比尔克纳海军上校（后来升为海军中将）。一九三九年，卡纳里斯在总部增设一个中心组，从而完成了机构的改组。中心组组长是奥斯特上校，就是那个打网球时坐了一屁股泥的奥斯特，从此他成了卡纳里斯的参谋长。这个组处理人事、财政和其他行政问题。比如，它的一个小组集中保管特务的档案，这些档案装在大型金属桶里，桶顶有开口。每个特务都有一张档案卡，如果档案材料太多，一张卡片填不下，就立一个档案袋。
卡纳里斯的工作不仅仅是管理自己的机构，希特勒还利用他作私人使者和收集情报。卡纳里斯在布加勒斯特同罗马尼亚独裁者会谈，在马德里会晤西班牙参谋长和佛朗哥，在罗马会见墨索里尼，墨索里尼倒台后会晤意大利情报头子。
他为了维护自己机构的利益，同其他政府机构进行斗争。法国陷落以后，意大利人企图独霸法国的地中海沿岸地区；卡纳里斯敦促德国参与霸占，因为那里的港口，为同北非和世界其他地方进行联系提供了最优良的交通便利条件，他的这场斗争失败了，但是却赢得了另外一场斗争的胜利。在一次部际会议上，有人认为谍报局特务不应该扮作商人渗入北非，因为这种做法促使法国更加抵制德国的经济活动。卡纳里斯提出异议，他说收集盟军在德国以南地区活动的情报无比重要，外交部终于让步了。
在谍报局内部，那些并非从事收集情报的单位所承担的任务，使他不能专心致力于谍报工作。他同耶路撒冷大穆夫提⑩磋商如何进行破坏。他亲自承担谍报局对外处在武装部队和外交部之间执行联络的任务，向陆军参谋总长哈尔德报告一位高级美国外交官访问罗马和柏林的情况。看起来，他提供间谍情报，的确还没有他做其他事情来得经常。他向武装部队最高统帅部高级军官频繁递交的报告，很少涉及间谍情报。他时常向哈尔德报告总的形势，他会见希特勒有几十次。他参加过讨论如何攻打比利时要塞，例如“坚不可摧的”埃本·埃马尔要塞的历时两个半小时的会议。他向执行破坏任务的部队介绍了荷兰军服是什么样子。在波兰战役期间，希特勒问西线有什么情况，卡纳里斯说法国正在准备进攻萨尔布吕肯，希特勒不相信这个消息。 “我不相信法军正好要进攻萨尔布吕肯地区，因为我们在那儿的阵地最坚固。”
希特勒猜对了。另有一次，卡纳里斯把一件不该泄露的事情，泄露给意大利人，被希特勒臭骂了一通。
卡纳里斯反倒觉得“同希特勒可以谈论问题，他是讲道理的，如果你说得得当，他是能够理解你的观点的。”这是因为，在一九三八年以前，卡纳里斯一直是拥护希特勒的。
卡纳里斯在那一年发表的一篇文章中，半带自传体地写道：“正如战前军官必然是君主制度的拥护者一样……今天他成为国家社会主义者……自然就可以理解了……德国军队将成为国家社会主义意志的发展工具。”希特勒并吞奥地利之前一个月，卡纳里斯亲自导演了一些欺骗活动，给人造成德国正在为这次入侵进行认真的军事准备的印象。几个星期以后，他对一群情报参谋官说，他希望他们按照纳粹方式行动，他还老老实实地告诉他们，如果他们脱离纳粹党，将会受到惩罚。
但是，就在这个时候，他开始抛弃纳粹主义。他的性格决定了他是反对污辱犹太人的。他批评党卫队审问有同性恋嫌疑的陆军总司令的“卑劣作法”。后来他大概发现，迫使这位总司令辞职的上述指控，实际上是纳粹党的一次卑鄙陷害，目的是要让一个比较亲纳粹的人来代替他。最决定性的因素，或许是两个强烈反对纳粹党的军官（奥斯特是其中的一位）来到他身边，担任他的四名直接下级中的两名下级。
在英国对德宣战的那天晚上，卡纳里斯和三位下级正在访问一位负责反谍报的盖世太保官员的家庭