这一日杨过从屋里出未，又要去捉蟋蟀，越弹指阁，经两忘峰，刚绕过清啸亭，忽听得山后笑语声喧，忙奔将过去，只见郭芙和武氏兄弟翻石拨草，也正在捕捉蟋蟀。武敦儒拿着个小竹筒，郭芙捧着一只瓦盆。
武修文翻开一块石头，嗤的一响，一只大蟋蟀跳了出来。武修文纵身扑上，双手按住，欢声大叫。郭芙叫道：“给我，给我。”武修文拿起蟋蟀，道：“好罢，给你。”揭开瓦盆盖，放在盆里，只见这蟋蟀方头健腿、巨颚粗腰，甚是雄骏。武修文道：“这只蟋蟀定是无敌大将军，杨哥哥，你那许多蟋蟀儿都打它不过。”
杨过不服，从怀中取出几竹筒蟋蟀，挑出最凶猛的一只来与之相斗。斗得几个回合，那大蟋蟀张开巨口咬去，将杨过的那只拦腰咬住，摔出盆外，随即振翅而鸣，洋洋得意。郭芙拍手欢叫：“我的打赢啦！”杨过道：“别忙，还有呢。”可是他连出三蟀，尽数败下阵来，第三只甚至被巨蟀一口咬成两截。
杨过脸上无光，道：“不玩啦！”转身便走。忽听得后面草丛中叽叽叽的叫了三声，正是蟋蟀鸣叫，声音却颇有些古怪。武敦儒道：“又是一只。”
拨开草丛，突然向后急跃，惊道：“蛇，蛇！”杨过转过身来，果见一条花纹斑斓的毒蛇，昂首吐舌的盘在草中。杨过拾起一块石子，对准了摔去，正中蛇头，那毒蛇扭曲了几下，便即死了。只见毒蛇所盘之旁存一只黑黝黝的小蟋蟀，相貌奇丑，却展翅发出叽叽之声。
郭芙笑道：“杨哥哥，你捉这小黑鬼啊。”杨过听出她话中有讥嘲之意，激发了胸中傲气，说道：“好，捉就捉。”当下将黑蟋蟀捉了过来。郭芙笑道：“你这只小黑鬼，要来干甚么？想跟我的无敌大将军斗斗吗？”杨过怒道：“斗就斗，小黑鬼也不是给人欺负的。”将黑蟀放在郭芙的瓦盆之中。
说也奇怪，那大蟋蟀见到小黑蟀竟有畏惧之意，不住退缩。郭芙与武氏兄弟大声叱喝，为大蟋蟀加劲助威。小黑蟋蟀昂头纵跃面前，那大蟀不敢接战，想跃出盆去。小黑蟀也即跃高，在半空咬住大蟀的尾巴，双蟀齐落，那大蟋蟀抖了几抖，翻转肚腹而死。原来蟋蟀之中有一种喜与毒虫共居，与蜈蚣共居的称为“蜈蚣蟀”，与毒蛇共居的称为“蛇蟀”，因身上染有毒虫气息，非常蟀之所能敌。杨过所捉到的小黑蟀正是一只蛇蟀。
郭芙见自己的无敌大将军一战即死，很不高兴，转念一想，道：“杨哥哥，你这头小黑鬼给了我罢。”杨过道：“给你么，本来没甚么大不了，但你为甚么骂它小黑鬼？”郭芙小嘴一撇，悻悻的道：“不给就不给，希罕吗？”
拿起瓦盆一抖，将小黑蟀倒在地上，右脚端落，登时踏死。杨过又惊又怒，气血上涌，满脸涨得通红，登时按捺不住，反手一掌，重重打了她个耳光。
郭芙一楞，还没决定哭是不哭，武修文骂道：“你这小子打人！”向杨过胸口就是一拳。他家学渊源，自小得父母亲传，武功己有相当根基，这拳正中杨过前胸，力道着实不轻。杨过大怒，回手也是一拳，武修文闪身避过，杨过追上扑击，武敦儒伸脚在他腿上一钩，杨过扑地倒了。武修文转身跃起，骑在他身上。兄弟俩牢牢按住。四个拳头猛往他身上击去。
杨过虽比二人大了一两岁，但双拳难敌四手。武氏兄弟又练过上乘武功，杨过却只跟穆念慈学过一些粗浅武功，不是二人对手，当下咬住牙关挨打，哼也不哼。武敦儒道：“你讨饶就放的，”杨过骂道：“放屁！”武修文砰砰两下，又打了他两拳。郭芙在旁见武氏兄弟为她出气，心下甚喜武氏兄弟知道苦是打他头脸。有了伤痕。侍会被郭靖、黄蓉看到，必受斥责，是以拳打足踢，部招呼在他身上。郭芙见打得厉害，有些害怕，但摸到自己脸上热辣辣的疼痛，又觉打得痛快，不禁叫道：“用力打，打他！”
武氏兄弟听她这般呼叫，打得更加狠了。
杨过伏在地下，耳听郭芙如此叫唤，心道：“你这丫头如此狠恶，我日后必报此仇。”但觉腰间、背上、臀部剧痛无比，渐渐抵受不住，武氏兄弟自幼练功，拳脚有力，寻常大人也经受不起，若非杨过也练过一些内功，早已昏晕。他咬牙强忍，双手在地下乱抓乱爬，突然间左手抓到一件冰凉滑腻之物，正是适才砸死的毒蛇，当即抓起，回手挥舞。
武氏兄弟见到这条花纹斑斓的死蛇，齐声惊呼。杨过乘机翻身，回手狠狠一拳，只打得武敦儒鼻流鲜血，当即爬起身来，发足便逃。武氏兄弟大怒，随后追去。郭芙要看热闹，连声叫唤：“捉住他，捉注他！”在后追赶。杨过奔了一阵，一回头，只见武敦儒满脸鲜血，模样甚是狠恶，心知若是给两兄弟捉注了，那一顿饱打必比适才更是厉害，当下不住足的奔向试剑峰山脚，直向峰上爬去。
武敦儒鼻上虽吃了一拳，其实并不如何疼痛。但见到了鲜血，又是害怕，又是愤怒，提气急追。杨过越爬越高，武氏兄弟丝毫不肯放松，郭芙却在半山腰里停注脚步，仰头观看。杨过奔了一阵，眼见前面是个断崖，已无路可走。当年黄药师每创新招，要跃过断崖，再到峰顶绝险之处试招。杨过却如何跃得过？他心道：“我纵然跳崖而死，也不能让这两个臭小子捉住了再打。”
转过身来，喝道：“你们再上来一步，我就跳下去啦！”武敦儒一呆，武修文叫道：“跳就跳，谁还怕了你不成？料你也没胆子！”说音又爬上几步。
杨过气血上冲，正要踊身下跃，瞥眼忽见身旁有块大石，半截搁在几块石头之上。似乎安置得并不牢稳。他狂怒之下，哪里还想到甚么后果，伸手将大石下面的几块石头搬开，那大石果然微微摇动。他跃到大石后面，用力推去，大石晃了两下，空隆一响，向山腰里滚将下来。
武氏兄弟见他推石，心知不妙，吓得脸上变色，急忙缩身门避。那大石带着无数泥沙，从武氏兄弟身侧滚过，砰嘭巨响，一路上压倒许多花木，滚入大海。武敦儒心下慌乱，一脚踏空，溜了下来，武修文急忙抱住。两人在山坡上站立不住，搂作一团的滚将下来，翻滚了六七丈，幸好给下面一株大树挡住了。
黄蓉在屋中远远听得响声大作，忙循声奔出，来到试剑峰下，但见泥沙飞扬，女儿藏在山边草里，吓得哭也哭不出来，武氏兄弟满头满脸都是淤损鲜血。黄蓉上前抱起女儿，问道：“甚么事？”郭芙伏在母亲怀里，哇的一声哭了出来，哭了一会，才抽抽噎噎的诉说杨过怎样无理打她、武氏兄弟怎样相帮、杨过又怎样推大石要压死二人。她将过错尽数推在杨过身上，自己踏死蟋蟀、武氏兄弟打人之事，却全瞒过了不说。黄蓉听罢，呆了半晌，见到女儿半边脸颊红肿，那一掌打得确是不轻，心下甚是怜惜，不住口的安慰。
这时郭靖也奔了出来，见到武氏兄弟的狼狈情状，问起情由，好生着恼，又怕杨过有甚不测，忙奔上山峰，可是峰前峰后找了一遍，不见影踪。他提高嗓子大叫：“过儿，过儿。”这几下高叫声传数里，但是终不见杨过出来，也不闻应声。郭靖等了一会，越加担心，下得峰来，划了小艇环岛巡绕寻找，直到天黑，杨过竟是不知去向。
原来杨过推下大石，见武氏兄弟滚下山坡，遥遥望见黄蓉出来，心知这番必受重责，当下缩身在岩石的一个缝隙之中，听得郭靖叫唤，却不敢答应。
他挨着饥饿，躲在石缝中动也不动，眼见暮色苍茫，大海上渐渐昏黑，四下里更无人声。又过一阵，天空星星闪烁，凉风吹来，身上大有寒意，他走出石缝，向山下张望，但见精舍的窗于中透出灯光，想像郭靖夫妇、柯镇恶、郭芙、武氏兄弟六人正在围坐吃饭，鸡鸭鱼肉摆了满桌，不由咽了几口唾沫。
但随即想到，他们必在背后数说责骂自己，不禁气愤难当。黑夜中站在山崖上的海风之中，只想着一生如何受人欺辱，但觉尘世间个个对他冷眼相待，思潮起伏，满胸孤苦怨愤，难以自己。
其实郭靖寻他不着，哪有心情吃饭？黄蓉见丈夫烦恼，知道劝他不听，也不吃饭，陪他默默而坐。次日天没亮，两人又出外找寻。
杨过饿了半日一晚，第二天一早，再也忍耐不往，悄悄溜下山峰，在溪边捉了几只青蛙，剥了皮，找些枯叶，要烧烤来吃。他在外流浪，常以此法充饥度日，此时他怕被郭靖、黄蓉见到烟火，当下藏在山侗中烧柴，一将蛙腿烤黄，立即踏火柴火，张口大嚼。耳听得郭靖叫唤“过儿，过儿。”心想：“你要叫我出去打我，我才不出来呢。”
当晚他就在山洞中睡了，迷迷糊糊的躺了一阵，忽见欧阳锋走进洞来，说道：“孩儿，我来教你练武功，免得你打不过武家那两个小鬼。”杨过大喜，跟他出洞，只见他蹲在地下，咕咕咕的叫了几声，双掌推出。杨过跟着他便练了起来，只觉发掌踢腿，无不恰到好处。忽然欧阳锋挥拳打来，他闪避不及，砰的一下，正中顶门，头上剧痛无比，大叫一声，跳起身来。
头上又是砰的一下，他一惊而醒，原来适才是做了一梦。他摸摸头顶，撞起了一个疙瘩，甚是疼痛，不禁叹了口气，寻思：“料来爸爸此刻已经伤势痊愈，从大钟底下出来了。不知他甚么时候来接我去，真的教我武功，也免得我在这里受人白眼，给人欺辱。”走出洞来，望着天边，但见稀星数点挂在树梢，回思适才欧阳锋教导自己的武功，却一点也想不起来，他蹲下身来，口中咕咕咕的叫了几声，要将欧阳锋当日在嘉兴所传的蛤蝶功口诀用在拳脚之上，但无论如何使用不上。他苦苦思索，双掌推出，梦中随心所欲的发掌出足，这时竟已全然不是这么一回事了。
他独立山崖，望着茫茫大海，孤寂之心更甚，忽听海上一声长啸隐隐传来，叫着：“过儿，过儿。”他不由自主的奔下峰去，叫道，“我在这几，我在这儿。”他奔上沙滩，郭靖远远望见，大喜之下，急忙划艇近岸，跃上滩来。星光下两人互相奔近。郭靖一把将杨过搂在怀里，只道：“快回去吃饭。”他心情激动，语音竟有些硬咽。回到屋中，黄蓉预备饭菜给郭靖和杨过吃了，大家对过去之事绝口不提。
次日清晨，郭靖将杨过、武氏兄弟、郭芙叫到大厅，又将柯镇恶请来，随即令四个孩子向江南六怪的灵位磕过了头，向柯镇恶道：“大师父，弟子要请师父恩准，跟你收四个徒孙。”柯镇恶喜道：“那再好不过，我恭喜你啦。”郭靖命杨过与武氏兄弟先向柯镇恶磕头，再对他夫妇行拜师之礼，郭芙笑问：“妈，我也得拜么？”黄蓉道：“自然要拜。”郭芙笑嘻嘻的也向三人磕了头。
郭靖正色道，“从今天起，你们四人是师兄弟啦……”郭芙接口道：“不，还是师兄妹。”郭靖横了女儿一眼，道：“爹没说完，不许多口。”他顿了一顿，说道：“自今而后，你们四人须得相亲相爱，有福共享，有难同当，如再争闹打架，我可不能轻饶。”说着向杨过看了一眼。杨过心想：“你自然偏袒女儿，以后我不去惹她就是。”
柯镇恶接着将他们门中诸般门规说了一些，都是一些不得恃强欺人、不得滥伤无辜之类，江南七怪门派各自不同，柯镇恶也记不得那许多，反正也是大同小异。
郭靖说道：“我所学的武功很杂，除了江南七侠所授的根基之外，全真派的内功，桃花岛和丐帮东南两大宗的武功，都曾练过一些。为人不可忘本，今日我先授你们柯大师祖的独门功夫。”
他正要亲授口诀，黄蓉见杨过低头出神，脸上有一股说不出的怪异之色，依稀是杨康当年的模样，不禁心中生憎，寻思：“他父亲虽非我亲手所杀，但也可说死在我的手里，莫养虎为患，将来成为一个大大的祸胎。”心念微动，己有计较，说道：“你一个人教四个孩子，未免太也辛苦，过儿让我来教。”郭靖尚未回答，柯镇恶已拍手笑道：“那妙极啦！你两口子可以比比，瞧准的徒儿教得好。”郭靖心中也喜，知道妻子比己聪明百倍，教导之法一定远胜于己，当下没口子称善。
郭芙怕父亲严峻，道：“妈，我也要你教。”黄蓉笑道：“你老是缠着我胡闹，功夫一定学不成，还是让爹教你的好。”郭芙向父亲偷看一眼，见他双目也正瞪着自己，急忙转头，不敢再说。
黄蓉对丈大道：“咱们定个规矩，你不能教过儿，我也不能教他们三人。这四个孩子之间，更加不得互相传授，否则错乱了功夫，有损无益。”郭靖道：“这个自然。”黄蓉道：“过儿，你跟我来。”杨过厌憎郭芙与武氏兄弟，听黄蓉这么说，得以不与他们同场学艺，正合心意，当下跟着她走向内堂。
黄蓉领着他进了书房，从书架上拿下一本书来，道：“你师父有七位师父，人称江南七怪，大师父就是柯公公，二师父叫作妙手书生朱聪，现下我先教你朱二师祖的功夫。”说着摊开书本，刚声读道：“子曰：学而时刁之，不亦说乎？有朋自远方来，不亦乐乎？”原来那是一部《论语》。杨过心中奇怪，不敢多问，只得跟着她诵读识字。
一连数日，黄蓉只是教他读书，始终绝口不提武功。这一日读罢了书，杨过独自到山上闲走，想起欧阳锋现下不知身在何处，思念甚殷，不禁倒转身子，学着他的样子旋转起来。转了一阵，依照欧阳锋所授口诀逆行经脉，只觉愈转愈是顺遂，一个翻身跃起，咕的一声叫喊，双掌拍出，登觉遍体舒泰，快美无比，立时出了一身大汗。他可不知只这一番练功，内力已有进展。
欧阳锋的武功别创一格，实是厉害之极的上乘功夫。杨过悟性奇高，虽然那日于匆匆之际所学甚少，但如此练去，内力也有所进益。
自此之后，他每日跟黄蓉诵读经书，早晨晚间有空，自行到僻静山边练功。他倒不是想从此练成一身惊人武艺，只是每练一次，全身总是说不出的舒适，到后来已是不练不快。
他暗自修练，郭靖与黄蓉毫不知晓。黄蓉教他读书，不到三个月，已将一部《论语》教完。杨过记诵极速，对书中经义却往往不以为然，不住提出疑难。其实黄蓉教他读书，也己早感烦厌，只是常自想到：“此人聪明才智似不在我下，如果他为人和他爹爹一般，再学了武功，将来为祸不小，不如让他学文，习了圣贤之说，于己于人都有好处。”当下耐着性于教读，《论语》教完，跟着再教《盂子》。
几个月过去，黄蓉始终不提武功，杨过也就不问。自那日与郭芙、武氏兄弟打架之后，再不跟他们三人在一起玩耍，独个儿越来越感孤寂，心知郭靖虽收他为徒，武功是决计不肯传授的了。自己本就不是武氏兄弟的对手，待郭靖教得他们一年半载，再有争斗，非死在他们手里不可，心中打定了主意，一有机会，立即设法离岛。
这日下午，杨过跟黄蓉读了几段《孟子》，辞出书房，在海边闲步，望着大海中白浪滔滔，心想不知何日方能脱此困境，眼见海面上白鸥来去，好生欣羡它们的来去自在。正自神往，忽听桃树林外传来呼呼风响。他好奇心起，悄悄绕到树后张望。原来郭靖正在林中空地上教武氏兄弟拳脚，教的是一招擒拿手“托梁换柱”。郭靖口中指点，手脚比划，命武氏兄弟跟着照学。
杨过只看了一遍，早就领会到这一招的精义所在，