此后，由比正雪开始不断批判幕府政策，也拒绝了幕府俸禄五千石的仕官条件，并因此得到了浪人的支持，收下了一大批弟子，曾出现数千人听由比正雪讲课的盛况。利用愤怒的浪人，维护天皇威信，颠覆幕府的计划已在他心中酝酿成型……

当时实行武断政治下的幕府，由于对地方大名大量的改易与减封，产生了大量失业的浪人。幕府对浪人们的政策十分严酷。不仅难以再次任职，就连工作和更换居住地都必须得到许可。而这些贫困的浪人们，大多数除了舞刀弄枪之外便再无所长。

处于饥饿和死亡线上的浪人们，对幕府的怨恨越积越深。而这份怨恨当无法得到宣泄的时候，便成为了社会的巨大隐患。由比正雪的适时出现，使这些浪人们看到了一份希望，得到了一份依靠。由比正雪在不知不觉间，已经成为了他们推翻幕府统治的领袖。

而由比正雪的个人英雄主义情结，决定了他的目标。他幼时嗜读《太阁记》、《楠公传》，幻想自己也能“布衣起家，成为天下第一出人头地之人”，“拥护天皇，打倒幕府”，因而他朝着这个方向努力！

而要颠覆幕府，必须要有一定的群众基础，而这绝非几个心腹或两、三百人参与就可以成功的。庞大的浪人群体正提供了这个条件。

明确目的与手段后，由比正雪开始笼络人心。他不断地批判幕政，宣传幕府如今由奸臣掌权这一观点，得到了浪人的拥护，被视为浪人阶层的领袖，因而，大量对幕府抱有不满之情的浪人成为了张孔堂弟子。

正是在这样的情况下，石川丈山和由比正雪这两个各自怀着不同目的的人，也终于走到了一起……

接受了绍仁天皇特别使命的石川丈山，第一个辞行的对象就是由比正雪。当他告诉自己此行的真实目的后，他看出了由比正雪也有一丝犹豫。他微笑着，对自己的同伴说道：

“由比君，想要推翻幕府，光靠我们是不够的，必须要得到强有力的外部支持，而明军的这次入侵日本，正是我们需要的支持。同时这也是陛下的意思。

我坚定不移地相信，唐人在日本不会耽太长的时间，很快他们就会回去的。难道您不是和我一样的想法，想要把日本的权利，归还给天皇陛下吗？

我们两个人的一点个人荣辱并不算什么，哪怕我们被全日本唾骂，也丝毫不相干。等到许多年之后，日本，会记得我们的功勋的……”

由比正雪整个人都趴伏到了地上，恭恭敬敬地说道：

“石川大人，您已经有了这样的觉悟，那么由比正雪也只有跟随着您一起承担。无论是死是活，是荣是辱。由比正雪都不会再多考虑了。由比正雪的一切都将奉献给天皇陛下。

您放心地去吧，这里就交给我和我的张孔堂了，我将已生命保卫天皇陛下。如果您出现了任何的意外，那么由比正雪将以自己的生命来陪伴着您，来完成武士的光荣。

您明天就要去了吗？请允许我今晚为您准备一次宴会，为您送行。为了您一路上的安全，我将指派两个最优秀的武士，充当您随行的伴侣。”

这一次两人的谈话，史称“石川由比之会”。不管是石川丈山，还是由比正雪，这两人，谁都没有想到，自己的决定，会对倭岛造成多么大的影响！