列宁去世后，斯大林通过各种方式巩固自己统治，在1929年的时候，地位已经非常稳固了，在俄罗斯报纸上相继出现对“伟大”的甚至“天才”领袖和导师斯大林祝贺。能够与斯大林争夺最高权位的，季诺维也夫、加米涅夫、布哈林，以及其他领导人一个接一个发表文章，承认自己错误的同时，大谈这位“全世界人民伟大领袖”斯大林同志是如何正确。而一直与斯大林进行路线斗争的托洛斯基，由于是犹太人先天的不足，再加上不如斯大林更擅长官僚统治，从而被斯大林流放到中亚，随后在1931年辈开除俄罗斯国籍，从而驱逐出境。
但是与此同时，另一种倾向也是存在的，并形成一股潜流。斯大林所推行的政策越来越依靠由他挑选提拔的年轻干部。老一代布尔什维克党绝不会有青年一代人对斯大林的热情、忠诚、崇拜。斯大林在掌握权力过程中种种见不得光的行为，斯大林在工作中种种失误，都被这些老一代领导所看到，所轻视。
设身处地的想下，我们如果混得不怎么好，看到过去一位朋友、同事在某一方面曾经不如我，当然就会自我夸耀自己，常常说，想当初，自己如何如何。
这本来是人的正常现象，除了你是神，在成功道路上，你常常会不如很多失败者。并且人家失败了，你何苦呢？要别人多说两句想当初，自己如何如何？有什么大不了的。
但是斯大林对老一代布尔什维克的轻蔑态度逐渐转变为仇恨。他坚信必须把那些不同意或怀疑自己政策的人赶下历史舞台。这些人对他所设计的伟大社会主义事业是有害的，起妨碍作用。从而导致斯大林与那些革命同志之间的矛盾。
在托洛斯基被开除俄罗斯国籍，被驱逐出俄罗斯后，进一步明朗化。
苏共在十七大形成了共产党中央书记组成的秘密联盟。据猜测，在这次大会刚开始或大会前夕，一批党的工作者和基洛夫谈过话提出必要时撤换斯大林。从后来参加谈话的人在肃反运动中命运来看，斯大林通过秘密渠道知道了这项谈话的内容。对斯大林个人来讲，1934年是他生涯中重要的一年。正如他在前几年击败反对派一样，他要消灭、清洗新的一批敌人，虽然这些人曾帮助他战胜反对派，但这些人已对他统治构成威胁。从政治经验来讲，他知道历史给每一个人一次机会。假若没有战胜对手，对手就要利用这个机会打倒自己。
在1934年初的第十七次党代会上，酝酿选举基洛夫取代斯大林担任党的总书记职务。大会对斯大林不满反映在党的十七大选举联共（布）中央的表决上面。按票数斯大林在中央委员会名单中最后一个，在当选委员之中得票最少，缺票270张，而基洛夫只缺3张。斯大林爪牙命令销毁反对斯大林的大部分选票，才使这令人惊讶的选举结果没有外露。（有点像传说中的毛刘故事）
于是，斯大林出手了，1934年12月1日是苏联共产党（布）中央政治局委员、列宁格勒州委书记基洛夫的一个照常工作日，但也是他生命历程中最后一天。这也是即将席卷全国镇压狂潮掀开序幕的一天。这一天傍晚当基洛夫走进在列宁格勒州委机关所在地斯美尔尼宫，向州委第二书记的办公室走去。当他在走廊里停下脚步开门时，一颗罪恶的子弹射中他的脖子。他摇晃一下，转了半个身子，就一头栽倒在镶木地板上了。他的帽子被掀落了一半，鲜血从伤口向外冒。凶手尼古拉？耶夫是内务部的工作人员。而且有证据表明，在这项谋杀之前，他曾几次企图暗杀基洛夫。
在凶手皮包背面有一处开口地方，可以不打开皮包就能抽出手枪，上了子弹的手枪就放在此处，里面还装有基洛夫的散步路线图。尼古拉耶夫被带到列宁格勒内务人民委员会。
这引起基洛夫警卫人员的警惕。但内务人民委员会告诉他们：这件事用不着他们去管，并以收缴个别警卫人员党证相威胁。最后尼古拉也夫带着武器潜入斯美尔尼宫，在基洛夫要通过那条走廊时向他开枪，惨案就发生了。
更令人奇怪的是当基洛夫的警卫队长被提交去接受审讯时，他是被用有棚的大卡车接走的，里面还有几个手持铁棒的契卡人员，一人坐在司机身旁。在沃伊诺夫大街，当汽车驶过仓库的一面高墙时和司机坐在一起的人员突然转换一下方向盘，使汽车朝一座房屋冲去。司机抓回方向盘矫正了汽车方向，汽车的侧面碰到房屋墙上，避免车祸发生。但基洛夫的警卫队长鲍利索夫已被人用铁棒打死了。当时医生作了假鉴定，指鲍利索夫是因车祸而死，他们当中有些人活到苏共“二十大”时说鉴定书是被迫做出的，鲍利索夫是被很重的金属铁棒打在头上致死的。
斯大林当天赶到列宁格勒，并且对凶手亲自进行审判，但审讯记录始终没有公布，尼古拉？耶夫当月被枪决。
从这个案件的发生，以及整个侦查过程都可以看到有一只有力的手在指挥整个事件的进行，绝非尼古拉？耶夫的个人行为。因此无论斯大林是否指使这次谋杀，但他都会最大程度地利用这件事消灭他的对手。
现在，主要竞争对手基洛夫已经死了，不论生前如何，但是不论生前是否对自己地位造成影响，不论如何被杀身亡，但是在政治对手死后，哭两声是需要的。
当天晚上，斯大林建议，苏联中央执行委员会和人民委员会通过《关于修改各加盟共和国现行刑事诉讼法典的决议》，规定对各个加盟共和国现行刑事法法典在侦察和审理恐怖组织和对苏维埃政权工作人员进行恐怖活动有关事宜进行如下修改：凡属恐怖组织和对苏维埃政权工作人员进行恐怖活动的案件，侦察工作不能超过十天；控告结论在正式开庭审判前一昼夜交给被告；原告、被告双方都不参加审判；不接受判决上诉书和赦免请求书；极刑判决被宣布后立即执行。