万历二十三年（1595年）八月，舒尔哈齐首次带领建州女真朝贡使团前往北京进贡，这次的经历使他眼界大开。他对自己屈居在兄长的属下的地位感到不满，他希望有朝一日当上建州女真的最高统治者。与此同时他对先进的农耕文明和文化产生了浓厚的兴趣。

万历二十五年（1597年）七月，舒尔哈齐第二次进北京朝贡，这次的经历更助长了他的野心。他到达北京后受到了明朝廷热烈隆重的接待，并被赏赐给了丰厚的金银绸缎等礼物。同时，明廷还授予了他都指挥的高级武职。明朝以此做为一种战略对策，尽力拉拢和收买努尔哈赤的对手及反对者，在两者间进行挑拨，以激化彼此的矛盾。为此舒尔哈齐也确实感激明朝的恩宠，他感恩于明朝，在政治态度上越来越倾向于明朝。舒尔哈齐除了积极的与明朝发展密切关系之外，他还通过政治联姻的形式加强与其他各个女真部落的联系，借以扩大他的个人实力和影响。万历二十四年（1596年）他娶了乌拉部落的贝勒布占泰的妹妹为妻，第二年他又将自己的女儿额实泰嫁给了布占泰。舒尔哈齐同样也与朝鲜保持着相当密切的关系，朝鲜使者到建州，对于努尔哈赤和舒尔哈齐见面行相同的礼仪，并向两人馈赠同样的礼物。他们二人也分别屠宰猪羊，各自在帐中款待朝鲜使者，并回赠礼物。朝鲜国王也乐意在两位建州首领之间周旋，对他们实行双重承认的原则，这与明朝的手法如出一辙。

随着女真各部的统一，努尔哈赤拥有了足够的力量与明朝对抗，他对明朝的敌视态度也日益明显，他的下属也时常和明军发生武装冲突。明朝对辽东的局势感到不安。万历二十九年（1601年）明廷又起用了被罢免的前辽东总兵李成梁，希望他能扭转当时那恶劣的局势。李成梁上任伊始，就采用了原来对女真各部的分化瓦解政策。他利用了舒尔哈齐和他兄长的矛盾，大力拉拢他，对他恩礼有加，格外器重。李成梁让儿子李如柏娶了舒尔哈齐的女儿为妾，使双方关系更为紧密。万历三十三年（1605年），舒尔哈齐的妻子病故，李成梁父子准备了丰厚的祭礼前去治丧，备极隆重。面对明朝的恩宠，舒尔哈齐更加感激，他决心依靠明朝为后台，树立自己的女真最高领袖的地位。

舒尔哈齐明目张胆地树立个人的权威，逐渐构成了对努尔哈赤地位的挑战，两人的关系也日益紧张，在诸贝勒共同参加的会议上，两人常因意见相左而激烈争吵，努尔哈赤开始意图除去他这个潜在的对手。

万历三十五年（1607年）三月，居住在蜚悠城的一小支女真部落，由于不堪忍受临近的乌拉部的奴役，想来依附努尔哈赤。努尔哈赤派出了舒尔哈齐和自己的儿子褚英、代善，将领费英东、扬古利、常书、扈尔汉领兵三千，前往蜚悠城收编该部。 [5] 当舒尔哈齐等人行至半途的时候，他就满腹狐疑的对同行的将领说看到帅旗上有一层淡淡的幽光，想要退兵。不过在褚英、代善的反对下，只能作罢。到达蜚悠城后，该部落酋长策穆特黑带领的五百户人丁早以做好了出发的准备，于是很快这支队伍就踏上了返回的道路。

乌拉贝勒布占泰得知消息后，立即带领一万骑兵赶来拦击，双方军队摆出了交战的阵势。但这时，舒尔哈齐却带着自己属下的五百人退到了一边，他不想破坏与姻亲的友好关系。只有褚英、代善率军英勇奋战，舒尔哈齐只在一边观看，他的部下常书、纳齐布也没有加入战斗。正是由于舒尔哈齐的消极退避，最后褚英、代善虽然打败乌拉骑兵，但是没能给以致命打击。

舒尔哈齐班师回朝之后，努尔哈赤准备将他的下属常书、纳齐布以临阵脱逃的罪名处死，以剪除他的左膀右臂同时也是杀鸡儆猴。但是舒尔哈齐的反应十分强烈，说杀他们就是等于杀我，誓不低头，大有决以死战的阵势。最后努尔哈赤为了避免公开的冲突，便做出了让步。他只罚了常书一百两黄金，夺了纳齐布下属的人马，并且从此以后剥夺了舒尔哈齐指挥军队的权利，将他排挤出了最高军事领导层。

万历三十五年（1607年），舒尔哈齐的地位一落千丈，变成了一个有名无实的人物，他痛感自己与努尔哈赤势难并存。于是，他与长子阿尔通阿，三子扎萨克图商议，图谋另立门户，与兄长分庭抗礼。

于是舒尔哈齐带着几个儿子和少数部下来到了铁岭东南的黑扯木，在那里伐木建造房屋，开辟新的根据地。 [10] 而黑扯木临近明朝的军事重镇铁岭，可以直接依靠明朝的军事保护，在他的东面又与乌拉部落接邻，能随时得到盟友的援助。

舒尔哈齐开始与努尔哈赤越来越疏远，转而靠近明朝了。李成梁看到这一分化女真的大好机会，于是火上浇油，故意挑起矛盾冲突。他上奏朝廷册封舒尔哈齐为建州右卫首领，这是明朝在辽东地区设立的最高地方军事长官。

努尔哈赤首先是责令舒尔哈齐放弃自立为王的念头，在劝说无效的情况下，他断然采取了强硬措施，于万历三十七年（1609年）三月，舒尔哈齐的两个儿子阿尔通阿、扎萨克图被努尔哈赤诛杀，部将武尔坤也被处死。努尔哈赤余怒未消，仍打算将他的次子阿敏处死，只是在皇太极等人的极力求情下，阿敏才逃过一劫，免于一死，不过他的一半家产被没收。