张耳与陈余见了面，他责备陈余的见死不救，并且询问张黡、陈泽的下落。陈余耐不住脾气，发怒说：“张黡、陈泽要求我率军与你们一同与秦军决死。我先是派遣他们带领五千人马去试探秦军的实力，结果全军覆没，他们没能脱身。”张耳不相信他的话，以为陈余将他们杀掉了，便再次追问陈余，陈余大怒，说道：“没想到，因为这件事，您对我的怨恨竟然有这么深！难道您认为我是贪恋将军的职务吗？我是那种当了官就变了心的人吗？”陈余一气之下，解下了身上的印绶，将其推给张耳。张耳愕然，没有接受。
过了一会儿，陈余起身上厕所。宾客中有人劝告张耳说：“我听说‘不接受上天的赐予的人，反而会遭受上天的惩罚’。现在，陈将军把印绶交给您，您如果不接受，那就是违背了天意，这不吉祥。您应当赶快收下它！”其实也是借口，就像你打开家门，忽然发现一捆钱，你是声张呢，还是赶紧拾起来呢？突发事件，就要考验你的意志了。于是，张耳佩戴上了陈余的印信，接收了他的部下。陈余方便回来，目瞪口呆，心想我只不过是一时之气，张耳这个老匹夫竟真的厚着脸皮收下了，罢了，你我的情谊就此了结了，就快步退了出去。结果，张耳收编了陈余的军队。陈余与几百名亲信逃到了黄河沿岸的湖泽中，在那里捕鱼、打猎，等待着东山再起的时机。从此，张耳与陈余这两个曾经为生死之交的朋友就反目成仇了。
相互残杀
此时，赵王歇仍旧住在信都（今河北省冀县）。后来，张耳跟随项羽和各路诸侯一起进入了关中。汉元年二月，项羽分封诸侯王。张耳向来交游甚广，所以有很多人都为他说好话，而项羽也曾经多次的听说张耳的贤能，因此，便从赵地分出一部分土地，封张耳为常山王。张耳建都信都，将其改名为襄国。陈余的宾客中有不少人劝项羽说：“陈余与张耳一样，对赵国有莫大的功劳。”但是，项羽认为陈余没有跟随他进入关中，没有什么功劳，又听说他在南皮，于是，便把南皮附近的三个县封给他，而把赵王歇改封为代王，将其赶到了代地。
张耳高兴地回到了自己的封国。陈余听说了项羽分封的结果，恼怒地说：“张耳和我的功劳一样。现在，张耳被封为王，而我只是被封为侯，这是项羽的处事不公。”不久，齐王田荣率先挑战项羽的权威，举兵反叛。于是，陈余派夏说去游说田荣说：“项羽现在夺得了天下，就忘记了天下不只是他自己夺下来的。他为人处世太不公平。他把跟随他的诸位将领都封在了土地肥一美的地方，而把那里原来的君王改封到土地贫瘠、人烟稀少的地方，赵王歇竟然被改封到代郡去了！希望大王能借给我部分的兵力，我会以南皮地区作为您的保障。”田荣也想在赵地树立一党一羽，来反击楚国，就答应了陈余的请求。于是，陈余全面动员所辖地区的兵源，加上齐王派来的援兵，突然袭击了常山王张耳，张耳败逃。张耳面对巨大的危机，窘迫万分，认为众多的诸侯王之中没有什么人值得他去归附，便对手下人说道：“汉王刘邦虽然与我有老交情，但是，项羽的势力极大，是他立我为王的，我打算去投奔项羽。”甘公说：“汉王进入关中的时候，五星聚集在东井天区，而东井天区对应的封地为秦地，所以，率先到达秦地的必定会成就霸业。楚国即使目前十分强盛，最后也必定会归属于汉。”因此，张耳决定投奔刘邦。此时，刘邦正回师，平定三秦，在废丘围攻章邯。张耳到那里拜见了刘邦，刘邦是不会亏待老朋友的，不但以隆重的礼仪接待了张耳，还把鲁元公主嫁给了张耳的儿子。
陈余打败张耳以后，收复了全部的赵地，然后，专程把赵王歇从代地迎接回来，仍然拥立他为赵王。赵王十分感激陈余的恩德，便把他立为代王。陈余认为赵王势力微弱，国家又刚刚稳定，所以，并没有前往封国，而是留下来辅佐赵王，派夏说以相国的身份去镇守代国。