北条义时是时政的第二子，生于长宽元年（1163），源赖朝被流放伊豆（静冈县）已经有三年了。义时幼名江间小四郎，江间是北条庄西北，狩野川对岸的一处地名，义时就是在那里长大的。
石桥山战役中十八岁的义时与兄长宗时跟随父亲北条时政参加了战斗。为掩护赖朝撤退，宗时死于乱军，这以后，北条氏的继承人就成了小四郎义时。
源赖朝经营关东的时候，义时作为赖朝的亲随担负着赖朝寝屋的警戒任务。与他一样任务的还有和田义茂、梶原景季等有力御家人的子弟，而义时是其中最得赖朝信赖的。
一之谷战役以后，源范赖带领一千余骑平氏讨伐军自山阳道进击九州。讨伐军中除了千叶常胤、三浦义澄、比企能员等有力御家人，还有北条义时这样首次参加远征的少年人。
元历二年（1185）二月末，经过一番苦战讨伐军渡海登陆九州，义时成为率先在丰后（大分县）上陆的武士之一，击破少貮种直的军势成功制压丰后国一带。得知胜利消息的赖朝给义时和其他十一名战功卓著的武士送来了书状大加称赞。作为征西军中的主要人物，弱冠之年的义时得到了源赖朝极大的信赖与期许。
西海回归以后，义时重新成为赖朝的亲随，接受赖朝不二的宠遇。源赖朝强力的政治力对于北条义时人格的形成有着莫大的影响。
