有实力的庄园主为保护自己的利益，甚至兼并其他庄园，将一部分庄民武装起来。最初这些人以农为主，以武为辅，平时从农，战时从武，后来逐渐变成以武为主，甚至完全脱离农业，成为保卫庄园和对外争斗的职业军人，被称之为“兵”。进入10世纪后，这些职业军人以地方贵族为中心，逐渐形成较大的武士集团，其中以关东地区的桓武平氏和畿内地区的清和源氏势力最强。源氏武士集团在11世纪末期成为支配日本全国的武装力量，源氏家族首领也以“天下第一武勇之士”出入朝廷。在此背景下，地方各国的行政事务官员逐渐由武士担任，武家社会的色彩已初见端倪。
1156年鸟羽上皇去世，崇德上皇与后白河天皇之间发生冲突，各自均与藤原氏、源氏、平氏诸家族的不同人物结成同盟。后白河天皇先发制人，打败对方，将崇德上皇流放到讃岐（今香川县），史称“保元之乱”。1159年，在后白河上皇的近臣之间发生冲突。其原因是，在“保元之乱”中立有大功的源氏武士集团首领源义朝不满受封官位低于平氏武氏集团首领平清盛，转而与藤原信赖合作，在平氏一族离开京城去参拜神社时，趁机拘禁了上皇和天皇，并杀死天皇的亲信。平清盛得知消息后立刻率兵回京，藤原信赖被杀，源义朝被追杀，其家族几乎全遭株连，只有年仅13岁的源赖朝幸免一死，被流放伊豆半岛。因此次政变发生在平治元年，而被称为“平治之乱”。前后两次动乱均有武士集团参加，并以京都为舞台，作为历史上首次出现的大事件，充分显示了武士参与国政的现象。
在镰仓时代，武士领主化的现象越来越明显。被称为“御家人”的武士担任地头，而那些“非御家人”武士通常被任命为庄官，管理下人、随从、农民进行农业生产。武士的所有子女均有继承权，分家后亦听从本家的调遣，形成一大家族，族长称为惣领，战时率家族成员进行作战，平时带领子弟到京都或镰仓服警备义务。武士女性成员不参与军事活动，但亦可成为地头或御家人，流行出嫁婚姻制，但结婚后仍用原姓氏。武士住在“武士馆”中，平时练习骑、射武艺，逐渐形成重武勇、礼节、廉耻、正直、节俭等内容的“兵道文化”。
