Familie Kiso ist eine Nebenlinie von Minamoto beginnend von Yoshinaka in Kiso, einem Gebiet in der Provinz Shinano. 

Yoshinaka Kiso wurde  im Jahr 1154 geboren. Sein Vater war Yoshikata Tatewaki Senjo, der Schwertträger im Palast des Frühlings; seine Mutter war Saeda, Tochter des früheren Leiters der Konoe-Garde in der Hauptstadt. Yoshinaka war innerhalb der Familie Minamoto ein Cousin von Yoritomo und Yoshitsune und der Neffe von Yukiie und Yoshihiro Shida. Sein Vater Yoshikata Tatewaki verlor im Jahr 1155 im Machtkampf innerhalb der Familie Minamoto gegen seinen Bruder Yoshitomo. Yoshitomos Sohn Yoshihira, der gerade fünfzehn Jahre alt war, tötete auf Befehl seines Vaters Yoshikata. Der zweijährige Yoshinaka, Komaomaru, sollte ebenfalls getötet werden, doch seine Mutter Saeda fand Zuflucht bei Shigeyoshi Hatayama in der Provinz Musashi, aber auch dort war sie nicht sicher vor Yoshitomos Verfolgung. Hatayamas Stammesangehöriger Sanemori Saito half Saeda und dem dreijährigen Komaomaru aus Dankbarkeit für seinen früheren Herrn Yoshikata, den getöteten Vater von Komaomaru, und brachte Mutter und Sohn zum stellvertretenden Verwalter der Ländereien des Schreins in Kiso, Kaneto Nakahara (Chusan). Yoshinaka wuchs bei Kaneto Nakahara auf. Nakaie Minamoto, der der persönliche Sekretär der Nonne an der achten Jo Shoko war, und 1180 mit dem Prinzen Mochihito und Yorimasa Minamoto im Aufstand gegen Taira getötet worden war, war Yoshinakas Halbbruder. Von Yoshinaka begann der Stamm Kiso und gewann an Macht.