Inamori Kazuo sinh năm 1932 tại con phố Yakuchi, thành phố Kagoshima. Ông tốt nghiệp trường tiểu học Nishida thành phố Kagoshima. Tham dự kỳ thi tuyển của trường trung học Kagoshima Daiichi nhưng không đỗ. Ông vào học tại một trường trung học bình thường. Vào năm 13 tuổi, ông bị mắc một căn bệnh nan y thời đó là bệnh lao phổi. Một số người họ hàng của ông cũng bị mắc căn bệnh này và lần lượt qua đời. Khi chú ông bị mắc bệnh, Inamori Kazuo đã rất hoảng sợ và xa lánh người thân đang sống cùng nhà. Nhưng cuối cùng, người chăm sóc cho chú là cha và anh Inamori Kazuo thì không mắc bệnh, còn chính ông lại mắc.