凡一個社會團體於創始前，必有一群熱心前輩，前仆後繼顛簸使力促成，本會的組成亦復如此；在日治時代台灣學生留學日本稱為到內地讀書，當時在台灣有陳有輝等多位學長主導舉辦日本大學校友聯誼；隨後台灣留學日本大學之在校生，先由拓殖科彭瑞恩、蔡桔來等學長發起成立「日本大學台灣同鄉會」，接著由法科劉旺才等五位學長發起擴大聯合各科台灣同學成立「日本大學台灣同鄉會」，參加同學約有100餘人，並於1940年10月27日會後合影留念，至今在日本大學法學部還留有當時的紀念照。
二次大戰後回台日大校友甚眾，由劉旺才等7位學長主導，熱心奔走，終於在台灣成立了「日本大學校友聯誼會」由於新舊校友聯誼甚歡，因而醞釀爾後創立「台灣日本大學校友會」的原動力。
台北市以北市社會字第896號文准予設立組織，至第六屆2003年10月7日台北市以北市
社會字第09240390400號文核准申請解散。
