凡一個社會團體於創始前,必有一群熱心前輩,前仆後繼顛簸使力促成,本會的組成亦復如此;在日治時代台灣學生留學日本稱為到內地讀書,當時在台灣有陳有輝等多位學長主導舉辦日本大學校友聯誼;隨後台灣留學日本大學之在校生,先由拓殖科彭瑞恩、蔡桔來等學長發起成立「日本大學台灣同鄉會」,接著由法科劉旺才等五位學長發起擴大聯合各科台灣同學成立「日本大學台灣同鄉會」,參加同學約有100餘人,並於1940年10月27日會後合影留念,至今在日本大學法學部還留有當時的紀念照。
二次大戰後回台日大校友甚眾,由劉旺才等7位學長主導,熱心奔走,終於在台灣成立了「日本大學校友聯誼會」由於新舊校友聯誼甚歡,因而醞釀爾後創立「台灣日本大學校友會」的原動力。
台北市以北市社會字第896號文准予設立組織,至第六屆2003年10月7日台北市以北市
社會字第09240390400號文核准申請解散。