题   目：Value Function Based Difference-of-Convex Algorithm for Bilevel Hyperparameter Selection Problems

报告人：张进

单   位：南方科技大学

时   间：2022年11月24日 15:00-18:00

地   点：腾讯346-259-981

摘要：Existing gradient-based optimization methods for hyperparameter tuning can only guarantee theoretical convergence to stationary solutions when the bilevel program satisfies the condition that for fixed upper-level variables, the lower-level is strongly convex (LLSC) and smooth (LLS). This condition is not satisfied for bilevel programs arising from tuning hyperparameters in many machine learning algorithms. In this work, we develop a sequentially convergent Value Function based Difference-of-Convex Algorithm with inexactness (VF-iDCA). We then ask: can this algorithm achieve stationary solutions without LLSC and LLS assumptions? We provide a positive answer to this question for bilevel programs from a broad class of hyperparameter tuning applications. Extensive experiments justify our theoretical results and demonstrate the superiority of the proposed VF-iDCA when applied to tune hyperparameters.

报告人简介：张进，南方科技大学数学系/深圳国家应用数学中心 副教授，2007、2010年本科、硕士毕业于大连理工大学，2014年博士毕业于加拿大维多利亚大学。2015至2018年间任职香港浸会大学数学系，2019年初加入南方科技大学。致力于最优化理论和应用研究，代表性成果发表在Math Program、SIAM J Optim、SIAM J Numer Anal、J Mach Learn Res、IEEE Trans Pattern Anal Mach Intell，以及ICML、NeurIPS等有重要影响力的最优化、计算数学、机器学习期刊与会议上。研究成果获得中国运筹学会青年科技奖，主持 国家自然科学基金优青项目、广东省自然科学基金杰青项目、深圳市科技创新培养人才优青项目，主持 国家自然科学基金/广东省自然科学基金/深圳市科创委/香港研究资助局 面上项目。