返回課程列表
[MATH3332]应用至上
課程時間：2018年F季
授課教授：CAI Jianfeng（叶桂波的老公）
我覺得教授：人好
評分標準：20%quiz（一共四次 取三次最高分）；30%assignment（一共六次 取五次最高分）；50%final
這門課的Grade：我觉得可以
整个思路大概是，每一章都是先给你铺垫一点数学基础，再给你一个和这些数学基础相关的model，讲一下它是怎么跑的，为什么能这么干，可能还会加一点变式。一个学期下来很多常见的model都过了一遍。如果是像我一样上cs版data mining的时候只知道call现成的function，对每个model只能有个rough idea的，可以来这门课补一下数学基础，能加深对每个model的理解。
不过既然是model-based teaching，那么也就意味着数学的部分基本没有连贯性，而且每个点也讲不深。这门课一开始讲normed space（因为要讲k-means），再讲了一下线代基础（因为要讲SVM和LR），然后开始vector calculus（因为要讲优化），最后凸优化+一点点set theory（因为要讲SGD）。跨度其实是有点大的。学起来有点难受，感觉学到的数学完全是一个点一个点的，一点都不系统。我还是挺希望它先把所有数学的background都讲了，再来讲model的…… 不过我真实的做法其实很功利qwq。通过对quiz和assignment进行人肉机器学习，意识到了这门课考试的重点基本在于背证明和算gradient，就放弃了系统学习数学知识，开始final-based learning。（（
————————Syllabus————————
03 Sep: Introduction (Lecture Note), Vector spaces, normed spaces (Lecture Note).
05 Sep: Normed spaces, Banach spaces. (Lecture Note)
10 Sep: Case study: k-means clustering, k-medians clustering. (Lecture Note)
12 Sep: Inner products on vector space, Cauchy-Schwartz inequality, Hilbert spaces. (Lecture Note)
17 Sep: Cancelled due to Severe Typhoon Mangkhut.
19 Sep: Case study: Kernel trick, Kernel k-means clustering. (Lecture Note)
24 Sep: Linear functions on Hilbert spaces, Riesz representation theorem, Hyperplanes (Lecture Note)
26 Sep: Projection onto hyperplanes. Case Study: Linear regression. (Lecture Note)
01 Oct: No Class, National Day Holiday
03 Oct: Case study: Regularization, Kernel regression, (Lecture Note)
08 Oct: Case study: Support vector machine (SVM), and kernel SVM.(Lecture Note)
10 Oct: Differentiability of functions on vector spaces, Gradient.(Lecture Note)
15 Oct: Linear operators, adjoint operators, operator norm. (Lecture Note)
17 Oct: No Class, Chung Yeung Festival Holiday
22 Oct: Derivatives of transformations, Hessian. (Lecture Note)
24 Oct: Function expansion. (Lecture Note), Solvability of unconstrained optimization problem. (Lecture Note)
29 Oct: Necessary and sufficient conditions for smooth unconstrained optimization, Convexity (Lecture Note)
31 Oct: Convexity, Gradient descent, (Lecture Note)
05 Nov: Gradient descent, Case study on Least squares (Lecture Note)
07 Nov: Case study on Neural network training (Lecture Note), Non-smooth convex functions, (Lecture Note)
12 Nov: Subgradients, (Lecture Note)
14 Nov: Femmat’s lemma, Sub-gradient descent (Lecture Note)
19 Nov: Sub-gradient descent, Backward sub-gradient (Lecture Note)
21 Nov: Proximity operator, Proximity algorithms, (Lecture Note)
26 Nov: Case study: Sparse optimization and LASSO; Convex Sets (Lecture Note)
28 Nov: Projection onto convex sets, Projected gradient descent. (Lecture Note)
———————— Lecture ————————
这门课Lecture的体验挺好的 prof会一边讲 一边在他的ipad上手写一份lecture notes出来 和他之前传到canvas上的基本一致 所以可以提前打印好lecture notes 然后在上面记笔记。lecture notes的阅读体验也很好。排版整洁，字体工整。有微小的错误上课时都基本能改过来。prof人挺好的，上完课后想问问题或者想交流都可以找他。课后也可以给他发邮件，都会回而且挺及时的（包括hw有问题之类的事情也可以给他发邮件）
这门课的进度也一直在改。一开始还准备讲FFT和数字图像处理的，结果时间不够直接给砍了。这个在几百年才开一次的MATH4336里应该会认真讲
————————quiz/final（功利的部分）————————
可能因为是第一次开这门课，quiz很玄学。第一次quiz难度还行，但是题量大，基本所有人都没做完，于是TA给延长了快40分钟。第二次quiz还是基本所有人都没做完，但是TA没给延长。第三次quiz考了在quiz前一天出的assignment里的原题。第四次quiz直接用prof给的sample final当题，选两道做。
你说我要是当时就全都会做了那我final还复习个啥。很多人都没做完/不会做。但是这次quiz是和final一起出分的。也不知道是怎么改的，改出来mean特别高。我做都没做完都捡了个满分。可能是TA姐姐发现我们的表现过于惨不忍睹于是手动拉了个curve（？）每次quiz都不知道会有什么
日狗的情况发生 所以每次都特么心惊胆战的。然而final题出乎意料的普通。真的就默写证明 + 求导。默写的证明基本是闭着眼睛都知道要考的，求导也不是特别难，就很常规的那种。
这门课有不少大神来占A range， 也有quiz十几二十分的学渣来垫龟。龟还是很好的，拿A或者A range挺容易的。但是A+基本要啥都满分才行，我可能就是因为作业太糊弄而痛失A+（CAI Jianfeng给龟好像都是这个风格）但六个assignment四个quiz还是挺累的
（就觉得每时每刻都在赶这课的ddl）所以还是需要认真学的。
————————上完课一年后的瞎胡乱更新————————
胡乱更新一下。
虽然当时把标题写成了应用之上，但越来越觉得这课不怎么实用，有时间真的不如补补概率。这门课还是在教你如何把几个传统model从头到尾推一遍。感觉如果以后想做data mining的话，比较实用的数学知识还是统计，probability, information theory……这些。如果是为了学习机器学习的数学基础来上这门课的话，还是建议看一看 foundations of Machine Learning 啥的，学得更深一点，比如了解一下Linear programming, Quadratic programming /KKT, Rademacher complexity empirical error……这些东西。这门课的内容讲得不深。毕竟是必修课，没办法特别硬核。（而且它要是真按照那本书这么来的话它就不是一个3字头math了 2333）
