cwiki_catalog MSSSUG|香港科技大學內地學生學者聯誼會本科部
Cwiki-课程列表

Cwiki


Course Catalog


返回課程列表

[MATH3332]应用至上

課程時間:2018年F季
授課教授:CAI Jianfeng(叶桂波的老公)
我覺得教授:人好
評分標準:20%quiz(一共四次 取三次最高分);30%assignment(一共六次 取五次最高分);50%final
這門課的Grade:我觉得可以


整个思路大概是,每一章都是先给你铺垫一点数学基础,再给你一个和这些数学基础相关的model,讲一下它是怎么跑的,为什么能这么干,可能还会加一点变式。一个学期下来很多常见的model都过了一遍。如果是像我一样上cs版data mining的时候只知道call现成的function,对每个model只能有个rough idea的,可以来这门课补一下数学基础,能加深对每个model的理解。

不过既然是model-based teaching,那么也就意味着数学的部分基本没有连贯性,而且每个点也讲不深。这门课一开始讲normed space(因为要讲k-means),再讲了一下线代基础(因为要讲SVM和LR),然后开始vector calculus(因为要讲优化),最后凸优化+一点点set theory(因为要讲SGD)。跨度其实是有点大的。学起来有点难受,感觉学到的数学完全是一个点一个点的,一点都不系统。我还是挺希望它先把所有数学的background都讲了,再来讲model的…… 不过我真实的做法其实很功利qwq。通过对quiz和assignment进行人肉机器学习,意识到了这门课考试的重点基本在于背证明和算gradient,就放弃了系统学习数学知识,开始final-based learning。((




————————Syllabus————————

03 Sep: Introduction (Lecture Note), Vector spaces, normed spaces (Lecture Note).
05 Sep: Normed spaces, Banach spaces. (Lecture Note)
10 Sep: Case study: k-means clustering, k-medians clustering. (Lecture Note)
12 Sep: Inner products on vector space, Cauchy-Schwartz inequality, Hilbert spaces. (Lecture Note)
17 Sep: Cancelled due to Severe Typhoon Mangkhut. 
19 Sep: Case study: Kernel trick, Kernel k-means clustering. (Lecture Note)
24 Sep: Linear functions on Hilbert spaces, Riesz representation theorem, Hyperplanes (Lecture Note)
26 Sep: Projection onto hyperplanes. Case Study: Linear regression. (Lecture Note)
01 Oct: No Class, National Day Holiday
03 Oct: Case study: Regularization, Kernel regression,  (Lecture Note)
08 Oct: Case study: Support vector machine (SVM), and kernel SVM.(Lecture Note)


10 Oct: Differentiability of functions on vector spaces, Gradient.(Lecture Note)
15 Oct: Linear operators, adjoint operators, operator norm.  (Lecture Note)
17 Oct: No Class, Chung Yeung Festival Holiday
22 Oct: Derivatives of transformations, Hessian. (Lecture Note)
24 Oct: Function expansion. (Lecture Note), Solvability of unconstrained optimization problem. (Lecture Note)


29 Oct: Necessary and sufficient conditions for smooth unconstrained optimization, Convexity (Lecture Note)
31 Oct: Convexity, Gradient descent, (Lecture Note)
05 Nov: Gradient descent, Case study on Least squares (Lecture Note)
07 Nov: Case study on Neural network training (Lecture Note), Non-smooth convex functions, (Lecture Note)
12 Nov: Subgradients, (Lecture Note
14 Nov: Femmat’s lemma, Sub-gradient descent  (Lecture Note
19 Nov: Sub-gradient descent, Backward sub-gradient  (Lecture Note
21 Nov: Proximity operator, Proximity algorithms, (Lecture Note)
26 Nov: Case study: Sparse optimization and LASSO; Convex Sets (Lecture Note)
28 Nov: Projection onto convex sets, Projected gradient descent. (Lecture Note)



———————— Lecture ————————

这门课Lecture的体验挺好的 prof会一边讲 一边在他的ipad上手写一份lecture notes出来 和他之前传到canvas上的基本一致 所以可以提前打印好lecture notes 然后在上面记笔记。lecture notes的阅读体验也很好。排版整洁,字体工整。有微小的错误上课时都基本能改过来。prof人挺好的,上完课后想问问题或者想交流都可以找他。课后也可以给他发邮件,都会回而且挺及时的(包括hw有问题之类的事情也可以给他发邮件)

这门课的进度也一直在改。一开始还准备讲FFT和数字图像处理的,结果时间不够直接给砍了。这个在几百年才开一次的MATH4336里应该会认真讲



————————quiz/final(功利的部分)————————

可能因为是第一次开这门课,quiz很玄学。第一次quiz难度还行,但是题量大,基本所有人都没做完,于是TA给延长了快40分钟。第二次quiz还是基本所有人都没做完,但是TA没给延长。第三次quiz考了在quiz前一天出的assignment里的原题。第四次quiz直接用prof给的sample final当题,选两道做。你说我要是当时就全都会做了那我final还复习个啥。​很多人都没做完/不会做。但是这次quiz是和final一起出分的。也不知道是怎么改的,改出来mean特别高。我做都没做完都捡了个满分。可能是TA姐姐发现我们的表现过于惨不忍睹于是手动拉了个curve(?)

每次quiz都不知道会有什么日狗的情况发生 所以每次都特么心惊胆战的。然而final题出乎意料的普通。真的就默写证明 + 求导。默写的证明基本是闭着眼睛都知道要考的,求导也不是特别难,就很常规的那种。


这门课有不少大神来占A range, 也有quiz十几二十分的学渣来垫龟。龟还是很好的,拿A或者A range挺容易的。但是A+基本要啥都满分才行,我可能就是因为作业太糊弄而痛失A+(CAI Jianfeng给龟好像都是这个风格)但六个assignment四个quiz还是挺累的(就觉得每时每刻都在赶这课的ddl) 所以还是需要认真学的。



————————上完课一年后的瞎胡乱更新———————— 

胡乱更新一下。虽然当时把标题写成了应用之上,但越来越觉得这课不怎么实用,有时间真的不如补补概率。这门课还是在教你如何把几个传统model从头到尾推一遍。感觉如果以后想做data mining的话,比较实用的数学知识还是统计,probability, information theory……这些。如果是为了学习机器学习的数学基础来上这门课的话,还是建议看一看 foundations of Machine Learning 啥的,学得更深一点,比如了解一下Linear programming, Quadratic programming /KKT, Rademacher complexity empirical error……这些东西。这门课的内容讲得不深。毕竟是必修课,没办法特别硬核。(而且它要是真按照那本书这么来的话它就不是一个3字头math了 2333)

查看更多/評論