MAE
MAE.pdf (398.1 KB)
1 Like
Clip
CLIP.pdf (640.3 KB)
文献应该怎么读？读多少算读完一篇文章了。像这篇 clip 我把正文逐字逐句读过去了，然而没有看他的代码。之前的 MAE，我看他基本就是把 Bert 套用过来，就很简略的读了下（只读了方法没有读实验）。
1 Like
SAM (Segment Anything)
segment-anything.pdf (1.9 MB)
1 Like
Swin Transformer
Swin-Transformer.pdf (1.6 MB)
这个怎么样啊
学学 prompt engineering。
Large Language Models Are Human-Level Prompt Engineers
APE(automatic-prompt-engineer).pdf (3.2 MB)
说到 LLM，微软这两天发布了新一代的轻量级模型 Phi-3 3.8B/7B/14B，并且特别强调通过筛选高质量数据提升小模型的逻辑推理能力。他们在筛选数据时，会筛去相当多能提供知识但对推理帮助不大的数据，相当于是主动舍弃部分知识储备来换取更强的逻辑，并且解释说小模型配合搜索引擎也可以工作得很好。
（以上信息大体来自近期看过的公众号，不保证完全准确）
門友喜欢大模型多一点还是小模型多一点？当然这个观点也不是绝对的，比如 Phi-3 的训练数据中有不少是更大的模型生成的（并且微软好像认为它们比部分来自真人的数据更好）。
1 Like
我只能说，我最近的工作本来在 phi-2 上做魔改，现在瞌睡来了送枕头，明天和 mentor 开会，狠狠改 phi-3
1 Like
Ch0102 笔记.pdf (3.1 MB)
借楼，小学期办了个深度学习讨论班，指导老师推荐用书是
Deep Learning - Foundations and Concepts (bishopbook.com)
每攒两章就在里发笔记，算是自我监督了
（要是有同学发现哪里有错，可以留言提醒我修改）
2 Likes
这种图是用什么软件画的？Draw.io 吗？
2023 年的新书。
1 Like
感觉很像啊，我也经常用 draw.io 画图，这个看起来和它的默认配色方案一模一样
是的
请问笔记时用什么整理的呢
markdown
或者 notion
1 Like
MyVLM
MyVLM.pdf (1.8 MB)
有点大模型蒸馏的味道