大模型时代真相:我们都是「套壳」者,没必要恼!
一年前某大佬说我们将会需要很多 Prompt Engineer,且不管大佬是不是 lao 了,所有人确实自愿不自愿的开始尝试写 Prompt,而离 LLM 最近的码农圈,玩儿的自然要更花一些,vs-code 套个壳子就有了 Cursor,写个 Prompt 一定要到 IDE 里面写,模式嘛肯定要选个 chat 还是 agent,自定义的 rules ?那必须也得来一点,不自己改改,怎么拿出去商业互
一个 Chrome 的壳子,卖了 6 亿美金,一个 VSCode 的壳子,估值 100 亿美金,当有人说你的产品只是一个大模型套个壳子的时候,有什么可恼的呢?(Dia & Cursor)
为了把生信这个垂类(更具体的来讲仅仅是蛋白和菌种设计)的「壳子」做好,按时间排序我们分别尝试了 smolagents、langgraph 一直到 Claude Code,一路走下来尝试了很多努力了很多,却发现总也逃不出 Rich Sutton 的这堂课:《The Bitter Lesson》
(http://www.incompleteideas.net/IncIdeas/BitterLesson.html):要相信通用计算的力量,要信仰通用计算的力量!相信这一波 AI 赋能的本质是「通用领域能力溢出到垂直领域」,而不是垂直领域手艺 + AI 能力放大器,没有什么放大不放大,灰犀牛来了只能引导 or 被踩死,无法重塑。所有做 AI 的董、总、VP们、尊敬的各位领导和来宾,把 《The Bitter Lesson》打印出来吧,贴在显示器边上或者直接贴脑门上!因为它确实能帮你少走弯路,减少投入聚焦在主业上,而降本增效的聚焦,正是当下这个环境最最最需要的。
一年前某大佬说我们将会需要很多 Prompt Engineer,且不管大佬是不是 lao 了,所有人确实自愿不自愿的开始尝试写 Prompt,而离 LLM 最近的码农圈,玩儿的自然要更花一些,vs-code 套个壳子就有了 Cursor,写个 Prompt 一定要到 IDE 里面写,模式嘛肯定要选个 chat 还是 agent,自定义的 rules ?那必须也得来一点,不自己改改,怎么拿出去商业互捧呢对不。
至于 Devin 唱罢,Claude Code 登场,则是常识回归的胜利,从技术路线上是顺应了上面 Sutton 老师的话,去掉了我们人类自以为是的花拳绣腿,专注于这三件事:
- 讲清楚要干啥?
- 有什么工具可以用?
- 已经做过的尝试和得到的结果是什么?
讲清楚这三个问题然后等着就好,不要想着告诉 ta 怎么做,不要想着告诉 ta 怎么做,不要想着告诉 ta 怎么做,重要的事情说三遍。
摆正我们自己的位置很重要,摆正之后就老老实实把上面要求的三点弄明白、写清楚、管起来,这就是所谓 context programming。
不要被这俩词吓到,context 是什么鬼?不仅要 context,还要 programming?一个鬼就够了怎么又来一个?其实背后就记住一个常识就好:之所以我们要提出来 context programing, 是因为当前运行的大模型 LLM,无一例外的,都是所有权重被冻住的 LLM。
只要看过一点点神经网络的原理就明白,训练的时候一个问题走进去,一个答案吐出来,跟标准答案对比之后还会再一个反馈给回去,给回去做啥?通过后向算法更新权重(有喜欢抬杠的同学此处要举手了,无监督训练就没有标准答案了啊!是真的吗?你给的一堆序列数据,下一个 token 难道不就是一个「标准答案」吗?)。
我们「套壳」用的 LLM,全部都是一个问题走进去,一个答案吐出来,到此结束打完收工。有人可能要问,那我要问的下一个问题跟上一个问题有关联咋办?简单!跟上一个问题和对应打答案一起给过去啊!这么简单粗暴吗?对!就是这么简单粗暴!因为你用的 LLM 的权重是冻住的还记得不?你问的上一个问题和答案并没有办法回到 LLM 的已有权重,所以只能如此,不是技术上实现不了,是工程上无法为每一个人每一个 request 都保存一遍所有更新过的 LLM 权重…
LLM 的权重没法针对每个人更新,但你的「聊天记录」可以,发出第二个问题之前,如何组织第一个问题和第一个问题的答案是可以改的对不?比如你的第一个问题是:亲,在吗?大模型回复说:这不废话!然后你第二个问题是:「谷氨酸棒杆菌生成血红素时的葡萄糖吸收速率是什么范围?」,这时候第一个问题的问题和答案+第二个问题,就构成了一个 context,一个优秀的 context 管理者这时候要做的应该是直接把第一个问题删掉,而一个卓越的 context 管理者应该不仅删掉第一个问题,还要把第二个问题已知的背景补充上,方便 LLM 进行「思考」生成答案,以上这个过程,这个去掉废话加上实话的过程,就叫 Context Programming。
从我们的项目经历来看,无论是 smolagents 里面,CodeAgent 自己拆问题(Thought)、写代码(Code)、反思(Observe);还是 langgraph 里面引入 graph 和 human-in-the-loop 的概念来优化(或者说固话)流程;一直到 Claude Code 这里,明确的就是一个大 loop(一个精心设计的主 Prompt),里面装了 16 个精心设计、明确说明的 tools(今天的版本可能已经加到了 20 个 tools),Claude Code 通过简单有力的设计,把针对用户的问题,筛选什么信息应该放到 context,什么信息应该踢出 context 这件事情解决的干净利索,回归这个问题的常识解法,这就是它强大的唯二原因(另一个当然是 Claude LLM 这货确实强)。
有了上面这个认识,我们就明确了该聚焦的点:专注于自身领域的思考,找到属于自己的问题,找到这个问题当前的研究背景,聪明的组织这个问题和背景,然后老老实实交给 LLM,坐等答案。看起来我们好像让渡了部分「思考的权利」,但请记住,当前阶段的 LLM 权重都是冻住的,即便是退一万步讲,ta 思考的比你深、比你远、比你好,思考的结果也是贡献给你了,你拿到这个结果进一步成长蜕变,进步的是你,至于 LLM,还是那些权重并没有什么改动。
以上,就是这小半年来的感触,context programing 也好 vibe programming 也好,prompt programming 也好,本质上都是你和你的工具充当大模型的 context,充当大模型的「壳子」,来套取大模型的知识和洞见的过程,我们去年培训的三句话,第二句就是面对 LLM,要偷不要抄,我们要聪明的理解并内化 LLM 给出的知识,偷到自己脑子里并体现在下一次 context 设计里面,不要抄,一定要过脑子变成「偷」,一味的抄跟被冻住的 LLM 一样,没办法更新自己的权重。
我们要做的,是回归常识好好利用自己的领域知识设计 context,设计 context 就是设计「壳子」,context programing 就是套壳大法,这个壳子这个 context,不仅仅是你设计的程序,还包括你自己本身,以后有再有谁说你:「你这个产品只是拿大模型套个壳子」,这哥们要么没整明白未来我们都是 context programmer,都是做壳子的人,都是壳子的一部分;要么就是你的程序+这哥们 == 不好用的壳子。
不好用,可能是你程序的问题,也可能是你这个哥们的问题。
AI大模型学习路线
如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!
这份完整版的大模型 AI 学习和面试资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案
大模型全套视频教程
200本大模型PDF书籍
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
LLM面试题合集
大模型产品经理资源合集
大模型项目实战合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
更多推荐
所有评论(0)