一切因为 deepseek
百度 中共中央总书记、国家主席、中央军委主席习近平发表重要讲话强调，新时代中国特色社会主义的航线已经明确，中华民族伟大复兴的巨轮正在乘风破浪前行。大年初一的时候我在家里玩 DeepSeek，当时觉得挺有意思的，但没有想到我会因为这个东西开启了连续加班模式。
大概是从初三，初四的时候，领导拉会通知要开始攻坚模式，当天就加班到了半夜。 现在出差来上海搞封闭式，已经连续 3 周没有休息了，周六日都是火力全开模式，每天半夜 3，4 点，感觉已经精神恍惚了。
领导昨天过来说让我们下周回去个 3,4 天的，修整一下。我们说只有 3,4 天的没啥意义，路上就占了一半时间，还是在这呆着吧。 但领导说这个项目不知道什么时候能结束，所以最好还是回去跟家里人聚聚。
不过我还是觉得不回去了， 清明的时候让老婆孩子来上海玩， 就当聚聚了。
对后面的一些想法
因为正在测试模型底层的架构，这几周学了好多大模型底层的知识，昨晚还在研究 EP,DP,TP 和 PP 并行的原理，所以收获还是很多的。 跟一些同行交流过，自从 deepseek 出来以后，搞 ai 的这些公司就更卷了，大家都在抢时间抢市场抢用户。 感觉 AI 这几年是彻底繁荣了起来，就是不知道这股火力能持续多久。现在大环境也是大力发展 AI 和算力建设，希望能因为这波繁荣，让我们的职业生涯更长久一写吧。
嗯~ 就先这样~ 继续干活了。
底层的仰望~然而本能的感觉 AI 提不提升生产力先不说，首先把底层的饭碗砸了是有鼻子有眼的，小老板一拍脑门给我上 AI，然后翘起二郎腿喝起了茶
长命功夫长命做
全世界都为了 AI 疯狂，它能解决加班，能解决贫富差距吗，有点过热了
元宝？还是豆包？
底层结构基本都是固定的啊，测这个没啥意义啊。
直接跑 tpot,ttft 不行么？
这波快的很，我现在大厂连聊都不想聊了。
我这种没千卡以上经验的，遇到问题，让我查底层，我 nccl 也就懂个皮毛，能解决个锤子问题。
--长久就别想了，前两年就知道这玩意就是少部分人的游戏，能坚持一天高薪算一天吧。争取早日挣够养老钱才是正途。
作为只会调 api 的选手，就吃吃瓜了
magicyang
回复
TP,EP,DP,PP , vllm vs sglang， pd 分离 vs pd 不分离， 还要做大 EP，kv store 等各种推理加速策略。 我懂的也不多 。反正就是算法和加速团队搞了一堆优化技术， 我只是负责测而已。
听说在元宝当点工的，通宵已成日常
孙高飞
回复
??，我懂了，找你试错。。。
pd 分离配多少最优，这种确实得试。
其他没必要试吧，其他是能大概算出出来的。。。
我个人会觉得快速容灾备份，这是现有框架不会考虑解决，但是真实商用又必须解决的难题。是不是更难一些？当然机器足够多的话，在 ep, dp 做容灾好像也没那么复杂。。。
最后大厂不行就加机器加人。。。多试试，有钱任性就苦一苦打工人吧。
magicyang
回复
嗯， 是找我试错。 不过也确实是有必要的， 因为理论只是理论， 实现的过程中还是会有很多问题会影响性能。 容灾备份的东西也有， 我现在就是主要负责性能和容灾， 效果测试交给其他人了。
你老板真心想拉你一把（把你当牛马） 
透过大佬的文笔可见，许多人羡慕的仰望的上层高等精灵的工作生活，也不是如他们想象中那般惬意，当年没少看玛丽苏肥皂剧深受其害
m c g a
