2026年年初实在是有点忙。原本应该在元旦过完的时候就把这个写了的,结果忙着毕业的事情一直拖到了一月快结束才找到时间写这个。
研究生生活的第二年结束了,今年大部分在做的事情其实都和求职有些关系。年初的时候一直计划着后面求职如何走到AI Infra,跟老板提的做SNN AI Infra的工作最后也形成了AI Lab这边本子里面一个单独的部分。三四月开始找实习,在字节火山那边的面试中间还是学到了不少东西。年中开始,老板开始投AI Lab那边的本子,基本上工作的重心就从之前的SNN Segmentation工作转向了AI Lab那边的工作。从PPT、Timeline计划书,一直到项目在Lab这边开始落脚,基本上也算是全方面参与了这边的工作了。
今年年初过年的时候也在CVPR Rebuttal,大年三十还在写论文,不过好在最后是中了,这是科研中参与最深、最有把握最了解的一篇论文了。七月份的时候,PolymorPIC也中了今年的MICRO2025,入学开始就一直在做的工作总算是有始有终。比较高兴的是,几篇工作无论是review过程中还是public之后,都有人对工作表现出认同与关注,虽然citation都不怎么样,不过起码证明社区中还是有想法相似、自己在做的问题并不是一个纯粹的思维游戏,算是得到了某种程度上的认可。后续地还进一步做了ST-BIF的训练工作UniSpike(虽然此工作中间关于新替代梯度的设计现在看似乎代入了比较大的bias,感觉起来可能有些不太合适)、硬件工作ELSA(后面变成了毕业用的专利)、CPU上SNN稀疏加速工作SASA,今年以发论文为目的的工作进本上就是这些了。
下半年入职AI Lab这边,从头开始弄SNN-LLM的软硬件这个整个大的项目。在这边做的工作比之前在实验室做科研还是忙很多,虽然也没有人催没有老板,但这边看着写好的timeline每天跑出来的实验结果感觉还是有非常多的事情要做。在这边从头开始做LLM Pretriain、结构探索上的工作,摸索MegatronLM框架设计、写算子加速做profiling,到年底我们的新norm-free架构上已经在1.7B上能够进行稳定训练、取得一个还算不错的对比成绩,总体上来讲在这边可能刚来的时候确实没做什么事情(毕竟也没有资源),在拿到资源之后的工作量可能还算是比较让人满意的了。比较遗憾的可能还是卡确实太少了,很多ablation没有办法做的很扎实;同时做事情的时候规划上还不算很清楚,有的时候有点凭灵感在做事情,现在团队规模小的时候可能这么做是小步快跑,但后面新成员逐渐入职之后可能还是需要做一套比较成体系的工作系统,对产出的内容和中间过程做一些管理。在实验室除了科研之外,还负责了不少老板这边的团队管理工作,包括汇报、内容总结、招聘面试等等,不知道明年这些事情是会更多还是更少。
找工作期间零零散散面试了不少大厂,有些是人家觉得不对口有些感觉没什么个人发展,最后到手上选的offer也不算很多。一直有点难以想象自己以现在这种工作状态、精神状态进到一个发展完善的系统里面当螺丝钉,感觉这种自由散漫的生活如果进入了大厂里就很难维持了。最后在做对比的基本上就是Dji的AI Infra vs. AI Lab这边的工作,从个人发展和工作节奏上讲最后还是选择了AI Lab这边。钱少点就少点吧。
科研之外,今年长时间在做的项目主要有两个。上半年在做猜干员,四月份上线的最开始版本是一个类似wordle的模式,上线之后也还是引来了不少的流量;后面的小头模式从最开始的剪影猜干员 -> 区块猜干员,到最后正式上线的马赛克猜干员。最终从google analystics上看到的用户量有17万,也和B站up主做了合作得到了赞助。另一边是SCPPER-CN,整个项目算是目前做过的个人项目中涉及范围最多、规模最大的一个项目了。中间也为了更好地serve国内服务,更换到了浙江的服务器、做了域名的备案,到目前为止SCPPER-CN每个月也能有小一万次访问、注册用户约300人,在能看到的地方都有不少人在使用。这几个项目的一大特点是,制作过程中都在不断尝试今年各种比较新的LLM Coding Cli相关的工具,从年初的Claude Code、Codex,到年底的OpenCode、Agent Skills之类的工具,这两个项目中基本上只有比较核心而复杂的代码在自己编写,而诸如前端改造、业务代码之类的大部分内容都能交给LLM来进行了。整个项目上现在强调的也是思路、想法,强调把idea清晰地表达,把项目和各种工作做合适的划分。今年的业余项目上职责越来越走向PM的感觉了。
虽然Code Agents/Code in Cli现在已经成为工作中不可或缺的一环,但LLM Agent在其他方面似乎也没什么进展。今年年中的时候GPT Atlas还有几家做学术的工作都开始做Agent in Browser,当时还挺期待的,没想到过了半年之后Manus之类的工作还是就那个样子,看起来现在的LLM(或者说,某种意义上的VLA?)在做action、进行真正的交互上还是差一点。也许2026年的Agent会带来一些不一样的内容。
生活上今年不算很好的一年,上半年忙各种项目、求职,精神压力弄的还挺大的。今年的运动上半年也没有坚持下来,为了缓解压力报复性消费花了不少钱。下半年入职之后养成了健身的习惯,不过年底这个月因为忙毕业的事情又停了。也许毕业的事情告一段落或者过完年回来之后能重新调整好健身的习惯。今年又胖了十斤,不过有一部分是下半年这几个月健身涨的肌肉。明年生活上的首要目标是调整好生活习惯、更多运动的同时把饮食控制好。
2026年的主线应当就是在Lab这边的项目,起码目前看起来还是比较有希望的。模型部署、GPU上的优化,包括模型本身其实都有不少东西可以继续做,今年给的一些内容目前看来都是比较有希望做的。从能效和这个类目本身来讲我们正在做的东西应该都属于是比较先进乃至全球第一(前提是能做出来)的。最开始规划的项目就是两年,没有遇到什么意外的话在2026年这个项目就能够完成大部分推进了。希望这边能够顺利做完,往小里说起码是个人技能的完全掌握、在lab这边做完项目基本也能够意味着完全地立足,如果还包含一些幻想的话就是后面能够拿更多vc的钱、争取把这边成型之后的项目spin off成创业公司,到时候就可以自由地做自己想做的事情了。