创业一年半,胖了30斤,AI大佬感叹:还是回谷歌好

“由于工作强度和不健康的生活方式,我已经胖了 15 公斤。”

本周一,知名 AI 学者、前谷歌大脑高级研究科学家 Yi Tay 在短短一年半的创业之后官宣回到谷歌,他显得很高兴。

创业一年半,胖了30斤,AI大佬感叹:还是回谷歌好

在初创企业世界探索了一年半之后,我决定回归我研究事业的出发点。

我将回到谷歌 DeepMind 从事人工智能研究。我很高兴能探索与 LLM 相关的令人兴奋的研究方向,并找到改变研究游戏规则的新方法。

我将以高级研究科学家的身份向我之前的经理 Quoc Le 汇报工作。

这是我回来的第一周,我非常兴奋。

Yi Tay 这次回到谷歌,成为了 DeepMind 旗下的一名高级研究员。此前,他是创业公司 Reka AI 的首席科学家和联合创始人。而在成为这家初创公司的联合创始人之前,他是 Google Brain 的高级研究员,从事大型语言模型和人工智能研究。再往前,他是 Google Research 美国研究团队的技术主管,负责 Transformer 架构和扩展。

创业一年半,胖了30斤,AI大佬感叹:还是回谷歌好

这是 Yi Tay 的头像照片。

创办 Reka 之前,在谷歌大脑工作的 3 年多的时间里,他总共参与撰写了大约 45 篇论文,是其中 16 篇的一作。一作论文包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等。

很多知名大模型的背后都有他的贡献,包括 PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、MUM 等。

然而。就是这样一位科研牛人,出去创业不久之后也表示自己“悟”了。

AI 领域的创业究竟有多卷?Yi Tay 在回看这段经历之余,分享了在短短一年多创业时间里他的一些工作、生活瞬间。

创业一年半,胖了30斤,AI大佬感叹:还是回谷歌好

的确肉眼可见地越来越胖。

在最新的一篇博客中,Yi Tay 对他近一年半的经历进行了复盘。

《重返 Google DeepMind》

关于 Reka 的反思

我很感谢在加入 Reka 并与他人共同创建 Reka 的过程中学到和经历的一切。

在技术上,我学到了很多谷歌之外的基础架构知识,学会了使用 Pytorch/GPU 和其他外部基础架构。我和 Reka 创始团队的其他成员一起,还以成本最优的方式建立了非常好的模型。我还学会了如何应对不可靠的 GPU、供应商和计算资源(参考机器之心报道:《“还是谷歌好”,离职创业一年,我才发现训练大模型有这么多坑》

基于我的经验,我还在 WebConf LLM 日主题演讲和越南 GenAI 峰会上发表了技术、反思和个人演讲。此外,我还要特别感谢 swyx 在 latentspace pod 上邀请我讲述我的探险经历,以及 TechInAsia 为我提供的有趣的炉边谈话。

同时,作为初创企业的联合创始人,我还经历了许多有趣的事件,如果我一直待在谷歌的话,我永远也不会有机会经历这些。这是一次大开眼界的经历。我学到了很多关于初创企业、业务和从头开始创建公司的过程的知识。尽管如此,我仍然更认同自己是一名科学家 / 研究员,因此我决定回归本源。

我为我们取得的成就感到骄傲,尤其是在 Reka 的早期。五月份,我们的 Reka Core 在 Lmsys 上首次进入前五名。实际模型排名第 7,我们实现了超越 GPT-4 早期版本的目标。与其他实验室相比,我们拥有的资源(资金、计算和人力)要少得多,因此我们的成绩令人印象深刻。我们筹集了 1 亿多美元的 lifetime funding,这与其他团队相比仍然相对较少。

此外,这还是由一个不到 15 人的技术团队完成的。

对个人来说,这又是一段神经紧张的时期,尤其是在我开始创业之旅时,也是我离开谷歌之后,我和妻子即将迎来我们的第一个孩子。为了同时兼顾这么多事情,我的身体和精神健康都受到了很大的影响,由于工作强度和不健康的生活方式,我的身体胖了 15 公斤。

好的一面是,我现在正积极努力地调养自己,使自己恢复到完全健康的状态,也许下次我还会写一篇关于我的这段疗伤经历的文章。

对我来说,这是一次狂野而有意义的旅程。我感谢大家给了我这段美妙的旅程。我非常享受与大家共事的过程,也非常享受在迪拜、京都和巴厘岛等有趣的地方举行的团队活动。

我有过一段美好的时光,我相信公司会在 Reka 雇用的这么多有才华、有能力的人的帮助下发展得很好!

这是一次很好的休假 / 学习经历。

现在,是时候回到谷歌从事研究工作了。

特别声明

这可能有点随意,但对我个人来说,放弃舒适的生活环境而去创业真的很可怕。

我很感谢在这段时间里一直与我保持联系的所有谷歌朋友。即使在我转型成为一名 Xoogler 并更多地融入初创企业生活的过程中,我也为拥有这样一个支持网络而感到幸运。特别要感谢(排名不分先后)Vinh、Derek、Denny、Steven、Siamak、Mostafa、Don、Divy 和 Quoc,还有 Xoogler 的其他朋友,如 Jason、Jerry、Hyung Won 和 Afroz,他们在我离开后仍保持联系。

有趣的是,在这段时间里,我和你们中的很多人都见了面!在新加坡的某个时刻,我还和 Derek、Vinh、Jason、Jerry、Quoc、Divy、Sanket、Swaroop 和 Neil 一起玩耍过。此外,邀请我去越南演讲的 Thang Luong 也非常好!

感谢大家对我的热情 / 支持,感谢大家低调地提醒我应该回来。最后,也是最重要的一点,我感谢 Quoc 在这 1 年半的时间里对我的关心和友谊;感谢 Jeff Dean 在新加坡与我共进晚餐(并提醒我谷歌很棒!);感谢我的招聘人员 Katelyn 在这 1 年多的时间里一直与我保持联系!

我很高兴能回来。

创业一年半,胖了30斤,AI大佬感叹:还是回谷歌好

始于热情,终于疲惫:大厂人才回流,风向又变了?

2023 年 3 月份,Yi Tay 宣布离开谷歌,参与创办了 Reka 并担任该公司的首席科学家,主攻大型语言模型。

我们知道,当时 ChatGPT 刚推出不久,在这个时间段,选择趁大模型热潮辞职创业的人很多,离开的原因很多样:对大模型方向前景的看好,对经济复苏的推断,投资人的推动,还有就是,很多人提到了积重难返的大公司病。

许多从谷歌离开的员工都发过“小作文”,表示谷歌出现问题的根源不是“技术”,而在于“文化”,比如员工的使命感不足,公司为了避免风险设置了繁琐的系统和流程。

和 Yi Tay 前后脚离职的 AppSheet 创始人 Praveen Seshadri 就写过一篇《Google 出了什么问题》,直言“如今的谷歌与当年的微软一样,正在逐步走向衰落。”

然而一年半过去了,我们发现很多 AI 人才都在“回流”大厂。

除去因为种种原因创业受阻的一批人之外,其他人想回去的原因可能很简单:创业真太累了。

今年 8 月,李沐也复盘了自己创业一年的体会:

在 Amazon 待到第五年的时候就想着创业了,但被疫情耽搁了。到第 7 年半的时候,觉得太痒了,就提了离职。现在想来,如果有什么事这一辈子总要试下的,一定要趁早。因为真开始后会发现有太多新东西要学,总会感叹为啥没能早点开始。

即使拿到了融资,拿到了做 LLM 的入场券,其中也包含了常人很难经历的“大起大落”:

运气不错,很快拿到了种子投资。但钱还不够买卡,得去拿第二轮。这一轮领投是一家非常大的机构,做了几个月文档、商讨条款。但在签字前一天,领头说不投了,直接导致了跟投的几家退出。

在回到母校上海交大的演讲中,他也提到了创业给自己带来的健康方面的影响:

创业不好的地方就是婴儿般的睡眠,每三个小时醒一次,怀疑自己是不是快混不下去了。为此,我还问过很多人,包括张一鸣,以及世界首富级别的人,向他们取经。

在公司步入正轨之后,李沐仍然觉得自己当时“脑子抽了”:

去年跟宿华在斯坦福散步,他拍着我肩膀说:“跟我说句实话,你为什么想创业呀?” 当时候不以为然:“就是想换个事情做做”。然后宿华笑了笑。

现在我懂了,因为他经历了创业的酸甜苦辣。如果今天再来回答这个问题,我会说:“我就是脑子抽了”。但也庆幸当时没想到会那么不容易,所以一头扎进来了。否则,大家看到的可能是“工作十年反思”。我觉得今天我写的故事更有意思些。

品尝完创业的艰辛之后,知名的学者也会发出感叹。

参考内容:

https://www.yitay.net/blog/returning-to-google-deepmind

本文由:阿呆 发布于外推氪,转载请注明出处:https://www.waituikr.com/article/44816.html

Like (0)
Previous 2024 年 11 月 26 日 下午10:37
Next 2024 年 11 月 26 日 下午10:40

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

微信:LXB209188
邮箱:2544449188@qq.com
备注:周一至周五,请告知来意。