微调模型可以让模型更适合于我们当前的下游任务，但当模型过大或数据集规模很大时，单个加速器（比如 GPU）负载和不同加速器之间的通信是值得关注的问题，这就需要关注并行技术。
并行化是大规模训练中训练大型模型的关键策略，本文 UCloud 将为大家带来“加速并行框架”的技术科普和实践。在学习 Accelerate、DeepSpeed、Megatron 加速并行框架之前，我们先来了解一下数据并行和模型并行。
评：对比各种并行方案的优缺点
- 各类大模型PK，群魔乱舞
OpenAI第一场直播就炸场，o1满血版上线，史上最贵订阅费：1450元/月
Google 深夜狙击 OpenAI：新 Agent 功能可以自己打开浏览器查资料了
新版Llama 3 70B反超405B，Meta开卷后训练，谷歌马斯克都来抢镜
73页，开源「后训练」全流程，AI2发布高质量Tülu 3系列模型，拉平闭源差距，比肩GPT-4o mini
微软出招，新模型数学超GPT-4o编程胜Llama3.3，训练新范式引热议：midtraining
开源Llama版o1来了，3B小模型反超80B，逆向工程复现OpenAI新Scaling Law
Meta斯坦福全新多模态Apollo，60分钟视频轻松理解，7B性能超越30B
评：又一次大模型跃进里程碑
大模型Scaling Law终结，前段时间曾被吵得沸沸扬扬。
面对诸多的质疑，硅谷巨头们用行动给出了截然不同的答案。
谷歌祭出最强下一代新模型Gemini 2.0 Flash，并带着多个智能体一同亮相；OpenAI「满血版」o1和o1 pro mode向所有人证明了模型的能力还远没有触及到天花板。
最近，外媒SemiAnalysis一篇深度报道再次指明了方向——Scale的维度远不止预训练，Scaling Law仍将继续下去。
评：Scaling Law依然生效
2023年1月，硅谷风险投资巨头红杉资本曾发文，将OpenAI聊天机器人ChatGPT的推出喻为人工智能领域的“宇宙大爆炸”时刻，并预测2024年将成为人工智能元年，或是所谓的“元汤”（primordial soup），即地球上生命诞生前的液态环境。
红杉资本当时写道：“人工智能生态领域充满了各种新想法和潜力。对于新企业家来说，这是一个充满机遇的时期。空气中弥漫着巨大的潜力，尽管这种潜力目前尚处于无形状态。我们的愿景是将其转化为真实、有形且富有影响力的成果。”
评：可以参考一下
让玩具“活”过来，是很多成年人小时候做梦都想实现的。小时候孤独的孩子们，只有玩具陪伴，但是玩具不能说话，而如今跟玩具对话，却成为了现实。
近两年，不少互联网大厂高管纷纷离职，入局AI儿童陪伴领域创业。
评：是个不错大模型硬件切入点
AI正在入侵科学界，特别是生物科技方向。瑞典皇家科学院在2024年10月宣布了当年诺贝尔化学奖的获奖者，出乎意料的是—— AI又是大赢家。
2024年的诺贝尔化学奖被授予了Google旗下DeepMind人工智能实验室的首席执行官Demis Hassabis和总监John Jumper ，以及华盛顿大学蛋白质设计研究所所长David Baker。
评：AI+生物科技
随着过去2年AI的快速发展，大模型的C端应用层出不穷，深入人心。与之相比，AI for Science一直披着神秘的面纱。
最近AI业界的观点开始产生变化，Jason Wei明确指出AI for Science蕴藏着巨大的机遇，而其中最大的场景在于AlphaFold 2掀起的蛋白质革命。
评：都指明方向了，接下来看有没有本事参与
如果一个人垄断了村里的井水，向村民以每瓶10块钱的价格售卖饮用水。这时候，有一个会打井的人来到村里，他的生意会有多好？
这就是博通面临的情况。
“卖铲人”英伟达以堪比高端白酒的毛利汲取着AI行业的利润，几乎每一家科技巨头都渴望通过自研芯片来摆脱对英伟达的依赖。而博通，就是那个帮他们造芯片的人，从谷歌的TPU，到Meta的MTIA，许多科技巨头自研AI芯片之中，都有博通的帮助。
这种“帮AI企业造好芯片”的定位，非常吸引那些每年排队给英伟达送钱的科技企业，也帮助博通在12月13号的一个晚上就成为了美股第九家万亿巨头。两年里此起彼伏出现的“反英伟达联盟”，似乎有了一个盟主。
评：垄断是维持不了太长时间的
谷歌团队再创量子计算里程碑！全新量子芯片Willow，仅用不到5分就完成了当今最强超算，需要10^25年这个天文数字般的计算。困扰人类近30年量子计算纠错问题，终于被攻克了！这一刻，注定将被载入史册！
今天，谷歌重磅推出全新的量子芯片——Willow（共105个量子比特），在AI圈掀起了海啸级巨震。在一个标准基准计算任务，Willow用时不到5分钟（300秒）神速完成。
而如今，世界上最快超算Frontier要完成同样任务，则需要10亿亿亿年，也就是10,000,000,000,000,000,000,000,000年。这一天文般的数字，远远超过了宇宙的年龄（138亿年）！
评：之前有段时间还研究量子计算，后续发现可能不是我这辈人能学明白的，也就放弃了。这个时间出现进步超出想象，确实老了。
2014年 巴西世界杯 开幕式上，一位全身瘫痪的前足球运动员 通过脑机接口技术操控外骨骼 ，成功完成了一个2秒的开球动作。10年前的这2秒一直被认为是脑机接口 技术的里程碑 。 通过脑机接口技术，这名前足球运动员重拾了源于球场的自信。在嘈杂的球场环境中，脑机接口发挥了稳定操控的技术潜力。
脑机接口技术的发展并非偶然，而是 跨学科创新融合 的成果。从脑科学、神经科学到材料科学、心理学，再到计算机科学， 脑机接口已经成为多学科交叉的前沿阵地 。在脑机接口的开发过程中，我们不仅在扫清大脑与机器之间的障碍，更在逐步揭开大脑奥秘的同时，推动着 人类智慧进一步发展 。
在本篇行研报告中，我们将从脑机接口的 分类、科学原理、发展脉络和商业化路径 入手，分析这一领域的创新机会与发展方向。这也是我们发布的 第三篇与脑科学相关的报告 ，之前我们于2021年、2022年发布的两篇行研报告侧重于脑与认知科学领域的起源、研究方法，以及发展出的新工具与新疗法。
评：挖掘脑机接口的创新机会与发展方向