金算生电子报67集

  1. 赵建:消费不足的根本原因与短中长期应对之策

谈到“卡脖子”,我们一直认为只有核心科技。但实际上还有一个重要的领域卡在海外,那就是需求。中国制造两头在外,一是技术,一是市场,两头都身不由己,由他人掌控。特朗普再次上台,不仅继续在技术上卡脖子,还要通过大幅提高关税来卡住外需的脖子。可以设想一下,一旦特朗普将关税提高到60%,大量外贸企业及连带的制造业企业倒闭,几千万人失业破产,造成的后果将不堪设想。

评:科技,需求,关税都被人卡脖子,这脖子确实有点硬呀,多想想为啥被人卡脖子吧

  1. 中国股市过去4周流出资金为最大规模

资金正从新兴市场国家的资产中流出。投资于股票的投资信托的流出规模创出了9年零3个月以来的新高,债券投资信托也连续4周净流出。其背景是坚挺的美国经济和中国经济的减速。如果美国下一任总统特朗普的政策运作导致美国通货膨胀重燃,新兴市场国家的资产也有可能遭遇进一步的逆风。

统计世界投资信托资金流向的美国调查公司EPFR的数据显示,11月7日~13日,新兴市场国家的股票基金流出约74亿美元。流出额创出自2015年8月以来的新高。

评:A股风险加剧

  1. 专家模型不要专家并行,微软开源MoE新路径

近日,来自微软的研究人员开源了使用全新方法训练的MoE大模型,不走寻常路,且编码和数学表现出色。继Phi家族之后,微软又开源了新的混合专家大模型——GRIN MoE。与Phi-3.5同样的个头(16 * 3.8B),却采用了截然不同的训练方法。这个「不走寻常路」如果写个太长不看版,那就是两句话:

. 使用新一代SparseMixer来精确估计专家路由的梯度,解决传统方案中利用门控梯度代替路由梯度的问题。

. 专家并行不要了,训练中改用数据、pipeline和张量并行,避免了传统方法丢弃token的问题。

评:微软回来科技创新的步伐

  1. 哈佛MIT预警:低精度量化已无路可走,重磅研究掀翻AI圈

就连「量化」也不管用,scaling law真的要终结了吗?

一提scaling law,人们重点关注的是参数规模、数据量等因素,却忽视了「精度」这一关键变量。

哈佛斯坦福MIT等机构研究人员竟发现,低精度训练会降低模型的「有效参数量」!

对此,他们提出了「精度感知(precision-aware)」scaling law。

评:AI领域低精度加速的时代即将结束

  1. 视频大模型无损提速:删除多余token,训练时间减少30%,帧率越高效果越好

把连续相同的图像块合并成一个token,就能让Transformer的视频处理速度大幅提升。

卡内基梅隆大学提出了视频大模型加速方法Run-Length Tokenization(RLT),被NeurIPS 2024选为Spotlight论文。在精度几乎没有损失的前提下,RLT可以让模型训练和推理速度双双提升。

评:ViT模型改进方法

  1. 大模型接入数据有了“统一插头”

近日,Anthropic开源了“模型上下文协议”(MCP),该协议将大模型直接连接至数据源,简单来说,现在企业和开发者要把不同的数据接入AI系统,都得单独开发对接方案,而MCP要做的,就是提供一个“通用”协议来解决这个问题。

Anthropic在博客中解释说:“即便是最先进的模型,也受困于无法获取数据的限制,它们被困在信息孤岛和老旧系统之中。每接入一个新的数据源,就得重新开发一套对接方案,这让真正互联的系统很难大规模推广。”

评:增加LLM的触角,像章鱼一样

  1. 一文看尽Meta开源大礼包,全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等

开源绝对是AI如今发展迅猛的助推剂,而其中的一股重要力量就是来自Meta

Meta在人工智能开源界可谓是硕果颇丰,从大模型LLama到图像分割模型Segment Anything,覆盖了各种模态、各种场景,甚至在AI以外的学科,如医学等科学研究进展也都从Meta的开源模型中受益。

评:Meta发大招,赞

  1. AI一键解析九大生物医学成像模式,用户只需文字prompt交互,微软UW等新研究登Nature Methods

用AI大模型一键解析MRI、CT和病理学等九大生物医学成像模式。不仅复杂、不规则形状对象能高精度识别,而且通过对象识别阈值建模,模型能够检测无效的提示请求,并在图像中不存在指定对象时拒绝分割。

评:以后自己医药拍完片后都可以看懂

  1. David Baker最新成果,从头设计大环肽结合物框架RFpeptides,为不可成药蛋白质提供新可能性

David Baker 团队研发了一项创新的基于扩散模型的技术——RFpeptides,专门针对多种蛋白靶标设计高亲和力的大环结合物。

评:看来医学诺奖实至名归

  1. 机器人训练数据不缺了,英伟达团队推出DexMG:数据增强200倍

最近,Jim Fan参与的一项研究推出了自动化数据生成系统DexMimicGen。该系统可基于少量人类演示,合成类人机器人的灵巧手运动轨迹,解决了训练数据集的获取难题,而且还提升了实验中机器人的表现。

要知道,大规模、优质的机器人训练数据集的获取往往非常有挑战性。

不过最近,来自英伟达、UT Austin和UCSD的研究人员推出了一种大规模自动化数据生成系统——DexMimicGen。它可基于少量人类演示合成类人机器人的灵巧手运动轨迹,帮助实现在更少人工干预下扩大类人数据的采集。也就是说,机器人训练数据集的获取效率得到了大幅提升!

评:有可能迎来机器人的chatgpt时刻

发表评论

您的电子邮箱地址不会被公开。