谈到“卡脖子”,我们一直认为只有核心科技。但实际上还有一个重要的领域卡在海外,那就是需求。中国制造两头在外,一是技术,一是市场,两头都身不由己,由他人掌控。特朗普再次上台,不仅继续在技术上卡脖子,还要通过大幅提高关税来卡住外需的脖子。可以设想一下,一旦特朗普将关税提高到60%,大量外贸企业及连带的制造业企业倒闭,几千万人失业破产,造成的后果将不堪设想。
评:科技,需求,关税都被人卡脖子,这脖子确实有点硬呀,多想想为啥被人卡脖子吧
资金正从新兴市场国家的资产中流出。投资于股票的投资信托的流出规模创出了9年零3个月以来的新高,债券投资信托也连续4周净流出。其背景是坚挺的美国经济和中国经济的减速。如果美国下一任总统特朗普的政策运作导致美国通货膨胀重燃,新兴市场国家的资产也有可能遭遇进一步的逆风。
统计世界投资信托资金流向的美国调查公司EPFR的数据显示,11月7日~13日,新兴市场国家的股票基金流出约74亿美元。流出额创出自2015年8月以来的新高。
评:A股风险加剧
近日,来自微软的研究人员开源了使用全新方法训练的MoE大模型,不走寻常路,且编码和数学表现出色。继Phi家族之后,微软又开源了新的混合专家大模型——GRIN MoE。与Phi-3.5同样的个头(16 * 3.8B),却采用了截然不同的训练方法。这个「不走寻常路」如果写个太长不看版,那就是两句话:
. 使用新一代SparseMixer来精确估计专家路由的梯度,解决传统方案中利用门控梯度代替路由梯度的问题。
. 专家并行不要了,训练中改用数据、pipeline和张量并行,避免了传统方法丢弃token的问题。
评:微软回来科技创新的步伐
就连「量化」也不管用,scaling law真的要终结了吗?
一提scaling law,人们重点关注的是参数规模、数据量等因素,却忽视了「精度」这一关键变量。
哈佛斯坦福MIT等机构研究人员竟发现,低精度训练会降低模型的「有效参数量」!
对此,他们提出了「精度感知(precision-aware)」scaling law。
评:AI领域低精度加速的时代即将结束
把连续相同的图像块合并成一个token,就能让Transformer的视频处理速度大幅提升。
卡内基梅隆大学提出了视频大模型加速方法Run-Length Tokenization(RLT),被NeurIPS 2024选为Spotlight论文。在精度几乎没有损失的前提下,RLT可以让模型训练和推理速度双双提升。
评:ViT模型改进方法
近日,Anthropic开源了“模型上下文协议”(MCP),该协议将大模型直接连接至数据源,简单来说,现在企业和开发者要把不同的数据接入AI系统,都得单独开发对接方案,而MCP要做的,就是提供一个“通用”协议来解决这个问题。
Anthropic在博客中解释说:“即便是最先进的模型,也受困于无法获取数据的限制,它们被困在信息孤岛和老旧系统之中。每接入一个新的数据源,就得重新开发一套对接方案,这让真正互联的系统很难大规模推广。”
评:增加LLM的触角,像章鱼一样
开源绝对是AI如今发展迅猛的助推剂,而其中的一股重要力量就是来自Meta
Meta在人工智能开源界可谓是硕果颇丰,从大模型LLama到图像分割模型Segment Anything,覆盖了各种模态、各种场景,甚至在AI以外的学科,如医学等科学研究进展也都从Meta的开源模型中受益。
评:Meta发大招,赞
用AI大模型一键解析MRI、CT和病理学等九大生物医学成像模式。不仅复杂、不规则形状对象能高精度识别,而且通过对象识别阈值建模,模型能够检测无效的提示请求,并在图像中不存在指定对象时拒绝分割。
评:以后自己医药拍完片后都可以看懂
David Baker 团队研发了一项创新的基于扩散模型的技术——RFpeptides,专门针对多种蛋白靶标设计高亲和力的大环结合物。
评:看来医学诺奖实至名归
最近,Jim Fan参与的一项研究推出了自动化数据生成系统DexMimicGen。该系统可基于少量人类演示,合成类人机器人的灵巧手运动轨迹,解决了训练数据集的获取难题,而且还提升了实验中机器人的表现。
要知道,大规模、优质的机器人训练数据集的获取往往非常有挑战性。
不过最近,来自英伟达、UT Austin和UCSD的研究人员推出了一种大规模自动化数据生成系统——DexMimicGen。它可基于少量人类演示合成类人机器人的灵巧手运动轨迹,帮助实现在更少人工干预下扩大类人数据的采集。也就是说,机器人训练数据集的获取效率得到了大幅提升!
评:有可能迎来机器人的chatgpt时刻