谁能想到，训练GPT-5竟不用手写代码。MIT微软最新研究发现，GPT-4在代码修复中的有效性。以后，OpenAI工程师能做的只有——Critique is all you need。我们都知道，大模型具有自省能力，可以对写出的代码进行自我纠错。这种自我修复背后的机制，究竟是怎样运作的？对代码为什么是错误的，模型在多大程度上能提供准确反馈？近日，MIT和微软的学者发现，在GPT-4和GPT-3.5之中，只有GPT-4表现出了有效的自修复。并且，GPT-4甚至还能对GPT-3.5生成的程序提供反馈。
评：Critique is all you need
GPT-4 是科学和工程深度结合创新的结果，中间有无数的 tricks，对于外界，如果能了解 GPT-4 的结构就如同获得了最强模型的“炼丹秘方”。这篇内容十分详尽地给出了 GPT-4 的架构、训练和推理的基础设施、参数量、训练数据集、token 数、成本、以及 MoE 模型等参数和信息细节。
Dylan 和 Gerald 认为，OpenAI 之所以不公开 GPT-4 的架构，并不是出于所谓 AI Safety 的考虑，而是因为这个架构很容易被复制；被称为“天才黑客”的 George Hotz 也表达过类似观点，不过，George 认为 GPT-4 由 8 个专家模型的 MoE 构成，每个专家模型的参数量约为 1100 个。
两位作者预计，Google、Meta、Anthropic、Inflection、Character.ai、腾讯、字节跳动、百度等公司在短期内将拥有与 GPT-4 一样甚至更强大的模型能力。即便 GPT-4 的架构“很容易被复制”，但在他们看来 OpenAI 拥有最持久的护城河——最多体量的终端用户、领先的工程人才，以及在模型代际变化中的先发优势。
评：GPT演化如此之快
0代码微调一个大模型，成本不到20美元（人民币约144元）？
过程也非常简单，只需5步。如LLaMA、GPT、StableLM等爆火的开源生成式模型，都能搞定。这就是Monster API，一个最新火起来的API平台。
评：可以试试
想要破圈，拿利润来换。最近AIGC、MR热度不散，行业里不断有新的产品、新的玩家、新的技术出现。这里面也有一些曾经受到追捧的科技成长股的身影，比如Palantir，比如Unity。它们都是在宣布推出AI工具后，再次赢得了市场的关注，股价因此飞涨。
但这里，海豚君想到了另一只曾经的明星股——Roblox。早在3月，Roblox就宣布了第一款AI游戏开发工具的测试——Code Assist（代码辅助）和 Material Generator（素材生成器）。
作为一个内容平台，AIGC的技术革新对Roblox来说，同样是百利而无一害。当疫情红利对游戏的影响逐渐减弱的今年下半年和明年，Roblox是否能够借助AI进一步丰富平台生态和促进变现？而苹果MR带来的元宇宙余温，是否也能给到Roblox更多的机会？
因此海豚君决定研究一下Roblox，在拂去了元宇宙泡沫之后，希望能够从更理性的角度去探讨一下Roblox的投资逻辑和价值。
评：Roblox商业模式探索
今天大会的主题是AI，没有想到有一天我会在混沌的平台上讲AI。有点意思的是，我之前还在说，在语言概念上，“混沌”可能正是当下市场在接入AI 以后呈现出来的那个最初形态。
我们知道，凡是一定数量的个体都拥有一个共同的名字，它们就有一个共同的“理念”或者“形式”。我们用这个同一性质去统领形态各异的东西。比如白猫黑猫都是猫。但是AI非常复杂，好像还很难用一个同一性去表述它，它可以是模型、算法、手机上的APP应用，也可以是一个具体的机器人。所以AI兴起之后，有很多哲思的东西变得很微妙也很有新的趣味。
回到我们风险投资机构，我们定义一个概念，或者大家感兴趣的，我们定义一个风口，是一时的还是变革性的，它的理念就在于它是不是一个孤立的赛道，还是能带动一整条产业链的，比如智能电动车，就带动了动力电池、汽车芯片、自动驾驶等等方向，所以我们才称之为是变革性的风口。AI在这个理念上，它具备变革性风口的形式特征：包含了基础设施层、模型层和应用层，每个方向上都有颠覆性机会。
评：AI的机会探索
一直以来，我认为创业是时代、机会和个人努力三者的结合，是有方法论的，通过不断的迭代才能够持续找到成功的路径。
6年前我开始投资人工智能，到今天为止，猎豹移动+猎户星空在人工智能投资的研发费用已经超过1亿美金，走了很多弯路。但是我一直坚信，人工智能是一个改变时代的机会。当ChatGPT出来的时候，我也非常兴奋，认真学习了很多，比如远程观看硅谷创投机构YC的路演。我发现，硅谷一半以上的项目都在做ChatGPT相关的应用创业。
评：以prompt engineering为创业突破口
自从隐退 YC 之后，硅谷创业之父保罗·格雷厄姆（Paul Graham）逐渐扮演起思想家的角色。以往，他的文章主要聚焦在创业上，但最近他开始思考一个更大的主题：怎么做大事（great work）。保罗·格雷厄姆在本文中探讨了在各个领域取得卓越成就的技巧，试图找到这些技巧的交集。文章提出了做大事的四个步骤：选择一个领域、学习知识前沿、注意前沿知识的空白点，然后探索有潜力的领域。文章强调了努力工作的重要性，并鼓励对自己感兴趣的事物保持好奇心和激情。
评：角度就是不同，一上来教做大事。
数字抑郁时代，可能来了。
评：凡事过度被损
脑机接口是未来不可或缺的硬核科技，没有脑机接口的未来智能社会是不好想象的。
今年是脑机接口一个重要年份，脑机接口（brain computer interface，BCI）专有名词1973年创立，现在正好50年。
脑机接口是人机交互的特殊形态。传统的人机交互必须有肌肉组织参加，如键盘、鼠标、语言，否则就没法进行交流。脑机接口可直接从大脑提取信号控制外部设备，替代、恢复、补充或改善大脑的功能。
50年前，美国加州大学洛杉矶分校的计算机科学家雅克·维达尔设想，通过放置在头皮上的电极可检测到大脑发出的实时信号翻译后用于控制计算机，首次描述了脑机接口的科学概念与设想。此后，在各国科学家的努力下，脑机接口的概念范畴不断延伸，例如与反馈/调控相结合的脑机交互（interaction），与人工智能相结合的脑机智能（intelligence）。
脑机接口的科学意义有两大类，一是医学，当人的机体失能之后，如何与计算机交流？
另一个是怎么做“超人”，能跟ChatGPT之类的AI去交流。因为我们会面临一个问题，以后像ChatGPT这类的超级AI还带不带人“玩”了？怎么才能给AI机器人安上缰绳，让它一直带我们“玩”？
所以脑机接口是未来不可或缺的硬核科技，没有脑机接口的未来智能社会是不好想象的。
评：研究一下BCI的发展历程
神经技术可能是下一个前沿领域，OpenBCI的Galea头显设备以及辅助控制方面的进步，将会为我们的生活打开新的大门。
几周前，苹果为我们展示了如今最高质量的混合现实设备——Vision Pro。它采用手指和眼睛控制界面，给人留下了深刻的印象。
然而，在它宣布发布几个月前，我遇到了一件更让人震惊的事情。我只需要把夹子夹在耳朵上，然后头上戴着一圈带有橡胶尖端传感器的装置，同时佩戴一个面罩就能够通过虚拟现实看到自己的脑电波，并且只需微小地运动面部肌肉，就可以在虚拟环境中移动物体。这是我试用OpenBCI的Galea设备的体验。
评：很看好OpenBCI的未来
对于医药投资者而言，上半年是极为难熬的，一众投资者都陷入了“三不知”困境——不知道买什么，不知道买多少，不知道怎么买。所有生物医药子行业的投资逻辑在2023年似乎都在被颠覆，无论是创新药、中药、CXO，还是医疗器械、体外诊断、消费医疗、医药商业，那些在2019年行之有效的“抱团股”投资策略，于2023年已经开始失效。
市场始终在变化，作为投资者必须虚心向市场学习，否则就会被市场狠狠地教育一番。纵观全指医药指数，在经历了2019年至2021年的大牛市后，开启了漫长的阴跌之路，至今仍在低位横盘震荡，远没有复苏的迹象。
评：国内做创新药不太看好，还是做CXO比较实在
有一个赛道，今年迎来了3家冲击上市的企业，而这个赛道去年刚诞生出3家上市公司。
这个赛道就是宠物食品。2022年3月，路斯股份、源飞宠物及天元宠物先后在A股上市。到了今年，福贝宠物、乖宝宠物及帅克宠物也加入了IPO预备大军。
这些企业主打宠物食品代工，它们的上市潮，也使得宠物食品成了如今消费行业中最具发展潜力的赛道之一。
评：这些公司能发展起来还得看单身人群的趋势
评：好好学习一下