Hyung Won识别新范式并完全放弃任何沉没成本的能力给我留下了深刻的印象。 2022年底，他意识到了强化学习的力量，并从那时起就一直在宣扬它。 他以 下一个token预测 为例，说明了这种 弱激励结构 如何通过 大规模多任务学习 ...

OpenAI ο1 的诞生极大地提升了人们对 LLM 推理能力和思维链（CoT）的兴趣。一时之间，似乎思维链很快就会成为所有 LLM 的标配，但思维链并非万能，就连 OpenAI 自己也提到 o1 在某些任务上的表现并不比 GPT-4o ...

现在，用户可以在 VS Code 中选择使用 o1-preview 或 o1-mini 支持 Copilot Chat，以代替当前的默认模型 GPT-4o。在对话期间在模型之间切换，从快速解释 API ...

尽管存在严重的危险，但使用生成式人工智能工具进行编程的效率优势几乎是无法抗拒的。人们需要一种全新的人在循环中的软件管理方法。 尽管存在严重的危险，但使用生成式人工智能工具 ...

如果人工智能能够解决更复杂的问题，其价值将是巨大的。你在GPT-4模型中已经看到了一些端倪，但o1是真正第一个能够进行高级推理的系统。无论是复杂的编程挑战、数学问题还是科学难题，你都可以获得非常非凡的结果。我们相信，随着时间的推移，这将与GPT系列一 ...

实验结果表明：GR-KAN 计算效率高、易于实现，并且可以无缝集成到视觉 transformer（ViT）中，取代 MLP 层以实现卓越的性能。此外，该研究的设计允许 KAT 从 ViT 模型加载预训练权重并继续训练以获得更好的结果。

1X 工程师 Daniel Ho 表示这是机器人世界模型的初步进展，模型可以理解接触到的物理世界并生成高保真视频，使机器人可以在自己的神经空间中执行规划、评估和模拟操作。并且，很多生成的视频片段很难与真实视频区分开来。

就像下面这样，一位小哥在和Moshi聊天时，Moshi化身打工人，精神状态十分美丽（doge）。 （一直向小哥抱怨压力大，导致小哥完全插不进话） 据了解，Moshi是一款端到端实时音频模型，于今年7月初由一家法国创业团队Kyutai发布。

近来，一些研究探索了 Transformer 中 softmax 注意力的替代方案，例如 ReLU 和 sigmoid 激活函数。最近，来自苹果的研究者重新审视了 sigmoid 注意力并进行了深入的理论和实验分析。 该研究证明：从理论上讲，与 ...

OpenAI o1 在数学、代码、长程规划等问题取得显著的进步。一部分业内人士分析其原因是由于构建足够庞大的逻辑数据集 <问题，明确的正确答案> ，再加上类似 AlphaGo 中 MCTS 和 RL ...

9月19日，一年一度的阿里云栖大会拉开帷幕，阿里现任掌舵者吴咏铭、CTO周靖人携手大模型领域当红炸子鸡月之暗面CEO杨植麟、小鹏汽车CEO何小鹏等一众明星企业创始人给业界带来了一场久违的国产自豪感。

北京时间 9 月 13 日午夜，OpenAI 发布了推理性能强大的 ο1 系列模型。之后，各路研究者一直在尝试挖掘 ο1 卓越性能背后的技术并尝试复现它。当然，OpenAI 也想了一些方法来抑制窥探，比如有多名用户声称曾试图诱导 ο1 ...