跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

22 条精选近 30 天 12 条共收录 98 条

更新

多模态的精选

11月11日周三第 1–20 条
  1. Comfy Blog64

    Seedream 5.5 上线 ComfyUI Partner Nodes

    Seedream 5.5 已通过 ComfyUI 的 Partner Nodes 可用,是一个支持文生图和图像编辑的多模态模型。更新覆盖五个方向:原生生成透明与半透明 RGBA 输出、支持多轮精准局部编辑而不破坏画面其余部分、一步生成文字可读且布局结构化的海报与信息图、更真实的肖像材质与光影细节,以及可在提示词中控制灯光。

    推荐理由:官方介绍 Seedream 5.5 在 ComfyUI 的接入方式与五项能力变化,读者可据此评估是否把透明输出和多轮局部编辑接入现有工作流。

11月10日周二
  1. OpenRouter:Announcements69

    OpenRouter 实测 16 种 OCR 方案:Claude Opus 5.5 最准,Mistral OCR 性价比最佳

    OpenRouter 用 8 页自造扫描件实测 15 个视觉模型加 Mistral OCR 和 Tesseract,每模型 264 项关键值检查。Claude Opus 5.5 最准,262/264 正确,每千页 $16.42;Mistral OCR 得 258/264,仅 $2.02;Ling 3.0 Flash VL 关闭推理后 254/264,每千页 $0.04。

    推荐理由:OpenRouter 用自造的 8 个测试页实测 16 个方案,给出准确率、成本和防幻觉的可行做法,读者可按自家文档场景对号选型。

11月6日周五
  1. Google Research70

    Google Research 发布 AI-PPG-ACC-HTN 系统,用智能手表无袖带检测高血压迹象

    Google Research 在 Nature 发表 AI-PPG-ACC-HTN 系统,用消费级智能手表的 PPG 和加速度传感器被动检测高血压迹象,无需袖带校准。

    推荐理由:原文给出无需袖带校准的智能手表高血压筛查系统及与临床金标准对比的具体数据,读者可据此评估其筛查定位。

11月5日周四
  1. Preferred Networks:AI 研究与产品60

    PFN 开源发布翻译专用模型 PLaMo 3 Translate,支持 53 种语言离线运行

    Preferred Networks 于 11 月 5 日开源发布翻译专用大模型 PLaMo 3 Translate,提供 0.8B、2B、8B、31B 四种规格,已上架 Hugging Face。

    推荐理由:原文给出四个模型规格、53 种语言覆盖和离线运行能力,可帮助读者评估端侧翻译模型的选型与商用许可条件。

10月29日周四
10月28日周三
  1. Google DeepMind74

    Google DeepMind 发布世界模型 Genie 4,支持实时交互与原生音频

    Google DeepMind 发布新一代世界模型 Genie 4,以研究预览形式向可信测试者开放,后续将向 Project Genie 中的 Google AI Ultra 订阅者及 Gemini API、Google AI Studio 早期合作伙伴推出。

    推荐理由:官方原文给出 Genie 4 的实时交互、原生音频能力和与 Gemini 协作的机制,也写明了测试者反馈和已知局限。

10月27日周二
10月24日周六
  1. Google Research60

    Google Research 复盘医疗 AI 用于肺结核筛查的落地之路

    Google Research 在 IDWeek 2026 分享其肺结核筛查 AI 从研究到落地的历程:2019 年基准研究后,经 Nexus AI 转化为 CE MDR Class IIb 认证工具,在约 40 家医疗机构部署,超过 90 名临床医生评估逾 25000 张胸片,周转时间缩短至 45 秒内。

    推荐理由:Google Research 官方复盘其肺结核筛查 AI 从论文、CE 认证到开源 MedGemma 落地的完整路径,读者可了解医疗 AI 从研究走向一线的关键环节。

10月22日周四
  1. Google Research68

    Google Research 发表 JAMA Network Open 研究:AI 盲扫超声估测孕周达临床非劣效

    Google Research 在 JAMA Network Open 发表前瞻性多中心研究,验证 AI 模型解析无超声训练背景的基层人员用便携探头做的盲扫图像来估测孕周。在芝加哥和内罗毕两个环境共 385 名参与者的主要队列中,模型估测孕周的平均绝对误差为 4.18 天,非劣效于专家超声师标准流程的 4.48 天;内罗毕站点未做本地微调,误差 4.27 天,显示了跨临床环境和硬件的泛化能力。

    推荐理由:原文给出前瞻性多中心验证数据,AI 用盲扫超声估孕周的误差与专家标准相当,可帮读者了解医疗 AI 跨环境落地的实际表现。

10月15日周四
  1. Together AI 研究与产品博客75

    Meta Muse Spark Open 上线 Together AI,面向智能体编码场景

    Meta 的 Muse Spark Open 开放权重模型已在 Together AI 上线,Together AI 是 Day 0 上线合作方。模型具备 1M token 上下文窗口、长程自主规划与子智能体协调、计算机使用与网页浏览、多模态输入和意图说明能力。

    推荐理由:原文给出了模型能力、定价和 API 用法,读者可据此评估它在智能体编程工作流中的实际落地价值。

10月6日周二
  1. Mistral AI74

    Mistral 发布 Mistral Large 4 公开预览:1 万亿参数多模态开源权重模型

    Mistral 发布 Mistral Large 4(ML4,昵称 le Chonk)公开预览,1 万亿参数、520 亿激活参数的原生多模态模型,预览 API 已在 Mistral Studio 开放,权重将于本月底发布。

    推荐理由:官方给出具体基准数字、开放权重时间表和欧洲自建训练基础设施,读者可据此判断它在开源模型中的位置。

9月23日周三
  1. Comfy Blog60

    Comfy 发布 Comfy Router,统一 API 调用主流图像、视频、3D 与音频模型

    Comfy 在 Developer Platform 上线 Comfy Router,一次集成即可调用 Seedance 2.5、MiniMax H3、Nano Banana Pro、GPT Image 2、Kling 和 Black Forest Labs 等前沿模型。

    推荐理由:原文给出 Comfy Router 的接入方式、可切换的 provider 列表和队列机制,读者可据此判断是否替代直连方案。

9月9日周三
  1. Suno:Blog77

    Suno 发布 v6 音乐模型,推出旗舰、探索和免费三档

    Suno 发布新一代音乐模型 v6,与 Warner Music Group、BMG 和 Believe 等行业伙伴合作开发,包含 v6、v6-wild 和 v6-mini 三款模型,分别面向精准创作、风格探索和免费快速生成。v6 支持用自然语言编辑歌曲片段、混搭多来源素材、采样构建节拍,以及从文本、音频、图片和视频生成音乐,上线后将逐步替换旧模型。

    推荐理由:原文出自 Suno 官方,给出 v6 三款模型的定位差异和新编辑能力,读者可以对照自身创作需求选择版本。

8月28日周五
  1. Comfy Blog63

    ComfyUI 上线 Gemini Omni 1.1 Flash 视频节点,支持指令剪辑与 4K 输出

    Gemini Omni 1.1 Flash 现已通过 ComfyUI 的 Partner Nodes 上线,在 Gemini Video Omni 节点选择 Omni Flash 1.1 即可用单一节点完成文生视频、图生视频、参考视频、视频编辑和场景续写。

    推荐理由:官方文档给出了节点的完整参数、编辑与续写能力,以及提示词写法,读者可以直接照此上手生成和剪辑。

8月14日周五
  1. Suno:Blog62

    Suno 发布 Studio 2.0,新增 MIDI、聊天栏与自动化等创作功能

    Suno 发布 Studio 2.0,面向音乐创作者带来更深度的制作控制,现已向 Premier 订阅用户开放。新功能包括在时间线上导入、录制和编辑 MIDI 并配合新的 wavetable 合成器,MIDI 片段还可作为音频生成的提示;Chat bar(beta)支持用对话方式创建乐器、人声和自定义插件,上线期间创建插件不消耗 credits。

    推荐理由:官方列出 MIDI、Chat、分轨分离等具体新能力与订阅门槛,音乐创作者可据此评估是否升级工作流。

7月15日周三
6月24日周三
  1. Figma AI / Agent / Make65

    Figma 设计 Agent 开放测试,新增自定义插件、着色器和上下文能力

    Figma 宣布设计 Agent 在开放 beta 中向更多用户开放,支持用提示词生成可复用的插件和基于 WebGPU 的 shader effects 与 shader fills,并集中在新 Tools 标签页。

    推荐理由:官方公布设计 Agent 开放测试范围与新增能力,读者可据此评估自定义工具和上下文接入对现有设计工作流的影响。

4月24日周五
  1. Ethan Mollick:One Useful Thing76

    Ethan Mollick 实测评测 GPT-5.5:能力跃升但锯齿状边界仍在

    Ethan Mollick 提前试用 GPT-5.5 并撰写评测,认为其表明 AI 快速提升尚未结束。同一编程任务中 GPT-5.5 Pro 仅 GPT-5.5 Pro 真正模拟了城镇演化,耗时 20 分钟,而 GPT-5.4 Pro 需 33 分钟。

    推荐理由:作者以早期访问实测对比多代模型,用同一编程任务和数据研究案例展示 GPT-5.5 的进步与边界。