李飞飞看了要点赞:15分钟,一台相机,把真实世界搬进了A
将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。
当前位置
当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。
李飞飞看了要点赞:15分钟,一台相机,把真实世界搬进了A
本篇体育资讯由6686体育整理:
编辑|Clio 把一家冰淇淋店交给机器人,需要准备多少东西?
机械臂、灵巧手、摄像头,以及负责感知和决策的模型,构成了看得见的系统。
但在禾赛联合创始人兼 CEO 李一帆看来,要让机器人真正上岗,还要解决一系列与「空间」有关的问题。
在发布会上谈到 Sharpa 与 DQ 的合作时,他列出了团队希望达到的三个目标:尽量不改造原有环境,完成任务的完整闭环,以及承担真正的制作工作。
他介绍道,制作冰淇淋包含五十多个步骤,团队希望机器人能够把整套流程接管。
为了让机器人拿下这套流程,团队先为它准备了一家「数字门店」:将真实门店的布局、设备和操作空间搬进虚拟环境,用于训练。
禾赛表示 ,过去专业团队人工建模还原一家门店需要约 300 个小时,他们的设备约 15 分钟即可完成扫描并生成高度还原的三维训练环境 ;
Sharpa 的失败案例降至原来的十分之一,任务成功率达到 99%。
这也是空间智能正在讨论的问题。
李飞飞将空间智能概括为 AI 在三维空间中感知、推理并行动的能力。
与只回答「看到了什么」的视觉模型相比,它进一步要求 AI 理解物体在哪里、空间的几何关系,以及一个动作发生之后,世界会怎样变化。
那么,一家真实门店,究竟怎样变成机器人可以反复学习的地方?
10 月 14 日,禾赛发布三维世界数据引擎 Kosmo,包括空间相机 Kosmo One 和云平台 Kosmo World。
前者负责采集真实空间,后者进行重建、理解与编辑,并将数据交付给机器人仿真、世界模型和三维创作等工作流。
目前,这套数据也已进入皮克斯相关创作工作流,以及高德的空间展示应用。
视频链接:https://mp.
weixin.
qq.
com/s/5znJv_i5tuiw3kdeDSk4Mw 扫描一家店之后,哪些信息会被留下?
这些信息又如何变成机器人能够使用的训练轨迹?
为什么要专门造一台空间相机?
机器人需要怎样的数字门店?
柜台表面的颜色和纹理,影响视觉识别;
桌沿的位置、设备之间的间隔,关系到接近路径与操作空间;
换一个观察角度之后,杯子是否被设备挡住,又会改变机器人获得的观测。
因此,一个可用于训练的数字环境,需要同时保留外观、几何和空间关系。
专业团队当然可以通过传统 CG 建模完成这件事,但问题在于,真实世界中的门店、工厂和酒店各不相同。
如果每进入一个新场景,都从头开始建模,成本会随着真实世界的复杂程度快速增加。
现场扫描提供了另一条路径:不再先假设一个标准空间,而是直接把具体场所记录下来。
Kosmo One 将激光雷达、影像系统与高精度 IMU 集成在一台设备中。
激光雷达提供空间测量,摄像头记录颜色与纹理,IMU 为设备运动估计提供信息,再通过同步、标定和融合,把不同来源的数据放进统一的空间参照。
毫米级精度意味着什么?
向少卿在发布会上展示了一把网球拍。
他介绍道,球拍网孔约为 5 毫米间距,Kosmo 的定制激光雷达能够清晰呈现这些细小结构。
这个演示让抽象的精度指标有了一个直观参照:当扫描对象从房间轮廓变成细小结构,测量能力会决定哪些细节能够被留下。
影像系统则采用一英寸大底 CMOS,支持最高 8K 拍摄,最终导出文件最高分辨率为 6K。
但在三维重建中,分辨率之外还有另一个问题:多个摄像头拍到的同一个物体,能否保持一致?
向少卿用一块地板来解释这个问题。
扫描者在房间里走动,同一块地板会反复进入不同摄像头的画面。
随着拍摄方向和背景变化,自动曝光、白平衡等处理可能作出不同调整,使同一个表面呈现出不同的亮度和颜色。
这些功能可以改善单张照片的观感,三维重建却需要把多个时刻、多个视角组织起来。
如果同一表面的外观不断变化,纹理还原和视角切换的连续性都会受到影响。
因此,Kosmo 为三维重建定制了 ISP,也就是把影像传感器原始信号处理成图像的系统。
它需要兼顾跨相机、跨时刻的一致性,让不同画面共同描述同一个空间。
几何与影像之间,也需要准确对应。
扫描者走过柜台时,相机拍下一张图像,激光雷达取得一组测量,设备本身还在移动。
系统需要知道这些信息分别来自什么时刻、什么位置,才能让图像里的柜台边缘与空间测量中的边缘对齐。
因此,一台空间相机的完成度,要在整条采集链路中体现:既要取得足够细的几何与视觉信息,也要让这些信息相互配合。
使用过程则需要尽量简单。
向少卿在介绍 Kosmo One 时,特意强调了一个实体按钮和一个屏幕按钮:用户能够完成开机、扫描等操作。
他为这款产品设定的目标,是让空间建模变得像拍照一样容易。
禾赛表示,在普通室内条件下,约 15 分钟可以完成 100 平方米空间的扫描,具体时间随场景结构和采集要求变化。
不过,扫描完成之后,得到的还只是一份空间记录。
接下来的关键,是如何把它加工成能够反复使用的训练资产。
一次扫描,如何变成大量训练轨迹?
采访中,李一帆
更多体育热点,关注6686体育。
推荐阅读
Search
热点新闻
0球0助攻仍评分第1!伊劳拉激活红军大核 他值得续约
在英超联赛第7轮中,利物浦在客场以2-1逆转战胜布伦特福德,重新找回了胜利的感觉。比赛开局时,布伦特福德的刘易斯-波特率先为主队破门,但随后利物浦的穆尼奥斯和伊萨克相继进球,完成反超。尽管这两位球员表现出色,赛场上最为闪耀的却是中场球员麦卡利斯特。他在比赛中虽然没有进球和助攻,却凭借全场最高的评分展现了其在比赛中的重要性。 麦卡利斯特在上赛季的表现相对低迷,原因可能与缺席季前备战以及教练的战术安排
特斯拉新车官宣:10月17日,即将上市
10月17日消息,特斯拉第二代Roadster在中国官网开放Performance版本预订,预订意向金为33.2万元。这个金额对应预订,并非整车售价。北京时间10月16日上午,新车在全球发布活动中亮相,公路版和带推进器的版本同时公布,不过国内目前可选的只有Performance。 中国预订页面对Performance的描述是两座布局,配备主动空气动力学系统和多模式吸气系统,定位于公共道路驾驶。页面
叙利亚全国抗议高呼推翻朱拉尼!民众却不想阿萨德回来,谁能救?
大马士革一名公交司机对外诉苦,柴油涨了40%,汽油涨了接近30%,让自己忙活完整整一天,大半收入都消耗在了柴油上面,当地菜贩也说,赚来的钱大多拿来支付运费,真正落到自己手里的所剩无几。 普通从业者算出来的这一笔笔生计账,比各类宣传口号都更加实在,叙利亚这一轮全国范围抗议浪潮因何而起,朱拉尼的过渡政府又卡在什么样的困局当中,今天来聊下这个事情。 抗议活动最先从哈塞克、代尔祖尔、拉卡爆发,短时间蔓延至
谁是第一个?太阳报盘点英超主帅下课热门:卡里克赔率仅7/4
直播吧10月19日讯 英超第7轮比赛已经基本结束了全部的争夺,暂时还没有主帅下课。但是,这样的平静预计不会持续太久。《太阳报》盘点了英超下课热门主帅,卡里克、德泽尔比在列。 萨热 在水晶宫以0-5惨败给宿敌布莱顿后,这位水晶宫主帅看起来极有可能成为本赛季第一个下课的人。水晶宫本赛季已经输掉了4场比赛,虽然萨热在下课赔率上暂落后于卡里克,但他在赛后的表态并未展现出留任的信心。 当被问及是否会获得更多
张亚中:当选举变成认知战,民主还有意义吗
台北市长选举原应讨论城市治理问题,如今却逐渐成为沈伯洋与民进党操作“认知战”的主战场。当参选人最擅长的不是治理城市,而是辨识敌人、制造威胁、画分忠奸,这场选举所决定的,就不只是谁来管理台北,更是台湾民主是否将被改造成一场思想审查。 沈伯洋以研究资讯战及创办黑熊学院崛起。民进党先将他安排在不分区“立委”安全名单,如今再推上市长选战,显示“认知作战”已由“国安”议题变成政治动员工具。它最大的方便,就是