【热门】中国AI开源再进击，商汤升级人工智能算法开放体系，开放超600种预训

本篇文章7198字，读完约18分钟

原始心灵的智慧

看点:对话林达华:解读人工智能算法开放体系背后的商汤技术的初衷和底气。

7月10日，商汤科学技术宣布将openmmlab升级到迄今为止最完善的计算机视觉算法体系和框架——“人工智能算法开放体系”，关于10多种研究方向，100多种算法，600

从年10月开始开源以来，openmmlab在github累计收获了16895个STR，在中国开源ai技术梯队远远领先于其他单一垂直行业的算法和框架。

▲openmmlab人工智能算法开放系统

从这个实验室出来的ai明星独角兽，凭借浓厚的学术基因和极强的技术攻关能力，在各国际ai竞赛和顶级会议上取得了战绩，同时在6年内获得了60多个世界第一，2000件左右的全球专利，另一方面，5亿台以上的手机

本周的商汤科学技术可以说是连扩大招募。 除了升级人工智能算法的开放体系外，7月7日，商汤正式启动了上海新一代人工智能计算和赋能平台项目，集成了商汤的大规模ai计算能力、工业级ai算法、开放型ai服务。

上海市经济新闻化委员会副主任张英在开工仪式上说，这个项目是“上海版《新基础设施》行动计划中的重要任务”，“执行AI《上海计划》的重要措施”。

平台建成后，计算能力将访问850万路视频，满足4个拥有2000万级以上人口的超大规模城市的采用。

通过与商汤科技共同创始人、香港中文大学新闻工程系教授林达华深入交流，我们试图解读openmmlab升级背后的商汤科技开源的初衷、技术底气和ai全栈能力。

两年的打磨，商汤openmmlab开源计划从萌芽到森林

商汤科技创始人、香港中文大学汤晓鸥教授曾经阐述了“三滴水”的创新理论:第一滴水是重视知识产权保护的高质量创新环境，第二滴水尊重人才，重视人才培养，第三滴水实现了学术的充分交流，由此

近年来，商汤科学技术明显是“ai+教育”的最忠实粉丝，不仅聚集了100多位世界级ai研究者，还着重于ai人才培养，出版了中学版ai教材、高中版ai教材及一系列ai实验课程。

在推进学术交流合作方面，年，商汤与清华大学、麻省理工大学、上海交通大学等世界15所大学共同成立了“全球大学人工智能学术联盟”，香港中文大学-商汤科学技术联合实验室( mmlab )开放

openmmlab由林达华教授发起，由一些实验室同学和商汤研究员参与，朝着“开源、统一、可再现”的目标，逐渐进化成商汤整体人工智能算法的开放体系，并且是整个ai产学研界的开源体 (链接: openmmlab/)

开源，这种新闻技术在迅速发展史上闪耀的创新力量，产生了许多古典软件作品。

在ai行业，开源也是算法迭代和创新的第一推动力，每个人都可以根据源代码进行学习和编辑，这种共享文化不仅有效降低了ai研发的门槛，还聚集了全球ai研究者的智慧，ai媒体

“在深入的学习时代，系统化的，基本上涵盖了cv的主要行业开源，商汤是第一位的。 ”。 林达华说

年前，opencv等一直在传播cv和机器学习开源代码库，但在ai行业产生了非常大的影响。

但是，在深度学习飞速发展的几年里，深度学习在cv行业没有形成opencv那样的统一开源体系，Gogle和facebook等许多科技巨头在单一方向的单点算法水平上进行开源

为了深入学习cv行业的重要方向，能否建立统一的开放代码库，继续沉淀新的算法？ 一个想法在林达华心中生根发芽。

年10月，mmlab实验室开放了初版mmcv计算机视觉基础库和初代mmdetection物体检测工具箱，标志着openmmlab统一开源系统进化的开始。

到年11月，mmlab包括mmaction行为理解工具箱、mmskeleton基于骨架的视频分解工具箱、mmfashion服饰分解工具箱、mmsr超分辨率工具箱等多个开源算法工具

▲openmmlab的快速发展路径

经过两年的快速发展，openmmlab逐渐形成了完善的体系和组织结构，可以提供开放的基础技术支持、接口标准和算法框架。

这些开放资源得到了更多ai研究者的积极录用、贡献和反馈，对ai社区的迅速发展产生了重要影响。 在github中，openmmlab的累计star数(相当于“不错”)达到了16895个。

openmmlab为ai产学研界的四大核心做出贡献

深入学习经过近年来的迅速发展，技术和工程水有平均成熟的趋势，其中也包括高开发成本、计算能力成本和数据成本。

openmmlab是处理算法设计的成本问题。 林达华告诉我，这个开源系统主要会给整个ai生产研究界带来以下贡献。

首先，这种开放的系统为整个ai产学研算法的研究开发和创新提供了非常好的基础。

从简单的想法到ai的研发落地，其过程非常多、复杂，必须开发算法，处理多个工程化问题，往往需要大量的反复试验价格。

openmmlab提供了更好的组织结构，提供了具有许多优秀算法副本的代码库，与提供模型训练能力的pytorch等深度学习框架相结合来补充。

对于有创新想法的研究者来说，他只需要专注于开发创新部分，其他部分就可以通过开源代码库来实现，从而大大简化了研究者实现想法和落地的过程。

其次，openmmlab降低了算法再现的难度。

学术界，ai算法层出不穷，研究者的新算法、新模型的再现难度也在增加，很大程度上影响了ai开发的效率。

进行科学研究必须与多种算法进行比较，重新实现整个算法或调整为别人通常需要时间和精力。 现在，openmmlab开源系统提供了丰富的代表性算法，大大降低了研究者重现和比较baselines的时间和难度。

第三，算法/数据集的供应商降低了客户和研究者的价格。

在产业界，算法、数据集供应商和应用客户之间，由于算法的不透明性，经常产生高的信息表现价格。

在很多情况下，再现一个算法时，受训练过程中的一些细节因素的影响，实际精度与论文中报告的精度有明显的差异，但找到这个差异调整到论文的精度水平需要很多时间。

商汤通过各种漏洞后，将所有主流cv算法收集到openmmlab的代码库中，消除了外部招聘人员踩洞的需要，处理了算法落地过程中产生的各种版本问题，提高了ai算法的应用和部署效率

最后，ai研究者可以在此基础上进行充分的交流，形成非常活跃的开源生态，促进产业能源。

在学术研究过程中，商汤从学术界、ai社区学术同事贡献的算法中汲取养分，商汤内部的很多算法也是基于openmmlab开发的。 商汤也为代码库贡献了大量自研的新算法成果，分享给业界，加速了商业落地。

而且，对商汤自身来说，这种与学术界同事互利共荣的方法，大大加快了商汤自身的创新和落地进程，提高了商汤在ai生态中的影响。

例如，一位大客户要求商汤团队在1~2个月内交付60多家精度和工程化要求非常高的型号。 本来是难以想象的事件，根据openmmlab的支持和商汤的其他系统化的模型生产平台、训练平台，商汤只需投入十几个个体，基本上是以一天交货几个模型的速度进行这个计划

“随着我们开源的步伐的推进，其实更多的东西在这个过程中沉淀着。 那么，这个沉淀的速度，其实商汤比很多同行其他公司走得快得多。 ”。 林达华说，这一整体速度的特点是商汤在算法生产和应用生产的速度和能力是业界持续领先的根本特征。

新推出7个工具箱，开放600多种预训练模式

从今年年初开始，商汤开始将openmmlab提高到新的战术高度。 确认为人工智能算法的开放系统，为推进这个开放系统的建设投入了很大的资源和团队。

在7月10日的世界人工智能大会上，商汤科学技术正式宣布了openmmlab战术的升级，成为商汤科学技术发起的“人工智能算法开放系统”。

这是商汤拥抱开源开放的另一个象征性节点。

新的openmmlab人工智能算法开放系统包括10多个研究方向，涵盖了100多个算法和600多个预训练模型，新推出了7个算法工具箱，之后也开放了

▲openmmlab于去年10月新推出了7个算法工具箱

其研究方向包括图像分类、检测、语义分割、动作识别、3d点云、图像超分辨率、图像块、图像的人体关键检测和跟踪等，这些是cv行业最主要、应用最广泛的方向。

openmmlab的设想是使ai研究更容易使用和更高效。 我们希望基于高级软件堆栈以多种副本和活动形式推进副本生态，并将开发人员和客户连接到公开市场。

首先，面向公开市场，连接供应商和顾客(顾客和研究者) (算法和数据集)，降低信息表现价格，加速ai的开发和部署。

其次，关于复印生态，通过教程讲座、在线研讨会、互联网服务、基准测试、竞赛等复印和活动形式，推进ai社区的复印生态。

最后，在软件堆栈方面，以mmcv计算机视觉基础库为统一基础结构，提供多种特定的行业库和数据集，构建完善的软件堆栈，提供高级api和低级模块支持，ai的研究开发

▲openmmlab的三个愿景

林达华教授表示，商汤和联合实验室团队基于cv第一方向的深入理解，设计了非常灵活简洁的统一架构，这是openmmlab开源体系的重要优势。

基于这个框架，可以构建非常多样的算法，有些是通过商汤和联合实验室的同学设计实现的，另一个是其他研究机构和学校做出贡献的算法。 在影响巨大的许多开源项目中，外部贡献的比例很高，持续上升。

例如，mmdetection物体检测工具箱有100多个贡献者。 其中大部分来自ai社区，只有几个人真正全职投入商汤。

目前，openmmlab从单点单向开源和单篇论文开源走向繁荣的开源体系，成为基础训练框架、计算平台和科研、教育和算法生产的重要桥梁和纽带，ai科学研究

关于将来，林达华明确表示商汤有长期的想法。 其开放从外到内，逐渐从文案生态、算法层面扩展到训练框架等越来越多的基层。 商汤会随着事业的进度陆续发表相关进展。

除了openmmlab，商汤还将启动人工智能计算和赋能平台项目

openmmlab升级到人工智能算法的开放系统是商汤在开源算法方面的重要一步，但商汤的ai能力范围不仅如此。

在我们系统再生商汤的ai技术力量之前，请先考虑一个问题。 ai创新战略来源有那些不可或缺的核心推动力吗？

商汤科技联盟创始人、CEO徐立的回答是“融合了大量数据解决引擎、异构计算能力调度系统、深度学习训练框架的人工智能计算平台”。

7月7日，中国(上海)自由贸易试验区临港新领域年要点产业项目集中开工仪式在上海临港地区举行。

作为重点项目之一，商汤科技上海新一代人工智能计算和赋能平台项目正式启动。

▲商汤科技上海新一代人工智能计算与赋能平台(效果图)

上海市经济新闻化委员会副主任张英对商汤说:“目标是使本项目成为上海ai“新基础设施”的基准。”

这个项目是装载商汤平台化战术，基于商汤多年科研和落地经验的积累，集大规模ai计算能力、工业级ai算法、开放型ai服务于一体的城市级ai计算平台。

从基础硬件设施、平台基础、系统框架、算法工具链、处理方案到上层应用的落地，商汤上海新一代人工智能计算和能源平台的体系结构体系初步构建完整

▲商汤上海新一代人工智能计算与能源平台架构体系

与不同顾客差异化的诉求相比，该平台提供了“多层次ai赋能”服务和“一站式ai+产业升级”服务能力，持续提高了原始ai算法模型的批量生产能力。

面向ai生态公司，该平台基于商汤积累的ai算法和基础服务经验，结合顾客在ai行业的技术能力差异，开放支持产业链不同层次的ai服务，满足ai生态公司个性化的诉求

对于迄今为止流传的领域的头部公司，该平台从基础ai计算能力到ai操作系统以及丰富的领域落地经验，提供了完全堆栈ai能力的支持。

完成后，这个平台的计算能力足够，将访问850万路视频，满足4个超过2000万级人口的超大规模城市的采用。 一天能解决的时间相当于23600年的录像，相当于旧石器时代末期到今天的长度。

计算力、算法、生态、商汤技术力的全貌

商汤上海新一代人工智能计算和赋能平台的背后，是商汤科技成立6年来，ai计算能力、算法和服务方面千锤百炼。

在计算能力方面，商汤从成立之初就自己构建了硬件计算平台，购买了6000多张英伟达gpu来自超计算中心。

到今天为止，商汤在全国拥有20多个超级计算机集群，终于超过了200pflops，训练了3000多种不同类型的算法模型。

在算法层面，openmmlab开源的所有算法工具库经过商汤及其联合实验室长期学术研究和工程实践的积累，迄今为止商汤公开了约2000项全球专利。

在10年来最难的国际计算机视觉和模型识别顶会cvpr上，商汤科学技术和共同实验室入选了62篇论文，还获得了3场比赛的冠军。

落地时，商汤已经解除了4亿5千万部手机的脸部锁定，每天解除脸部锁定的次数是300亿次。 在酒店大厅，20多万台面部认证设备来自商汤，平均每天提供3亿人的面部认证服务。

为了自动驾驶，商汤智能车库有30多家全球合作伙伴，允许300万辆车辆。 北京大兴国际机场、首都机场t2航站楼的单一安全检查通道的检查效率从每小时180人提高到每小时260人。

在国土、水利、农林等12个领域以上的商汤智能遥感业务中，影像积累数据量的总面积相当于我国国土面积的52倍，影像解释范围超过40万平方公里，数据解决量超过4万gbyte。

踏入产业，然后商汤也仰望ai的星空，探索面向未来的最前线的研究。

周航是中国顶级“星际争霸ii”选手，是8届全国星际争霸赛的冠军，现在是商汤科学研究员，据他介绍，是星际争霸中最公认的最困难、最复杂的游戏行业之一，ai还是顶级人类选手

他们积极推进“ai+运动”的研究开发，想在电竞这个精彩的决定场景中，沉淀出最佳的ai决定算法。

像周航这样具有特殊背景的研究员在商汤庞大的研究小组中不是一例。

商汤科技副总裁、商汤研究院副院长闫俊杰表示，过去5年半，商汤积累了很多与计算机视觉和深度学习相关的专家，但到了新的无人区，到了技术攻防阶段，越来越多的不同背景的人才交叉，更加

在这个阶段，商汤选择了来自不同学科、不同背景的多元混合应用型人才，扩大人才储备的深度。 现在商汤核心技术团队的平均年龄是28岁，包括近200名博士学位，全世界员工总数超过4000人。

这些高质量人才的力量正是商汤原创技术和创新能力不断产生的本源。

ai的迅速发展还处于初期阶段，cv创新还有广阔的空间

第三次ai浪潮爆发以来，质疑的声音没有消失。 但是徐立说，我们必须更全面地证明ai技术的增长，而不是应对算法的完全责备。

ai技术在质疑中落地，反复优化，每次技术尝试错误都带来增量价值。

以脸部识别为例，最初脸部识别的正确性、双胞胎的脸部识别的处理方法等受到质疑，之后，视频和3d脸部面具能否模仿脸部解锁成为了人们关注的焦点。 在不断的疑问声中，越来越多的城市级应用应运而生，比如在地铁上洗脸支付、戴口罩擦脸等。

在日常生活中，除了脸部识别、行人识别等非常受关注的头部应用以外，还存在频度低的图中恐龙尾巴那样的长尾应用。

徐立认为ai真正落地不仅仅是头部问题，还处理长尾的小问题，长尾适用完全价值闭环。

例如通过ai算法，可以连接时间、地点、人、物，处理垃圾散布、粪便车排出、自行车违章等ai应用频率低的日常城市管理问题，这些都是长尾的应用场景。

林达华也看到ai行业还有很多问题，比如探索新的学习方法和模型结构，能否减轻模型训练对数据和计算能力的严重依赖。 能否提高ai模型的说明性、安全性和可靠性，使越来越多的行业放心采用ai的能力。 能否在ai场景中共同创新硬件和软件，实现ai能力的更高效部署。

另外，cv与社会科学、艺术、管理学等多个行业联系在一起，发挥着意想不到的价值。 这些行业的边界有很多创新的机会。 nlpg也提出了一些值得cv行业参考的想法，这也是将来创新时可以考虑的方向。

林达华说，创新的本质是探索未知的行业，处理尚未处理好的问题。

例如，如果算法通常需要很多工程师来将算法落地到许多不同的芯片上，ai能简化这些重复工作吗？ 还是可以建设运行过程多而复杂的大型ai平台，用ai减轻运维工程师的工作量？ 另外，在国家投入大量人力物资的疫情预防控制中，ai能进一步加快员工效率吗？

林达华还说，我们的社会生活和产业各方面都有挑战，在一些地方以ai的方式进行探索，但在很多方面，ai还处于非常初步的阶段，还没有进入，这是非常大的创新空间。

他对此提出，如果研究者想创新，就必须跳出ai认为适用的这些方面，向更广阔的空间寻求新的机会、新的创新。

“如果只盯着现有的大家正在完成的任务，创新的空间一定会越来越狭窄。”

但是，除了这些小点之外，还有很多广阔的空间，如果研究者想让眼睛看到这些地方，创新就有无限的可能性。

结语:开源与原创，ai进化活力之源

年，我们处于时隔百年的大变局。

受疫情“黑天鹅”和反全球化风险的影响，世界经济正在发生飞跃性变化，世界学术交流合作也受到一定的冲击，但ai作为新科技革命和产业变革的核心推动力，在国家提倡的“新基础设施”中更大

现在，ai在金融、医疗、制造等许多以前流传的领域显示了重建的潜力，但遗憾的是，现在的ai发挥的能力还是有限的，我国的ai基础研究依然不及美国，为了推进ai技术的成长，需要原创。

技术原件是科技公司的立身之本，开源可以体现公司的技术自信和共荣精神。 目前争夺ai高地是世界各国的共识，以openmmlab为代表的中国ai开源力量为我国ai的持续创新和快速发展输送着持续的生活水。

(本文是网易信息网易号特色文案激励计划合同账号【智物】原创文案，未经账号授权，禁止擅自转载。 ）

原标题:“中国ai开源再进攻！ 商汤将升级人工智能算法的开放系统，开放600多种预训练模式”

阅读原文。