端到端提升快递物流全产业链效率,英特尔携手

作者: 科技中心  发布:2019-08-10

太阳成集团 1

太阳成集团 2

快递与移动互联网、电商一起,被人们亲切地称为现代生活的“吉祥三宝”。快递小哥按下的清脆门铃声,已成为许多人心目中最美妙的音符。创立于1999年的韵达股份借此东风,已成长为服务网络覆盖全国,拥有完备快递物流全产业链的行业巨头。

太阳成集团,出处 | AI前线说起英特尔,为人们所津津乐道的是其突出的“硬”表现,实际上,英特尔的“软”实力在全球也是排名前列。要让硬件充分发挥出性能潜力,必然需要进行软件上的优化,这方面的工作可谓关键且极具挑战。近日,InfoQ 记者有幸采访了英特尔公司架构图形与软件集团副总裁和数据分析技术总监马子雅,她所带领的 IAGS/SSP 部门负责的正是针对英特尔硬件的软件优化工作,致力于为合作伙伴和用户提供大数据分析和 AI 的最优体验。

韵达在随全行业高歌猛进的同时,也清醒地意识到风险与机遇并存。随着业务量暴涨,其传统的人工作业模式,既费时费力,又无法保证质量。同时,人口红利的减少,也使人力和物流成本日益高涨,这些因素,正在形成制约韵达进一步发展壮大的瓶颈。

在采访中,马子雅为我们解读了英特尔软硬件结合的全栈式人工智能解决方案,并重点分享了过去两年英特尔对外开源的重要项目 BigDL 和 Analytics Zoo 的最新变化和进展。马子雅表示,Spark 在英特尔的硬件上能够得到最好的优化,而 BigDL 和 Analytics Zoo 自开源以来得到了广泛关注,采用情况好于预期。加速人工智能落地,必须“软硬兼施”

因此,利用自动化、智能化手段来节支增效、提升快递物流系统的效率,就成为韵达应对上述挑战的重要手段。为此,它积极地与英特尔等开展深度合作,引入以人工智能为代表的前沿技术,将其与传统快递物流行业的业务相融合,为自身及行业带来智能化变革。

近年来,互联网数据飞速增长,据英特尔统计:目前全球有超过一半的数据是在过去两年内产生的,而这其中只有不到 2% 是真正经过分析并产生价值的。英特尔近日在全球多地召开的发布会上推出了一系列以数据为中心的产品组合,包括第二代至强可扩展处理器、傲腾数据中心内存和存储解决方案、Agilex FPGA、以太网 800 适配器。正是为了应对数据激增的变化,英特尔为数据传输、存储、计算和处理提供了一套完整的解决方案。而在这套解决方案里,硬件并非全部。

围绕着AI三元素:数据、算法和算力,高达4.7亿件的年揽件量让韵达拥有了开展AI技术研究的数据基础,而与AI行业领先的核心技术提供者英特尔一起开展的深层次技术合作,则为其补齐了算法与算力的短板。

马子雅早前曾在采访中表示,英特尔致力于为客户提供最好的服务,而非单纯的硬件或软件。对于这一点,马子雅再次强调,英特尔是一家人工智能技术解决方案供应商,致力于为客户提供完整的全栈式人工智能解决方案。

算法或者说是AI软件的优化层面,英特尔为韵达提供了基于Apache Spark*的英特尔®Analytics Zoo统一分析与AI平台。它能以端到端的方式,助力韵达快速敏捷地构建 AI应用,用于图像识别、时间序列预测等多个应用场景。在算力支撑上,来自英特尔的新一代英特尔®至强®可扩展处理器,则能为AI应用提供更为强劲的算力,使之充分释放潜能。

在芯片层面,英特尔提供广泛的技术方案,包括通用型芯片到专用型芯片等,涵盖由边缘到数据中心的广泛领域。CPU、GPU、加速器、FPGA、内存 / 存储、互连以及安全硬件等都在英特尔的业务范畴之内。

为提升开发与部署效率,英特尔®Analytics Zoo为用户提供了丰富的端到端处理流程分析和AI支持,其中包括:

除此之外,英特尔还提供经过全面优化的软件,用以加速并简化 AI 技术的开发与部署,具体涵盖库、框架以及工具与解决方案等层面。

• 易于使用的抽象模型,例如针对Spark DataFrame和ML的处理流程支持,传输学习支持以及POJO样式服务API等;

太阳成集团 3

• 针对图像、文本和3D图像的常见特征工程操作;

在解决方案层面,英特尔能够开发、应用并共享完整的 AI 解决方案,从而加快客户从数据到洞察结论的推进过程。此外,英特尔还通过 ai.intel.com 网站发布案例研究成果、参考解决方案以及参考架构,以便客户能够在界定探索范围以及自行构建类似的 AI 解决方案时作为指导。

• 内置深度学习模型,例如文本分类、推荐和对象检测;

在平台层面,英特尔提供多种一站式、全堆栈且用户友好的系统方案,可由客户快速部署并加以使用。例如,英特尔 Deep Learning 云 / 系统(原名为 Nervana Platform with Nervana Cloud 以及 Nervana appliance)就是一套“一站式”系统,旨在缩短深度学习客户的开发周期。

• 大量的参考用例,例如时间序列异常检测、欺诈检测、图像相似性搜索等。

在工具层面,英特尔提供大量生产力工具,用以加速数据科学家与开发人员的 AI 开发进程。包括:英特尔深度学习 Studio、英特尔深度学习开发套件、英特尔 OpenVINO 工具包、英特尔 Movidius 软件开发套件等。

太阳成集团 4

在框架层面,英特尔立足硬件对最流行的各类开源框架进行优化,同时推动其加速发展。客户能够根据自身情况任意选择最符合需求的单一或多种框架。

如上图所示,围绕着韵达快递物流最重要的三个环节:前端分拣、资源调配和后端支撑,双方先期选取了“大小件测量”、“件量预测”以及“数据中心异常检测”三个方向开展技术协作。实际结果表明:AI应用不仅能帮助韵达有效提升快递物流系统的运作效率,更可大幅降低人工劳动的强度和人力成本。

在库层面,英特尔持续对各类库 / 基元(例如英特尔 MKL/MKL-DNN、clDNN、DAAL 以及英特尔 Python 发行版等)进行优化。另外还推出了 nGraph 编译器,旨在使各类框架能够在任意目标硬件之上实现最佳性能。

韵达AI解决方案优势:

马子雅目前所在的 IAGS/SSP 部门,其主要职责就是为在英特尔平台上运行各类大数据分析与 AI 解决方案的客户提供最佳体验,让硬件性能更优。其中一项核心任务就是与整个生态系统合作,立足英特尔的硬件对大数据分析 /AI 堆栈进行优化,从而提供更出色的性能、安全性与可扩展性。

• 能快速实现端到端的AI应用开发与部署能力,并提供强有力的技术支持;

以业界广泛使用的大数据框架 Apache Spark 为例,英特尔一直是 Spark 开源社区的活跃贡献者。在围绕 Spark 的大数据分析技术,比如实时流式分析、高级图分析、机器学习等方面,英特尔高级首席工程师、大数据技术全球 CTO 戴金权所领导的团队始终处在业界领先地位。他们为很多大型互联网公司提供了大数据分析的技术支持。比如 2012 年,戴金权团队帮助优酷使用 Spark 做分布式的大数据分析,使得其图分析的效率提高了 13 倍以上。他们还帮助腾讯在 Spark 上构建大规模稀疏机器学习模型,将模型规模的量级提高了十倍以上,模型的训练速度提高了四倍以上。

• 显著提升快递物流系统的运行效率,缩短配送时长,提升用户满意度;

为了让更多的大数据用户、数据工程师、数据科学家、数据分析师能够更好地在已有大数据平台上使用人工智能技术,2016 年底,英特尔开源了基于 Spark 的分布式深度学习框架 BigDL,此后不久又在 Spark、TensorFlow、Keras 和 BigDL 之上构建了大数据分析 AI 平台 Analytics Zoo。通过这两个开源项目,英特尔正在推动先进的 AI 技术能更好地让广大用户使用。开源框架和平台:BigDL 与 Analytics Zoo

• 更好地优化物流资源,包括对货运车辆、分拣人员、包装物料等资源的使用;

初衷:填补大数据分析与 AI 结合的空白点

• 大幅降低人力成本支出和物流成本支出。

近年来,许多公司都开始尝试在他们的分析流程中添加 AI 功能,但真正应用到生产环境却进展缓慢。实际上,深度学习模型的训练和推理只是整个流程的一部分,要构建和应用深度学习模型,还需要数据导入、数据清洗、特征提取、对整个集群资源的管理和各个应用之间的资源共享等,这些工作事实上占据了机器学习或者深度学习这样一个工业级生产应用开发大部分的时间和资源。而这样一套基础设施部署之后,再推倒重来是不现实的。

比如在“大小件测量”上,英特尔®Analytics Zoo平台提供的图像分类技术起到了关键作用。利用该平台内置的图像识别模型,AI应用首先能够提取出待测量的快件轮廓,进而通过平台提供的TensorFlow等深度学习框架,结合英特尔®至强®可扩展处理器提供的强劲算力,完成从模型训练、模型重定义到模型推理的AI处理全流程,最终获得准确的大小件测量数据。基于此,韵达还在进一步利用深度学习算法来进行运筹优化。例如其将装车过程抽象为经典的“切箱问题”,也就是当不同大小的快件到来之际,要规划好摆放的次序、朝向和位置,来使装件量最大化,从而尽可能降低运输成本。在英特尔的协助下,韵达AI团队利用深度学习的结构来表述这一问题的各个状态,并在其后加上强化学习的方法,将这一启发式的策略学习出来,其应用效果,甚至优于传统的运筹优化方式。

Apache Spark 与 Apache Hadoop 等大数据平台如今已成为业内数据存储处理和分析的事实标准,英特尔的客户中有大量 Spark、Hadoop 用户,很多企业都已经在生产环境建立了一定规模的大数据集群。虽然市面上已经有主流的深度学习框架,但英特尔在这里看到了将大数据分析与人工智能结合起来的一个空白点,这也是两年前英特尔推出 BigDL 的初衷。

通过在“大小件测量”“件量预测”以及“数据中心异常检测”三个方向上的合作,韵达和英特尔双方的团队已建立起高效的合作沟通机制,并积累了大量业务模型构建经验。同时,双方协作所获取的成果,也受到了韵达从一线员工到管理层的一致好评。目前,韵达已计划于未来两年,在京、沪、广、深等一线城市逐步推进这些AI应用的大规模部署。

太阳成集团 5

接下来,韵达还计划基于英特尔®Analytics Zoo平台以及其他英特尔领先产品技术,推进更多的AI应用开发与部署。例如通过引入自然语言处理技术,来构建全新的智能客服系统。这不仅可有效帮助韵达缓解目前面临的客服压力,提升客服质量,还可以让客服信息得以数据化,成为又一笔宝贵数据资产。

BigDL 是一套基于 Spark 分析流水线、以有机方式构建而成的分布式深度学习框架,可以直接在现有的 Hadoop 和 Spark 集群上运行,不需要对集群做任何修改。BigDL 能够实现主流深度学习框架 TensorFlow、Caffe 以及 Torch 等同样的功能,作为 Spark 标准组件也能够和 Spark 大数据生态系统里面的不同组件非常好地整合在一起。用户可以借助 BigDL 将 Spark/Hadoop 作为统一的分析平台,从数据摄取、清洁与预处理,到数据管理、机器学习、深度学习以及部署与可视化,一站式完成所有工作。

引入以英特尔®MovidiusTM MyriadTM X为代表的视频处理单元,也被韵达列入规划中。将它置入高拍仪,利用其强大的边缘AI处理能力,势必能帮助韵达快递物流系统提升其图像光学字符识别(Optical Character Recognition,OCR)的质量与效率。

后续在与诸多客户合作部署 BigDL 的过程中,仍有一部分客户反映希望能继续使用自己更熟悉的其它深度学习框架,例如 TensorFlow,并希望使用 TensorFlow 进行训练。因此,英特尔又在 BigDL 开源半年后推出了 Analytics Zoo,以帮助客户省去在大数据管道上手工“拼接”众多独立组件(如 TensorFlow、Apache Spark、Apache HDFS 等)的繁琐操作。

韵达快递首席架构师李培吉表示:“利用人工智能技术来提升快递物流系统的运转效率,是韵达面向未来发展,实施智能化转型的战略举措之一。它离不开强大的算法和算力的支撑。英特尔®Analytics Zoo平台、英特尔®至强®可扩展处理器等领先产品与技术的引入,能够帮助我们大大提升快递业务全产业链的效率,优化资源利用,大幅降低业务成本,有效应对未来发展的挑战。”

Analytics Zoo 作为一个更高级别的数据分析 AI 平台,能够帮助用户利用 Spark 的各种流水线、内置模型、特征操作等,构建基于大数据的深度学习端到端应用。某种意义上它是 Spark 和 BigDL 的扩充,可以将 Spark、TensorFlow、Keras 和 BigDL 无缝合并到一个集成管道中,方便地扩展到企业已有的大型 Apache Hadoop/Spark 集群,进行分布式训练或推理。

英特尔和英特尔标识是英特尔公司在美国和其他国家的商标。

太阳成集团 6

*文中涉及的其它名称及品牌属于各自所有者资产。

Analytics Zoo 最大的优势是能够在现有基于 Spark 与英特尔至强服务器的基础设施之上无缝运行各类主流深度学习框架和模型(包括 TensorFlow、Keras、caffe 以及 BigDL 等),客户可以选择使用适合自身需求的深度学习框架做模型训练,无需购买或者设置不同的硬件基础设施。

Analytics Zoo 还囊括有大量经过预训练的深度学习模型(例如图像分析模型、文本处理模型、文本匹配模型、异常检测模型以及用于序列预测的序列到序列模型等);其拥有高级 API,能够简化应用程序开发流程;它还能够以非常简单的方式建立端到端分析 /AI 流水线并实现生产化,整个流水线能够在 Spark/Hadoop 集群之上实现扩展,从而进行分布式训练与推理,降低训练用基础设施的独立成本,同时节约训练基础设施与分析基础设施之间的集成开发成本。

马子雅还提到,目前 Spark 在英特尔的服务器硬件上优化是最好的,这也是 BigDL 和 Analytics Zoo 最大的优势之一。

持续改进:降低开发门槛,提高训练与推理性能

自开源以来,BigDL 项目一直在持续改进,目前已经发布到 0.8.0 版本。

本文由太阳成集团发布于科技中心,转载请注明出处:端到端提升快递物流全产业链效率,英特尔携手

关键词: