什么是边缘存储

　　随着物联网(IoT)和云计算技术的迅猛发展，大量的数据被产生、传输和处理。然而，将所有数据集中存储和处理在传统的中心化数据中心中可能会面临许多挑战，如网络延迟、带宽限制和隐私问题等。为了解决这些问题，边缘存储应运而生。边缘存储是一种分布式存储和处理数据的方法，它将存储和计算资源放置在接近数据生成源的边缘设备或边缘节点上，以提供更快的响应时间、减少网络负载和更好的数据隐私保护。

　　边缘存储是指将存储和计算资源分布在网络边缘的设备或节点上，以产生、存储和处理数据。相比于传统的中心化数据中心存储模式，边缘存储更加接近数据生成源，使得数据可以在离用户更近的地方进行存储和处理。边缘存储可以包括各种设备，如智能手机、物联网设备、边缘服务器和边缘节点。

　　边缘存储就是把数据直接存储在数据采集点或者靠近的边缘计算节点中，例如MEC服务器或CDN服务器，而不需要将数据通过网络即时传输到中心服务器(或云存储)的数据存储方式。边缘存储一般采用分布式存储，也称为去中心化存储。下面通过几个案例来说明：

　　在安防监控领域，智能摄像头或网络视频录像机(NVR)直接保存数据，即时处理，不需要将所有数据传输至中心机房再处理。

　　家庭网络存储服务器，用户更偏向将私人数据存储在自己家中，而不是通过网络上传到提供存储服务的第三方公司，这样第三方公司不会接触到敏感数据，保证隐私保护和安全性。

　　自动驾驶采集的数据往往可以在车载单元或路侧单元中进行预处理，再将处理后的少量数据传输给后台服务中心或云。

　　边缘存储的应用领域

　　边缘存储在许多领域都有广泛的应用：

　　1 物联网(IoT)

　　物联网设备产生大量的数据，如传感器数据、监控数据等。边缘存储可以将数据存储在设备本地或附近的边缘节点上，减少数据传输和云计算的需求，提供更快的响应时间和更好的隐私保护。

　　2 实时视频分析

　　在需要实时视频分析的场景中，边缘存储能够将视频数据存储在离摄像头更近的边缘设备上，并进行实时的分析和处理。这可以减少对网络带宽的需求，提高响应时间，适用于视频监控、智能交通等领域。

　　3 边缘计算

　　边缘存储与边缘计算密切相关。边缘计算是一种将计算任务从中心数据中心转移到边缘设备或节点上的模式。边缘存储为边缘计算提供了数据存储和处理的基础，使得边缘设备可以更好地满足实时计算和数据处理的需求。

　　4 移动云计算

　　边缘存储也可以与移动云计算结合使用。移动云计算是一种将计算和存储资源从移动设备转移到云端的方式。边缘存储可以将移动设备上产生的数据存储在边缘节点上，减轻移动设备的负担，同时提供更快的响应时间和更好的用户体验。

　　边缘存储的概念及应用

　　1、概念：边缘计算的存储主要指将采集的数据直接存储在边缘计算节点，而不是将所有数据实时上传到中心云计算节点的一种数据存储方式，也称为边缘存储，一般这种存储方式采用分布式存储。

　　2、特点：一是这种存储的读写速度快，时延低，时延一般不超过5ms，有利于提升响应速度，满足特殊场景的需要。二是通过预处理，能够减少冗余数据在网络上的传送，能够有效地降低传输网络带宽，提高资源使用效率、效益;三是分布式存储，可以实现网络、网络节点间的隔离，减少网络间的影响，增强网络容错性，降低集中存储故障时的影响;四是实际上是边缘存储和集中存储相结合，形成部分数据互为备份，降低数据丢失的风险，提高系统的可靠性;五是降低了数据传输过程中的质量受损、传送安全等问题的发生，数据存储的安全性、隐私保护更高。

　　3、数据类型：大家都知道，按照数据格式来分，数据类型分为结构化数据、半结构化数据和非结构化数据。其中结构化数据是二维形式的数据，其排列和存储是非常有规律的，常使用关系数据库表示和存储，常用的关系数据库有Oracle、SQL Server MySQL、MariaDB等;半结构化数据是有基本固定结构模式的数据，一般通过灵活的键值调整获取相应的信息，其数据的格式不固定，常见的半结构化数据主要有日志文件、XML文档、JSON文档、电子邮件等;非结构化数据是没有固定结构的数据，是占比最高、应用最广的数据类型，占比接近80%，常见的非结构化数据有视频、语音、图像、报表、图片、文本、HTML等等。

　　当然，如果按照使用的频次分，还可以将数据分为热数据、温数据和冷数据，一般它们占总数巨量的比例分别为：5%、15%、80%，从这些占比数据来看，完全看出数据的“热度”。这种情况，为了提高系统运行效率、效益和安全稳定，我们必须采取不同的存储方式和访问策略，实行分层管理：热数据一般放在内存或基于3D XPoint的持久化内存中，温数据放在基于PCIe NVMe或SATA接口的SSD中;而冷数据则被放在低转速的HDD硬盘中。

　　4、存储的类型：边缘存储的分类方式比较多，不同的存储类型适合不同的场景。按存储介质分，分为机械硬盘、固态硬盘;按数据热度需要分，分为持久性数据存储、非持久性数据存储;按产品定义分，分为本地存储、网络存储、存储局域网;按应用场景分，分为文件存储、块存储、对象存储;按照分布模式分为集中式存储和分布式存储。

　　数据的计算和存储架构中，一般设置四层存储：第一层存储，内存，作为缓存，时延100ns;第二层存储，PCIe SSD，作为缓存或者最终存储，时延10µs~300µs;第三层存储，本地存储，作为第四层存储的补充或替代，时延5ms~10ms;第四层存储，存储局域网，时延5ms~10ms。

　　其中分布式存储模式由于其具备性价比高、容错性好、可扩展性强、易于管理、完全无中心架构等优点，在业界被应用的比较广泛。它包括分布式文件系统、分布式块存储、分布式对象存储、分布式数据库和分布式缓存等组成。

　　5、应用举例：这种边缘存储适合的场景比较多，被广泛应用到很多领域，主要发挥其低时延、网络带宽需求低、可靠性高、可扩展性强等等优势，满足场景需求，下面我们简单介绍几个应用场景领域。

　　一是视频传送领域，尤其安防监控领域。由于其采集的数据多为大流量视频，如果将所有数据都上传中心存储，会浪费大量网络带宽资源，而且有些数据都是重复数据，而且对存储的时间也要求不长，没必要都上传，再就是异常情况需要快速判断处理，因此急需要在边缘存储和计算，仅需要将少量处理后的数据上传即可。

　　二是汽车等无人驾驶领域。这种场景对实时性要求比较高，如果都将数据上传处理，往往来不及，因此需要在边缘(例如在车载单元或者路侧单元)存储和处理数据，才能满足场景需要，仅上传部分处理后的数据即可。

　　三是工业生产场景。这种场景对数据的实时性要求也比较高，再加上从智能工厂机器设备上采集的原始数据频率高、规模大、干扰数据多，若果将这些数据都上传云中心，既浪费资源，又会形成访问瓶颈，造成成本上升，关键时延不能满足要求，因此需要将数据在设备边缘侧存储和处理，才能满足智能制造的要求。

　　四是智慧家居的场景。牵扯到个人隐私和家庭安防，很多人不愿意将数据存储到公有云上，更希望将私人数据(尤其安防数据、隐私数据)放在家庭侧的边缘存储设备上，这样才能更好的推动智慧家居应用的落地推广。

　　边缘存储的应用场景比较多，我们这里仅仅列了以上几个典型的案例场景。当然，对于数据量不大、时延要求不高等的场景，我们既可以选择边缘存储、边缘计算，也可以靠虑集中存储到云中心、集中处理。

　　边缘存储的优势

　　边缘存储具有许多优势，使得它成为处理大规模数据和实时应用场景的理想选择：

　　1 低延迟和快速响应

　　边缘存储将计算资源放置在离用户更近的地方，减少了数据传输的距离，从而实现更低的延迟和更快的响应时间。这对于实时应用程序(如视频流、智能交通系统)和对低延迟要求较高的任务(如远程控制和监测)非常重要。

　　2 减少网络负载

　　通过在边缘设备或节点上进行数据存储和处理，边缘存储可以减少数据传输到中心数据中心的需求，从而减轻了网络带宽压力。这对于大规模物联网应用和分布式传感器网络非常有益。

　　3 数据隐私保护

　　边缘存储可以在数据生成源附近进行数据存储和处理，避免了将敏感数据传输到云或中心数据中心的风险。这种近场存储可以提供更好的数据隐私保护，并遵守相关的法规和隐私政策。

　　4 离线操作和容错性

　　边缘存储使得设备可以在离线状态下进行局部的数据存储和处理，当网络连接恢复时再将数据同步到中心数据中心。这提供了更好的容错性和可靠性，即使在网络中断或不稳定的情况下也能继续工作。

　　1. 网络带宽和资源优化

　　对于以云为核心的存储架构，所有的数据都需要传输到云数据中心，带宽的需求是极大的。同时，并不是所有数据都需要长期保存。例如，对于电子监控的视频数据仅保存数天、数周或数月。而对于智能工厂中机器采集的原始数据，特点是数据频率高、规模大，但有价值的数据相对较少。如果将这些数据存储在云上，会带来网络带宽资源浪费、访问瓶颈以及成本上升等一系列问题。

　　在某些情况下，由于带宽限制或不一致，数据传输质量会受到影响，出现丢包或超时等问题。针对这种情况，可以利用边缘存储来缓存数据，直到网络状况改善后再回传信息。此外，还可以利用边缘存储动态优化带宽和传输内容质量。例如，在边缘录制高质量的视频，而在远程查看标准质量的视频，甚至可以在网络带宽不受限制时将录制的高质量视频同步到后端系统或云存储中。

　　通过边缘存储和云存储的有机结合，可以将一部分数据的存储需求从中心转移到边缘，更加合理有效地利用宝贵的网络带宽，并根据网络带宽的情况灵活优化资源的传输，使得现有网络可以支撑更多边缘计算节点的接入并降低总体拥有成本(TCO)。

　　2. 分布式网络分发

　　由于边缘节点分布式的特点，可以利用边缘存储建立分发网络，分发加速的效果将好于当前站点有限的CDN网络。例如分享一部分存储用于分发，那么观看的热门电视剧就可以被邻居直接下载使用，极大地节省网络带宽;另一方面，也可以通过分享存储资源获取部分收益。

　　当边缘存储进入实用阶段时，去中心化的应用也更容易建立。基于地域的社区将可以不通过中心服务器或服务商进行交互，也更容易建立基于社区的私有网络。

　　同样，由于基于边缘存储的点对点网络的建立，应用或服务商之间的数据共享变得更加容易和便捷。在理想情况下，服务商或应用提供商完全可以不拥有数据，而数据本身属于数据的生产者。这样一来，数据的拥有者就完全可以把这部分数据分享给不同的应用或服务，用于产生超额价值。例如，远程医疗可以让病人把自己的检查结果存储在本地，而病人可以支配自己的检查报告，用于提供给不同的医生或医院进行诊断。同时，如果病人愿意，也可以匿名地分享给研究机构作为科研数据。

　　3. 可靠性更强

　　当数据存储和处理完全是中心化的时候，任何的网络问题或数据中心本身的问题都会导致服务中断，影响巨大。当边缘计算节点具备一定的处理能力，且数据存储在端或边缘之后，对网络的要求大大降低，一部分的网络中断只会影响小部分功能，因为很多处理运算同样可以在本地进行。同时，当边缘的点对点网络建立起来后，网络的冗余性会进一步解决部分网络中断的问题，容错性得到极大的加强。

　　而对于需要具备高可信度的企业级应用(例如银行、政府和城市监控系统)，利用边缘存储可以降低数据丢失的风险。如果主网络中的存储发生问题，边缘存储可以保留数据的备用副本，并在需要的时候同步到后台，从而提高整个系统的可靠性。

　　为了进一步提高边缘存储的可靠性，边缘存储介质的选型也非常重要。由于边缘节点需要长期全天候运行，工作环境多样，传统的针对消费内的存储介质已经不能满足边缘存储高可靠性的要求。典型的如IP摄像头或NVR中使用的消费级MicroSD，这种卡的固件并未针对全天候录制需求进行优化，因此会丢帧，在许多情况下，帧捕捉率下降20%~30%后，会导致大量数据丢失。因此需要选择工业级的专用存储卡，提高平均无故障时间(MTTF)、降低年度故障率(AFR)，并提供可监控运行状况的智能工具，减少系统停机时间，降低维护成本。

　　4.安全与隐私兼顾

　　目前，虽然云计算极大地方便了我们的生活，能够让我们随时随地访问我们的私人数据，但也出现了一些关于数据安全和隐私的隐忧。这也是家庭安防、智能家居发展缓慢的原因之一。边缘存储结合点对点网络技术可以帮助解决这个问题。在新的解决方案里，用户不需要把数据存储到网上，而是保存在家庭的NAS中，所有数据都是可以加密存储的。通过P2P网络,也可以建立端设备和家庭数据服务器的点到点连接，让数据私密传送，同时兼顾安全与隐私。

　　除此之外，边缘存储还有一个优势是与边缘计算相结合。考虑家庭安防的情况，用户可以对家庭的摄像报警系统进行配置，设置报警的条件，多数情况下采集的视频数据是不需要上传的，只有在出现异常情况时才需要占用网络带宽和外部资源;另一方面，边缘存储和网络传输可以使用不同格式的视频流，例如本地存储高清晰、高解析度的视频流，而在网络上传输的可以是低码率、低清晰度、占用有限带宽的数据，既可以解决实时监控的问题，如果有需要也可以进一步的分析。

　　计算存储如何缓解边缘存储工作

　　现在越来越多的公司转向边缘计算来部署数据密集型工作负载，其中包括AI到预测分析再到物联网。边缘计算使IT资源更靠近数据生成的地方，而不是将原始数据传输到集中式数据中心。

　　不过，边缘模型也有其局限性。IT团队必须找到克服常见障碍的方法，以提供支持其工作负载所需的计算和存储资源。计算存储是最有前景的方法之一，它可以将处理功能直接整合到存储系统中，以消除I / O瓶颈并减少应用程序延迟。这使得在边缘环境中处理大量数据成为可能。

　　边缘计算

　　边缘计算是一种分布式架构，可将数据中心资源移至网络外围进行处理和存储。在很多情况下，这意味着将这些资源放在分支机构或卫星办公室中。通过将数据和应用程序紧密靠近，边缘计算可以减少网络流量、简化计算操作并提高关键任务工作负载的性能。这消除了集中式数据中心带来的很多带宽和吞吐量问题。

　　尽管有这些好处，边缘计算也带来挑战，例如管理安全性、协调分布式系统以及在数据中心和边缘环境间映射数据。最大的问题之一是克服计算和存储资源本身的局限性，例如空间和资源需求。这些限制可能使企业难以最大化数据密集型工作负载的性能，尤其是当它们变得更加复杂且数据量持续增长时。

　　就其本质而言，边缘环境通常受到可用空间的限制，因此很难托管设备以支持当今现代工作负载。可用空间可能仅限于办公室的壁橱或一角-在大小、电源和散热方面受到限制-与功能完善的数据中心相比，提供的空间很少。

　　边缘环境很少配备有可填充数据中心的高性能计算资源类型。尽管可以将最先进的服务器推向边缘，但IT预算通常没有这么多，特别是当企业仍必须在其数据中心中支持关键任务工作负载时。

　　由于这些限制，IT团队很难在边缘环境中获得所需的工作负载性能。但这并没有阻止他们尝试其他方法。有些团队部署全闪存存储阵列、NVMe、GPU加速器和其他先进技术。尽管这些措施有所帮助，但不足以有效地支持现在很多更强大的工作负载所需的性能。

　　造成这种情况的主要原因是，传统的计算/存储架构固有地受到存储设备和计算资源之间的I / O端口带宽的限制。在处理数据时，必须通过这些链接，而这些链接的速度仅与支持它们的技术一样快。通过扩展，在存储和内存之间移动的数据越多，产生的瓶颈就越大。

　　这正是计算存储派上用场地方，它通过将计算和存储资源紧密结合在一起以最大程度地减少数据移动，从而消除了瓶颈，降低了延迟并加快了应用程序的速度。

　　计算存储助你一臂之力

　　仅仅是将数据从一个系统移至另一个系统，传统的计算/存储架构就需要很多时间和资源，从而导致更高的延迟和更差的应用程序性能。而计算存储是采用原位方法进行数据处理，仅将最少的操作从计算资源移到存储系统内部。在这里，由于数据移动少，而且由于广泛使用并行处理，企业可更快更有效地处理数据。

　　存储系统代表计算系统预处理数据，以便最终仅将一部分数据发送到内存。通过最大程度地减少数据移动，你可以实现较低的应用程序延迟，并减少计算资源的负载，从而将其释放给其他操作。

　　对于在边缘运行的数据密集型工作负载，计算存储带来巨大优势，尤其是那些无法承受延迟的工作负载。例如，企业可能会部署AI应用程序，以持续分析数据流到其存储系统中。有时，每小时可能会有多达几个TB。

　　该应用程序的目标是提供自动生成的报告，其中包括对当前操作的近实时见解。毫不奇怪的是，报告中的数据仅代表原始数据总量的一小部分。

　　在传统的计算存储模型中，当新数据可用时，数据必须不断地从存储移动到内存，这给I / O端口和计算资源带来持续压力。在这种情况下，报告很容易延迟或包含过时的数据。但是，如果在原地执行分析，则计算资源仅需要汇总的总数即可生成报告，从而可以更快更高效地进行操作。这还将对网络带宽和计算资源的影响降到最低，从而将它们释放给其他负载。

　　计算存储的美丽新世界

　　现在有多家供应商提供计算存储系统，包括三星、NGD Systems、ScaleFlux和Eideticom。然而，这仍然是新兴的行业，并且仍然是由供应商来决定如何更好地实现计算存储，这可能会使系统集成有些困难。

　　为了提升计算存储的部署率，存储网络行业协会正在创建标准来解决计算设备互操作性，并定义接口标准用于部署、配置、管理和保护设备。

　　计算存储可以使边缘环境中运行的任何数据密集型、延迟敏感型工作负载受益。边缘计算的大部分焦点都集中在IoT数据，但对于计算存储，数据源并不是主要关注点。首要考虑的是数据量、更新频率以及你需要处理的数据。在评估计算存储的价值时，企业必须考虑不同用例，以确定是否有必要投资于新存储工具以提升性能。

　　如何选择合适的边缘储存解决方案?

　　就个人来说，我还是更喜欢大容量机械硬盘和1T左右的移动硬盘外加64G起步的USB3.0以上的u盘的组合，大容量机械盘在台式电脑上，硬动硬盘放包里，u盘随钥匙随身带，应该能满足日常需求了，网盘那些被各种盘关掉之后有一些阴影，而且手机本身有otg功能，转接线也同硬盘一起放包里，日常真要着急看也能满足需求，网盘可以储存一些照片方便随时查找，文件总感觉不方便

　　边缘存储问题解决分析：AI赋能边缘趋势势不可挡

　　在今年安博会期间包括海康威视、大华股份、科达、英特尔等都有提到边缘计算的应用并推出了相关产品和方案展示，在讲述边缘计算应用趋势的过程中，大家都有引用一组IDC的调研数据：到2020年全球会有超过500亿的智能设备，超过2121个传感器。到2018年将会有50%的物联网的网络会面临带宽的问题，40%的物联网数据需要在边缘进行存储处理和分析。

　　处于物联网时代中，随着时间的推移，这类数据还将持续增长，未来会有越来越多的设备和传感器诞生。如此众多的设备和传感器将会产生大量的数据，如果把这些数据传到后端，需要足够的网络带宽的支撑，虽然在通讯技术方面，我们正在从4G走向5G，但是网络带宽的增长速度会越来越赶不上数据增长的速度。

　　当下深度学习的很多处理运算都发生在后端数据中心或云端进行，因为只有在这样的环境里才能提供计算和存储的支撑。但随着网络带宽、计算延迟以及数据安全等方面的考虑，越来越多的厂商开始意识到未来人工智能系统一定是一个端到端的系统，会有足够多的人工智能的应用被推送到前端，在前端去处理。

　　将AI 赋能边缘是趋势

　　在过去几年里，前端摄像头进行数据采集，将数据传输到后端服务器或NVR或云端作存储以及智能分析，这是行业的惯性做法，但当前，随着数据量的迅猛递增，以及网络传输带宽所带来的压力和成本问题，让大家开始寻找新的解决方案，边缘计算和边缘存储的应用由此诞生。

　　随着安防人工智能应用的逐渐深入，将AI 赋能到前端也正成为安防这个产业的发展趋势，当然，边缘计算是一方面，监控领域边缘存储也是一个极其重要的环节。

　　在本届安博会上，我们可以看到包括西部数据、美光在内的存储厂商围绕着边缘存储也有做一些主题演讲和产品展示。

　　西部数据集团嵌入集成方案产品市场总监张丹即认为：“未来数据肯定会分流处理，这是不可避免的趋势。在生成的海量数据中，有的数据是必须被存储的，被存储到整个数据链的不同节点。有的数据需要被实时计算，还有的需要分时计算、分步计算。所以在每一个应用领域、每一个数据节点，什么样的数据被需求，什么样的存储被应用，作为存储产品和方案提供商，这是需要做深入研究探索的问题，也需要和客户做持续的应用层面的沟通和探讨。”

　　美光科技嵌入式产品事业部副总裁 Jeff Bader在安博会期间的边缘存储解决方案发布会上对外表示：“边缘存储方案可通过提高视频质量和增强网络可靠性，为客户解决带宽压力系统部署的成本问题将关键的数据存储在前端做智能分析运算，为后端节省存储和运算空间，去做更细致更高效的深度智能视频分析。”

　　边缘存储的应用优势

　　存储环节对监控系统的智能化程度有着直接的影响力，尤其在当前深度学习环境下对数据的实时分析要求的提高，更加强调数据高清传输、安全存储的重要性。那么，边缘存储的在智能监控中有哪些应用优势呢?

　　据厂家介绍，目前市场上大部分应用在电子终端的 Micro SD卡的设计主要针对消费类应用，如数码相机和行车记录仪，并不适合常年在相对更加恶劣的环境下进行全天候的连续录制。

　　安博会上西部数据、美光等针对视频监控边缘存储展示了其相关的工业级micro SD存储卡产品，其容量从32GB~64GB不等。在性能表现上，也拥有独特优势，主要表现在下面几个方面：

　　●小体积，大容量，满足灵活安装部署需求，保障设备7*24小时不间断运行;

　　●更高的环境适应能力，可在更宽泛的温度和环境条件下，提供三年以上的高品质全天候连续视频录制;

　　●存储卡具备自我检测技术，能提供卡片的使用情况和预计剩余使用寿命信息;

　　●为连续视频录制设计了专用固件，可最大程度降低丢帧和视频丢失几率。

　　如何解决边缘存储受限的问题?

　　边缘存储并不意味着将所有产出数据全部输送至前端存储，这样的做法无疑又会重蹈后端服务器或云端集中数据存储计算的困境，那么针对前端计算能力和存储能力有限的情况，该如何处理呢?

　　针对这个问题，英特尔物联网首席技术官张宇提到网络压缩的做法，这里面涉及到三个技术手段：压缩网络，实现更低比特，在不影响最终准确度的情况下，可以把数值移动，降低了对内存和带宽的压力，提高运行的速度;“剪枝”，剔除特征不明显、无效的数据;量化，把统一类的数据相近，降低对存储的要求。

　　另外，业内针对边缘计算和边缘存储，还有一种边缘预处理的做法，即构建一种基于边缘计算的视频图像预处理技术，通过对视频图像进行预处理，去除图像冗余信息，使得部分或全部视频分析迁移到边缘处，由此降低对云中心的计算、存储和网络带宽需求。

　　除此之外，为了减少上传的视频数据，基于边缘预处理功能，还可构建基于行为感知的视频监控数据弹性存储机制，根据行为特征决策功能，实时调整视频数据，既减少无效视频的存储，降低存储空间，又最大化存储“事中”证据类视频数据，增强证据信息的可信性，提高视频数据的存储空间利用率。