当AI的更改面对Huolala时，我们该如何进行大数据

当每月积极使用1000万个应用程序面临AI转换时，它们应该如何存储数据？ Huolala是2013年在大湾地区建立的货运物流应用程序，已累积了40pb+数据量，这是整个行业的中等规模。 “今天，我们的数据量的增长非常快，每年将增加很多PB。”张小（Zhang Xiao）是Huolala数据的巨大专家。如此大量的数据需要一个可以稳定且安全的数据存储设施，并且可以提高阅读能力。张肖说：“自我稳定的稳定性比云更糟糕，因此，今天我们的数据中的99％存储在云中，但我们也保留了一些构造的自建造 +云服务。”混合体系结构增加了家庭的困难，因此找到适合我们业务的云更为关键。一年多以前，霍拉拉（Huolalaud。用张小的话说，可以说这一举动是“驾驶飞机时的机器更换”，但最终结果是好的，0失败完成了40pb+大型数据基础架构搬迁。数据传输后的一年，根据数据平台的数据平台解决方案的解决方案，Huolala在计划前40分钟实现了输出输出，将工作加速10％。这与Tencent Cloud Data Platform Data Platform的两个旗舰产品不可分割的方法：对象存储COS和Metadata Accelerator。随着AI的大型模型的到来，Huolala也在积极接受AI，但面临新的问题 - 大型AI模型要求大量数据的频繁访问使完整数据访问的速度降低了。因此，在AI大型模型中，Huolala应该如何面对大规模数据爆炸性增长的挑战？对于所有面对AI转换的公司来说，这也是一个普遍的问题。 40pb+到T的数据传输他的云是由替换飞机12年内积累的数据量驱动的。 Huolala一次将其转移到云存储系统的架构中。如此大的数据传输非常困难。众所周知，在行业中，企业积累的大量数据是不是我的“金矿”。数据不仅应该存储，而且更重要的是，TUNAY证明数据量必须很有用。但是，在使用数据的过程中，一方面，存在一些情况，例如错误的数据测量，数据欺凌和计算机室灾难，从而导致基本数据的丢失。另一方面，诸如视频和图片之类的大规模和持续不断发展的非组织数据也面临着越来越多的存储成本和传统存储架构的缓慢响应，这很难满足实时业务的需求。实际上，当前的Huolala业务量表达到了超过1亿个文件的规模。在此规模下，数据存储将需要确保数据可靠性并满足非拒绝的需求，并且还需要实现高服务以满足而不会损害的任务。为了应对这些问题，Huolala与基于自构建 +的服务建立了一个大型架构，以存储数据。在其大数据存储体系结构中，基础登录层是收集图层中的用户数量，在收集数据后，它将写在在线存储上或通过在各种时间效率要求之后处理批处理和流处理来提供服务使用。其中，批处理计算主要处理在存储系统中永久存储的数据，而计算数据过程是实时形成的。 “我们将批处理处理部件发送到腾讯云，而其他扇区在其他云中。”张小说。此外，为了应对数据灾难中数据恢复数据丢失的可能问题，Huolala被列为两个系统灾难恢复的ATIC架构：一个是Yuanchu-Metadata管理平台，它可以通过多层保护在7天内意外删除的数据来快速恢复数据；其他的是自我开发的柯克灾难恢复系统，可以实现PB的勒索软件和计算机室灾难的数据级数据恢复，并且可以实现全链路灾难恢复；根据这两个系统的功能，Huolala可以100％纪念数据错误的删除和100％的基本数据灾难恢复。 “在我们与腾讯云的 - 深度合作中，我们最终决定将完整的40pb+比例数据转移到腾讯云中。”张肖说：“数据平台的数据平台解决方案的解决方案可以提供风险的功能和服务，但我们在此阶段主要使用基础存储和元数据功能。”：首先，数据传输和任务传输是根据KIRK系统和数据离线平台开发进行的，任务将同时在两个云中运行。避免使用数据错误。A超过一年，并且没有COS存储引起的问题。实际上，我们已经达到了0的失败率，并且一般建立过程也稳定。 “张小说。如何解决AI期间的数据爆炸问题？企业面临着AI业务的变化，该业务带来了许多新的数据请求。在过去的两年中，Huolala在AI业务的许多新领域都实施了“将主要包括CHATBI，AI客户服务和其他相关内容。我们目前正在与腾讯（AI）一起工作。现在有SZhang Xiao说。 talked and shared several times with Tencent, and finally suggested a special resolution." Zhang Xiao said based on Tencent Cloud Object storage Cos, two storage clusters were built under, especially COS Bucket 1 and COS buckET 2: COS Bucket 1, which specializes in Big Data Storage, and the upper layer supports the entire large market -related data; Cos Bucket 2, who writes data dedicated to AI Big Model Training, and the upper layer corresponds to the entire AI项目;到应用程序，仅移动一个单个带宽模型，该模型降低了8％。 “张小说，”但是，我们也清楚地认为，AI服务对带宽吞吐量的需求大于大数据。将来，AI服务将逐渐以这种方式移动，然后将进行特殊优化。在使用大数据和大型AI数据期间，在基础cos存储中建立两个水桶可以减轻对带宽需求的压力，但是AI大型数据存储存储桶本身仍面临着很高的带宽吞吐量的需求。在响应此问题时，Huolala探索了Huolala，Huolala探索了Tencent Cloud Cloud clibefs。 Gbps坦率地承认，GBPS加速了鹅的元数据。最后，为了应对横云问题，张Xiao还说，cos模式训练可以实现按需调整。A将继续存储在COS Data Lake中，并且将训练数据按照Goosefs的要求将培训数据纳入云或IDC计算终端，以实现数据集并习惯于许多领域。 "It can be seen that Cos, as a cloud storage base, provides a unified storage pool for Huolala's 40PB+ data, can provide secure and stable data storage capabilities. While great improving system availability, reliability and other performance, it can also great reduce storage costs. Goosefs provides data cache acceleration services for metadata, which can meet the needs of large-scale data processing and training for high-performance storage, and help Huolala implement the AI业务。金属的视图和其余的是数据处理数据。通过智能搜索功能进行管理服务，使用户可以快速获得大量的自然语言数据（照片，音频和视频等）。例如，在在线磁盘和手机专辑上的“文本搜索”中，您只能单独找到照片 - 在寻找MGA图片的时间。现在，您可以输入关键字并直接搜索。例如，在用户上传产品图片之后，根据元视图搜索功能来搜索电子商务产品，系统将相似性与产品的库图片进行比较，并快速恢复相同或相似产品的信息，从而解决传统关键关键字搜索限制。在AI大型模型训练方案中，Metainsight可以巧妙地最初对大规模的非结构化数据进行分类，并通过语义提取快速过滤特定的方案数据（例如“雨天”的输入和“ Peeders旅行”）。 comp该解决方案可根据手动注释，可以将预处理时间降低超过70％，并且支持GED MODAL模式（例如Image + Text Description），这可以帮助企业在数据清洁阶段很好地开发高质量的培训集。 “由于未占用数据的增长的增长，云存储平台应具有向量向量的能力。”张肖说：“数据vientiane CI可以改善对无占用数据的控制。”可以看出，在AI大型模型中，存储不再是仅适用于数据的仓库，而是将一系列数据和计算处理功能组合在一起，以成为用于超速数据的新引擎。注意：文本/Bai ge，文章来源：广为tech技术（公共帐户ID：guangzhui-tech），本文是作者的独立视图，不代表二甲虫的位置。