【观察】腾讯云领跑对象存储背后，做海量数据驱动的新引擎

免费获取chatGPT 3.5 账户，或购买GPT 4.0plus 会员账户，扫描文章内微信公众号二维码，或加微信：yuke36

申耀的科技观察

看懂科技，赢取未来！

毫无疑惑，随着云估算、大数据、人工智能、物联网等新技术在各行各业愈加广泛的普及与应用，在催生越来越多数据量形成的同时，也让数据的管理和价值挖掘显得更加复杂和困难。

可以看见，未来大量数据可能不是来自数据中心内部，而是分散在各类的边沿设备上；同时，数据不仅仅是完成储存就万事大吉，还要支持智能化的管理和剖析；据悉，数据还须要在本地数据中心与云之间，甚至是多个云之间自由流动，以确保数据仍然随时可用等，这些前所未有的变化，也意味着储存乃至整个数据基础设施迎来了一个关键的构建期。

在此背景下，腾讯云明年推出了面向对象储存服务COS的新一代储存引擎，并依托相继发布了全新的一站式数据湖、智能分层和深度归档等服务，可以说除了成为腾讯云储存服务的坚实技术“底座”，同时更为诸多顾客海量数据的储存和管理创造了无限的可能。

腾讯云储存产品中心总工总监陈峥

正如腾讯云储存产品中心总工总监陈峥近日在腾讯TechoPark开发者会议上所言：“腾讯云在过去的六年中，基于自身业务发展筑牢了储存技术基座，在开放兼容的趋势中提高了储存产品的能力。而下一个六年，是产业互联网的六年，我们也由衷希望能和腾讯云的顾客一起腾云而上，为顾客提供更好的储存服务。”

在这背后，正是腾讯云仍然以来在储存领域“与时俱进”积极响应用户需求的最新措施，也是其追随产业互联网时代不断进化和迭代的具体彰显，相信这些持续的前瞻力、创新力和产品力，将为腾讯云在储存市场实现“长跑”乃至“领跑”起到愈发至关重要的作用，也将会为释放数据更大潜能发挥出更为关键的价值。

构建新一代储存技术基座

随着数字化变革的提速，越来越多的海量数据正呈现出爆燃式下降，企业的储存基础设施也正面临着“翻天覆地”的变化，非常是新的数据形态、新的布署环境、新的安全需求，都对储存的发展提出了新的挑战。

这些挑战对于腾讯云而言主要表现在两个方面：一方面是怎样在满足数据急剧下降、对功能、性能的要求不断降低的情况下，持续减少成本、并提高服务质量；另一方面，是腾讯云怎样在充分享受硬件发展红利的同时，也才能持续分享给最终的顾客？

陈峥说：“最早我们研制了TFS储存引擎，这个储存引擎在腾讯也有超过六年的历史，然而随着整个腾讯的业务越来越多，数据量越来越大，我们发觉原有的构架在未来几年应对不了ZB级数据储存的需求，为此面向未来就必须未雨绸缪，引擎也就应运而生。”

据了解，腾讯云新一代储存引擎于2018年开始启动研制，2019年即将完成上线，这是一个完全由腾讯自研的面向百EB级别的分布式储存构架。其中，Yotta的英文译音是“有他”，代表了安全可靠的意思，而在腾讯内部，也有“存储有他，能力无限”的说法，而也在三个维度实现了重大的技术突破，具体而言：

一是，超大规模集群，极高资源借助率。传统分布式储存系统常常存在这样的困局，即单机未能承当偏低的QPS、元数据量大但单机容量有限、内部逻辑常常十分复杂，此前也有社区尝试突破这些困局，例如通过垂直分拆，但仍然未能解决数据分布不均匀、请求分布不均匀等问题。

而通过分级自治、读写分离以及按功能分拆等创新，化解了上述困局，目前单集群规模就可达百万台，有效数据占比90%以上，储存数据规模高达百EB级别，可靠性远超12个9，可用性超过99.995%，还为顾客提供了单高达6万的恳求QPS，为满足顾客云上大数据剖析需求提供了底层能力支撑，在云上产生数据闭环。

二是，极至灵活，支持原生多AZ且硬件自适应。支持原生多AZ、任意副本和EC的冗余模式。原生多AZ的优势在于，所有的服务器可以共同承当数据的吞吐量、数据一致性天然有保障，AZ出现故障降级即可，系统就能手动恢复，其中RTO(恢复时间目标)可实现分钟级，RPO(恢复点目标)为0。

除此之外，也支持异构硬件自适应混和布署，同时代码零改动能够兼容新硬件，包括储存引擎、写入分配、数据均衡、可用区界定以及服务器布署都能自适应。

三是，集群高度自治，具备100%可用性，双人值日零故障运行。开始上线大规模支撑业务的前三个月，仍然维持100%的可用性，到如今运行近三年时间，系统仍然都是双人值日零故障运行，这在业界也是很少见的。可以说这些高度自治的能力，实现了更便捷的运维、更高的可靠性（12个9）以及更好的可用性（4个9）。

在陈峥看来：“在技术创新是相当前沿的，同时也在成本、性能、安全上提升了一个台阶，可以说是腾讯未来的关键储存技术基座，目前腾讯云的对象储存都是基于实现的，更关键的是它还提供了标准的API和SDK以及生态工具，合作伙伴及顾客只须要通过S3的标准合同，或则是使用COSAPI，就能否在其平台上开发布署相关的服务和功能。”

对象储存服务再树新典范

确实这么，正是有了的“加持”，致使腾讯云储存服务COS近日推出的一系列全新产品和解决方案，除了具备了更为强悍的市场竞争力，且在市场上也再度树立了一个全新的典范。

首先，是极具性价比的深度归档服务，其费用仅为0.01元/GB/月，再度刷新了业界的最低价钱（此前业内公有云服务商最低价钱为0.024元/GB/月），相比本地磁带库归档总体TCO还增长了20%，同时稳定性也高达11个9，且还能12小时即可回热，在易用性方面还支持全套API，SDK以及10+家外部备份软件，广泛适用于适用于合规性数据、异地容灾、数据备份等业务场景。

除此之外，腾讯云储存团队也在深度归档服务“软硬件优化”方面下足了工夫。其中，硬件优化方面启用了全新的青州度储存介质，发挥了储存介质的优势；而软件优化方面则采用了全新的数据压缩技术，由此让储存密度获得最大化的提高。

其次，是全新推出的智能分层技术，在云储存服务市场也属于首创。该技术主要针对未知访问模式，通过对频繁访问和不频繁访问的数据进行分层，按照访问需求手动地将连续30天（可配置）未访问的对象移至不频繁访问层或移回频繁访问层，还能帮助用户增加20%的成本。同时，还提供首字节微秒级响应能力，企业虽然在不断变化的访问模式下，也可以节约资金，且不会影响业务性能。据悉，智能分层技术也提供高达12个9的储存数据持久性，以及4个9的业务设计可用性，真正为储存业务实现“保驾护航”。

客观的说，随着海量数据的不断下降，应用场景的不断变化，这些通过智能分层技术构建储存访问模式，相比传统在硬件上实现分层储存构架的形式，无论是在理念上还是技术创新上，都堪称“再上一层楼”，这样除了才能最大化的提高应用访问的性能和响应速率，同时也能进一步增加TCO成本，真正驱动了数据管理步入了精细化的时代。

第三，是一站式数据湖服务，腾讯云基于安全可靠、低成本、高吞吐的对象储存平台，也推出了囊括了数据的集成、存储、分析、展示等多个阶段的一站式数据湖服务，可以满足用户低成本、高性能、流批一体地挖掘数据资产价值的需求。

与此同时，腾讯云对象储存服务也能将日志流、数据表、图片音视频等异构数据放到对象储存上，并基于腾讯云的弹性等大数据产品进行数据剖析，通过存算分离的构架，解决业务弹性伸缩问题，进一步降低企业成本。

最后，腾讯云储存还在对象储存缓存加速解决方案、数据安全、云硬碟CBS、文件储存CFS、数据协作平台、容器储存持久化等细分领域不断创新，为海量数据的储存和管理提供了愈加全方位的服务。

以一站式对象储存缓存加速解决方案为例，该方案集成和能力，还能提供海量储存的高性能、原子性、一致性的文件系统；提供Pre-fetch预热功能，还能同步和异步写能力，多样化管理元数据；据悉，还提供近数据端的估算能力，加速查询性能，且支持不同列式的储存格式，无缝衔接例如、Spark、等大数据应用。

再如，越来越密集的单节点容器布署，越来越高的容器启停频度，对单节点储存的性能密度要求越来越高，同时超大规模容器集群的核心数据服务，对储存的信噪比和性能也有极高的要求，因此针对这些全新的场景，腾讯云同样推出了具备标头秒信噪比/百万IOPS的急速型网盘,对IOPS和带宽、稳定性、时延作出急剧优化，才能最大支持5000节点和15万Pods的快速启动。

由此可见，这么密集的储存服务产品和解决方案的全面升级和迭代，可以说是腾讯云储存技术创新和技术红利叠加效应释放的集中彰显，背后更是腾讯云储存仍然以来在自研构架、软硬件协同、以及在创新之路上不断追求“极致”的最好印证。

为海量数据创造无限可能

值得一提的是，通过不断增加储存技术和数据管理解决方案的使用门槛，腾讯云储存也让越来越多的顾客享受到了腾讯云技术创新所带来的红利释放。

以脸部社交电商平台小红书为例，其月活数据超过1亿，每晚笔记爆光量达到80亿次。面对爆发式下降的业务场景，小红书研制团队建立了一个基于对象储存的数据湖，借助公有云弹性估算的能力完成AI训练和学习，为推荐、广告和搜索等业务提供模型支撑，同时也须要解决海量大数据计算下对性能成本的弹性需求因而降低业务成本。

通过腾讯云，小红书开发团队建立了可拓展的数据接入集群，实现了弹性伸缩能力，完成对用户行为数据的实时剖析和推荐后，将有效数据以更低成本进行了储存，满足了小红书业务可拓展、高吞吐和低成本的要求。

新东方AI研究院负责人张建鑫

除了这般，新东方AI研究院负责人张建鑫对腾讯云的对象储存能力也给出了充分认可。非常是在去年疫情期间，腾讯云针对在线教育行业顾客提供储存处理一体化解决方案，快速支持了新东方将线下课程迁往线上的需求，保证了新东方直播/点播业务的稳定运行。同时，在新东方APP和新东方内容平台的合作上，腾讯云分布式储存和弹性扩容估算能力也明显提高了新东方系统服务的稳定性，改善了中学生线上作业的学习体验。

而知乎数据构架平台离线构架储存专家刘晓龙，在提到与腾讯云的合作时同样表示，腾讯云估算与储存分离方案发挥估算弹性伸缩能力，帮助知乎满足业务对估算资源的灵活调度，相信双方在后续合作中，一定会给广大知乎用户带来更良好的产品体验。

知乎数据构架平台离线构架储存专家刘晓龙

对此，陈峥最后也表示：“过去一段时间，我们除了自研了新一代储存引擎，同时还在成本、性能、安全三个最为本源的基础能力上不断打磨和优化，就是希望能把这些技术创新做到‘开箱即用’，让更多的顾客也能享受我们腾讯云储存创新的红利，而接出来围绕对象储存COS的生态建设，包括在大数据、混合云储存、云原生储存等领域，腾讯云也会不断的展开探求与创新，最终的目标是构建数据全生命周期的闭环，最大化的释放数据的潜能和价值。”

全文总结，产业互联网时代的将至无疑赋于了整个储存市场更大的活力，同样也给腾讯云储存带来了前所未有的机遇。而在此过程中，腾讯云储存一直保持着不断的投入与创新，进化与迭代，以及对行业需求的前瞻认知和确切判定，这让它真正有能力，也有信心帮助更多企业可以更简单、更从容的实现数字化变革，并在产业互联网时代构建起全新的竞争力。从这个角度来看，腾讯云在储存领域的持续创新，其价值堪称“不止于现今，更关乎未来”。

申耀的科技观察，由科技与车辆跨界自媒体人申斯基创立，18年企业级媒体工作经验，专注产业互联网、企业数字化、渠道生态以及车辆科技内容的观察和思索。

免费获取chatGPT 3.5 账户，或购买GPT 4.0plus 会员账户，扫描文章内微信公众号二维码，或加微信：yuke36