存储专家谢长生：数据长期存储面临的四大挑战与两大有效对策

12月3日，由百易传媒（DOIT）主办的2019中国数据与存储峰会（DATA & STORAGE SUMMIT）在北京盛大开幕，与众专家对新一代关键存储技术趋势及数据创新应用进行了热议，大家一致认为数据智能将成为数字产业发展的关键推动力，驱动中国和企业数字化转型。

在会上，华中科技大学武汉光电研究中心谢长生教授发表了题为“海量大数据长期存储的挑战与变革性技术”主题演讲。标题为编者所加。

以下内容根据速记整理，未经本审定。

华中科技大学武汉光电研究中心信息存储系统教育部重点实验室谢长生教授

谢长生：大家下午好！我今天演讲的题目叫“海量大数据长期存储的挑战与变革性技术”。

长期存储提出的挑战

说起来，很多人对数据存储的时间考虑的比较短，能有五年就不错了。我今天要讲的是一个长期存储的问题。长期存储提出了什么样的挑战？这里有两个词，一个叫“Big  Data”，是热词，还有一个“Long Data”是一个冷词。目前主流存储介质在保存时间方面是短板，硬盘平均寿命是5年，固态盘也只有5年，磁带长一点，大概10年，而人的平均寿命75岁，与人相关的信息至少要保持75年，包括银行存款、保险、住房等个人资料，以及手机拍摄的照片，最好一辈子保存下来；也包括政府、企事业单位、军队的数据都需要长期保存；重要档案还需要永久保存。

除了国家级的单位，需要长期保存的传统电影资料也是很困难的，胶片保存几十年，都已经很失真了。我去过中央电视台资料馆，他们是用的磁带库有八万多磁带，长期保存下去也存在很大的问题，还有国家图书馆，国家投了大量资金。省级的保护工作就差多了，某文化大省古书有五十万册，现在有半数都损坏了，对我们文化遗产是非常大的损失。

一次全国性研讨会的信息与感受

上个月，我参加了“全国数字资源长期保存”相关的全国学术研讨会，那些真正用到长期保存的国家图书馆、中科院档案馆、国家科技文献中心等机构集中在一起，进行讨论。

参加这个会议，我有几点感受。

一是数字资源的长期保存，对我们国家而言是极为重要的。比如说中国科学院有那么多所，所有科研项目都要永久存档保存；二是他们因此成立了国家数字资源长期工作保存体系工作组（NDPP），从法律法规到管理制度到技术体系，全方位都考虑到了，工作做的非常细致，三是正在规划建设国家文献战略储备库，投入巨大，一个建筑群都设计好了；四是技术层面还面临非常大的挑战，采用现有的技术，维持费用是与日俱增的，希望有更好的技术。在发言中，他们提到了我们十年前提出的概念——池光电融合的技术。经过十年努力，我们已经推出了相应的产品来。

对于国家级长期存储甚至是永久存储的需求，我们从事存储的研究机构和企业能不能满足需要？

很多行业信息非常重要，是丢不得的，一丢就会产生很大的损失。所以很多国家出台了强制性的法律。最有名的就是安然事件以后美国出台的塞班斯法案，强制企业要永久保留数据，用于打官司什么的，必须拿出不可篡改原始数据。美国各个行业有长期保存的法案，欧盟也规定了数据保留法案，规定每个行业数据要保存多少年，我们国家也陆续出台了各种各样的法案，去年规定要求电子病例最少要保存三十年，人的寿命75年，最少保存三十年。

互联网企业的冷数据存储负担将越来越不堪承受

除了很重要的信息以外，我们还有很多冷数据也是要长期保存的。

比如大家都在用的微信朋友圈。前一段时间参加了腾讯开发者大会讨论了这个问题，说每天光朋友圈上传的照片就是十亿张，第一天发布的时候很多人点赞，非常热，第二天数据急剧的变冷，第三天就没有人访问了。但朋友圈的照片又不能扔掉，腾讯从微信开始那天到现在的数据都在保留，保留在硬盘当中（三个副本），而且会一直保留下去，一天十亿张照片，应该说有上百万台硬盘在不停的运转，这就是越来越大的能源负担。虽然有一种技术使它休眠，但控制起来其实也有一定的问题。除了消耗硬盘运转的能源以外，还有冷却，这么多硬盘在一起发热很严重，硬盘一旦没有空调是很容易损坏的，这样这个成本是与日俱增。

互联网之父的担忧

还有一个更深刻的问题，互联网之父Vint Cerf先生2015年在一个大型科技会议上担心今天保留在计算机和互联网上的图片文件都将丢失，人类将进入一个数字黑暗时代，未来的人可能都不知道今天人的历史记录。他现在在谷歌的工作，就是研究如何长期保存互联网上的信息，也开展了范围极为广泛的调查，就是保存信息一百年的需求，结果调查回来的结论是信息的长期保存和在线是一个相当普遍的任务，这也引发了国际上研究的课题How preserve information for 100years？就是如何保存信息一百年。除了谷歌，还有学术界的CMU等也都做这方面的研究工作。

大数据长期存储面临四大挑战

我认为，数据的长期存储有四大挑战。

一是寿命，现在存储介质的寿命与实际的需求有数量级的差别。我们的关注和研究才几年，却要它能使用几十年百年甚至更长的时间，有数量级的差距。

二是成本。信息越来越多，而且信息增长的速度是指数级的增长，都要保存下去，面临巨大的成本。

除了设备成本，还有数据迁移成本。

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!