试论构建大数据时代下个人云资源柜构建研究经典

【摘要】针对当前学习模式下海量数字教育资源的流转过程中存在的不足，结合云存储的特性提出了基于云存储的个人云资源柜的构建，以期为教育大数据时代下的学生提供泛在的学习支持，提高学生的学习效率。文章重点阐述了由应用访问层、管理层、存储层等构成的个人云资源柜的系统体系结构、分层功能及实现过程。同时通过实验模拟，对传统模式和个人云资源柜支持下的两种学习模式的效果进行了比较分析及性能测试。
【关键字】大数据；云存储；资源柜；资源共享

一、研究背景

国家教育信息化十年发展规划（2011-2020年）、国家中长期教育改革和发展规划纲要（2010-2020年）在推进数字化校园建设中都提出要“建立优质数字教育资源和共建共享环境”，高校也纷纷加强数字教育资源及其平台的建设与采购，数字教育资源建设受到越来越广泛的重视，以网络为载体的海量数字教育资源也成指数级增长，它们为学生由单一的课堂教学转变成多种网络教学平台支撑下的数字化学习模式提供了基础保障。随着信息技术的快速发展，大数据时代对未来学习的理想模式提出了新的要求，泛在学习已逐渐成为下一代数字化学习的重要发展方向。但是目前各种教育资源的研究主要集中在师生如何从互联网海量的资源中快速、准确的发现资源，而对之后资源的存储、阅读及后期的学习并没有过多的关注和研究，即难以满足目前泛在学习所要求的教育资源的永久性、可获取性、即时性及交互性等。

二、当前数字教育资源存储模式的不足分析

大数据时代下学生可获取的海量数字教育资源在表现形式上、存储格式上多样化，如各类文献资源、电子书籍、视频资源、动画类资源或是网页等，但这些资源受制于通信、传递和传播的物理距离以及信息集成商对资源的垄断，来源方式多种。如电子书籍、文献等资源主要以单位图书馆集中购买后建设数字图书馆，通过限定在局域网络内为本单位用户服务的管理模式；视频、动画等多媒体资源主要以单位集中采购、网络搜集或是教师自建后架构多个资源平台的模式为本单位用户服务的管理模式。这些各单位独立采购搭建来提供服务的传统管理模式只能服务于本地用户，数字教育资源的共享程度受制于人力、物力、财力和资源数量等，大数据的优势也无法体现。因此为进一步促进资源共建共享的广度与深度，各高校在原有的区域教学资源联盟的基础上利用各种云计算等新技术对大资源平台建设进行了深入的研究，使得学生可以跨平台、跨地域获取更大范围的数字教育资源。
现行或当前在研的教育资源存储模式下师生获取数字教育资源普遍采用登录平台将所需的资源下载后存储至本地客户机或是转移至存储设备、网络存储上；阅读时读者再从存贮了资源的存储设备或网络存储上将资源复制迁移全客户机并借助于客户机提供的对应阅读软件进行学习。并无学习资源柜的概念。学习者学习时受制于地理位置和机器对象。无法满足随时随地的移动泛在式的学习，学习效率不高。在资源保存上如果采用客户源于：论文参考文献www.618jyw.com
机和存储设备的保存方式遭遇硬件故障等意外情况会造成数据的丢失；如果采用将其存放到如FTP空间、网盘等网络存储上的模式，服务器故障会造成服务中断甚至数据的丢失，并且由于当前网络存储只提供简单的目录管理功能，随着学习过程的不断累积，资源的不断获取，资源文件数量与大小急剧增长，存储和管理也越来越混乱，学习效率低。

三、基于云存储的个人云资源柜的模型设计与实现

面对大数据时代下这些数量庞大、形式丰富的数字化教育资源，构建一个基于云存储的、提供高效安全管理等功能的个人云资源柜，将为解决海量数字教育资源获取后存储、学习过程中出现的问题、提高学生的学习效率提出了一个新的解决思路。
1 云存储
云存储是为了适应存储和管理当前数据呈TB级速度增长的海量数据，通过集群应用、网格技术和分布式文件系统等技术，将网络中大量各种不同类型的存储设备通过虚拟化技术共同对外提供数据存储和业务访问功能的系统，是云计算的延伸与发展。与以往存储方式不同的是云存储并非是一个硬件设备意义上的云，它融合了网络设备、存储设备、服务器、应用程序、公共访问接口、接入网和客户端程序，为用户提供存储和数据访问服务。通过服务提供商提供的云存储服务，用户无需考虑存储设备的型号、磁盘的容量和类型，也无需考虑具体采用何种接口和传输协议及存储和服务器之问的连接电缆等，即可快速建立自己的数据中心并将本地数据部署至网络存储，所有的授权用户通过连接互联网的终端设备即可连接至云存储并访问上面的数据。
2 个人云资源柜服务模型构建
随着为信息提供载体服务的互联网络计算设备正以各种方式渗透到人们的生活中，人们也对信息服务提供的便捷、连贯性提出了进一步的要求。因此构建的个人云资源柜的目标是：在计算和通信无所不在的基础上，面对多种终端设备的用户能够随时随地便捷的存储和获取所需的学习资料，进而连贯地学习以获得知识。通过分析目前数字教育资源的流转过程和各类资源平台的特点，结合云存储服务的特性，构建面向服务的层次化体系结构的个人云资源柜（如图1），以满足学生在急剧增长的海量教育资源的学习需要，自上而下由应用访问层、管理层和存储层等构成。
应用访问层是直接面对用户的层，任何一个获得授权的用户（教师、学生、单位、厂商、管理员等），借助接入互联网的终端设备（如PC、手机、移动多媒体等）就可以在任何时间、任何地点通过浏览器或客户端接入服务。普通用户注册申请个人云资源柜或是经统一身份认证后进入个人的云资源柜，实现资源订阅服务、文件目录的管理、个人资源库的管理、个人共享资源的管理、资源导航服务及资源的学习等。管理员拥有包含资源、用户、权限、监测、统计、资源推送服务等的管理。在应用服务层预留了标准化的API接口，为各种教育资源平台（如文献资源库平台、视频点播平台、课件资源平台等）的接入提供了支持，为个人云资源柜的用户提供了海量资源的导航。
应用访问层是直接面对用户的层，任何一个获得授权的用户（教师、学生、单位、厂商、管理员等），借助接入互联网的终端设备（如PC、手机、移动多媒体等）就可以在任何时间、任何地点通过浏览器或客户端接入服务。普通用户注册申请个人云资源柜或是经统一身份认证后进入个人的云资源柜，实现资源订阅服务、文件目录的管理、个人资源库的管理、个人共享资源的管理、资源导航服务及资源的学习等。管理员拥有包含资源、用户、权限、监测、统计、资源推送服务等的管理。在应用服务层预留了标准化的API接口，为各种教育资源平台（如文献资源库平台、视频点播平台、课件资源平台等）的接入提供了支持，为个人云资源柜的用户提供了海量资源的导航。 管理层是个人云资源柜云存储的核心层，实现了底层的存储设备与上层应用的无缝连接。通过集群系统、分布式文件系统及网格计算等技术，实现云存储中的各个存储设备间诸如存储监控、调度、副本管理等的协同工作；利用内容发布、P2P技术实现数据的发布与传输，利用数据压缩技术、数据比对技术实现冗余数据的删减，为用户提供更大更强更好的数据访问性能；利用各种数据各份、数据加密、数据容灾技术来保障教育资源数据的自身安全和服务的稳定。
存储层是个人云资源柜云存储的硬件层，用户所关心的个人云资源柜的资源和支撑各种资源平台的海量学习资源（如：文献资源、视频资源、课件资源、电子书、专题学习和其他资源）就存储在其中。该层是云存储最基础的部分，为整个云存储系统提供基本的网络环境、物理存储资源和逻辑存储资源，它是由FC光纤通道存储设备、NAS和iSCSI等IP存储设备或SCSI、SAS等DAS存储设备云存储组成的海量数据池。系统中的存储设备大部分由分散在不同地域的现有的存储设备通过广域网、互联网、光纤等将其连接整合形成，运用统一的存储设备管理系统将不同型号的存储设备虚拟化整合成有机兼容的整体，实现存储设备的虚拟化集中管理，以及硬件的状态监控、故障维护和管理软件的升级。
3 个人云资源柜的服务实现过程
对于用户来说使用个人云资源柜服务主要侧重于海量数据的上传存储及资源的读取下载。鉴于存储在个人云资源柜上的数字资源种类繁多、大小不一等特点，个人云资源柜在架构上采用大量廉价的服务器以Hadoop的具有高容错、可伸缩和廉价存储等优点的HDFS（Hadoop Distributed File System）方案组成存储设备实现数据的存储。HDFS采用主从式架构对大文件的存储读取具有较好的支撑，但山于NameNode内存开销等问题对以海量小文件为主的数字资源地存储和读取支持并不理想，因此在个人云资源柜的服务实现过程中将对其做进一步的改进以提高性能（如图2），其中CabServer端完成与客户端的交互、内部小文件的判断合并及与HDFS端的文件读取存储等交互工作。
资源存储过程：首先用户通过身份认证后进入个人云资源柜，根据资源性质建立资源所属学科种类后向服务器端发送请求并提交本地资源的路径，在CabServer端由Webserver接受存储请求并判断是否小于阀值（小于阀值认定为小文件），大文件通过HDFS客户端将其存储至HDFS，小文件则以时间为维度将各种时间靠近的小文件合并并生成标记小文件和大文件的对应索引Cablndex，HDFS客户端将大文件信息发送给HDFS端，HDFS的NameNode根据DataNode节点信息借助HDFS客户端中的大文件传输模块将数据块传输至指定的DataNode位置，传输成功后，发送成功标志tags给CabServer，完成Cablndex数据的文件映射、偏移等信息的更新，最后给用户一个存储成功的通知。
资源读取过程：首先用户通过身份认证后进入个人云资源柜，在资源柜目录中选择目标资料后，CabServer端的Webserver接受资源读取请求并确认目标是否大文件，大文件通过HDFS客户端从HDFS中的NameNode确定DataNode的ID后获取目标资源，小文件则查询CabServer端的Cablndex信息，获取该小文件的文件偏移位置及该组文件在NameNode中映射位置，最终从HDFS端中J下确的DataNode数据节点获取数据信息并返回给用户。
个人云资源柜除了为用户提供一个移动的电子书柜实现资源与本地读取存储交互外，还可作为各类部署在云计算平台上的资源平台的补充模块，学生通过统一身份认证后从资源统一搜索模块中搜索资源，即可将对接在资源平台上所需的资源勾选加入至自己的个人云资源柜中；学生将个人云资源柜的资源设置共享后，各类教育资源平台也可将其扩充至资源库中，实现资源的共享。

四、实验效果评价

实验采用6台主频为2.27GHz，内存为4G，硬盘为500G的Fujistu RX300的机器，其中I台为NameNode，5台为DataNode。每台机器安装Ubuntu10.10的操作系统，部署的Hadoop版本为

1.0，Ja版本为JDKl.6，网络环境是百兆以太网来构建云存储环境。

依照实验测试结果，分别对传统资源模式与个人云资源柜模式下从移动学习效果、使用管理、资源安全可靠性、存储可扩展性能等多个方面进行了比较（如表1）。学习效果上，较传统资源模式，个人云资源柜学源于：毕业www.618jyw.com
习模式下资源一次获取后就终身享有并支持随时随地的阅读；同时由于资源在云端的存储不会由于客户端硬件损坏而导致资源丢失，由于云存储的冗余可靠性也不会由于资源平台硬件损坏造成的服务中断导致学生无法学习；并且云存储的可扩展性也很好地满足了海量资源对数据空间的需求。
个人云资源柜中在实际运行中将采用几百台数据节点构建的云存储环境为用户服务，通过云存储的各种技术保证个人云资源柜服务的连续性，并支持学生可随时随地与个人云资源柜交互进行移动的泛在学习，所以在性能测试中将着重关注个人云资源柜上存储、读取文件的速度。图3显示了个人云资源柜中改进的HDFS方法与传统HDFS方法在随小义件数据量逐渐增大下数据随机读取耗时的对比，实验对比结果表明改进的HDFS算法具有较好的性能。在数据的写入上，传统HDFS模式下存储约1280000个小文件耗时11.7，而采用了将小文件合并成了大文件的算法对于NameNode与DataNode的交互次数极大的遏制，写入耗时

5.1小时，速度得到较为明显的提升。

五、结束语
数字教育资源的合理保存与管理是数字化学习过程中不容忽视的一个重要环节，个人云资源柜借助云存储技术较好地解决了学生获取数字教育资源后的管理与学习问题。作为一个可扩展的模块，资源柜可实现与其他资源平台的对接，实现个人云资源柜中的资源与资源平台的资源的互通有无，实现大数据时代背景下海量数字教育资源的集成共享。但在实际应用推广中还需要考虑资源所有者的版权和成本问题，即应建立合理的成本补偿体系，以确立各资源平台上的资源在促进数字教育资源的共建共享体系中的地位与作用，从而明确各自可享受的权利与承担的义务，为优质资源的健康成长提供保障，进而让个人云资源柜的用户可以持续的享受大数据时代下更多优质的、丰富的数字教育资源。