大数据技术

大数据技术篇1

　　关键词：大数据时代；数据挖掘技术；应用

　　大数据是对全球的数据量较大的一个概括，且每年的数据增长速度较快。而数据挖掘，主要是从多种模糊而又随机、大量而又复杂且不规则的数据中，获得有用的信息知识，从数据库中抽丝剥茧、转换分析，从而掌握其潜在价值与规律。所以大数据时代下的数据处理技术要求更高，要想确保数据处理成效得到提升，就必须切实加强数据挖掘技术教学工作的开展，才能更好地促进数据处理职能的转变，提高数据处理效率，优化学生的学习成效。以下就大数据时代下的数据挖掘技术教学做出如下分析。

　　1大数据时代下数据挖掘技术的基础教学方法分析

　　数据挖掘的过程实际就是对数据进行分析和处理，所以其基础就在于数据的分析方法。要想确保分析方法的科学性，就必须确保所采用算法的科学性和可靠性，获取数据潜在规律，并采取多元化的分析方法促进问题的解决和优化。以下就几种常见的数据分析教学方法做出简要的说明。一是归类法，主要是将没有指向和不确定且抽象的数据信息予以集中，并对集中后的数据实施分类整理和编辑处理，从而确保所形成的数据源具有特征一致、表现相同的特点，从而为加强对其的研究提供便利。所以这一分析方法能有效的满足各种数据信息处理。二是关联法，由于不同数据间存在的关联性较为隐蔽，采取人力往往难以找出其信息特征，所以需要预先结合信息关联的表现，对数据关联管理方案进行制定，从而完成基于某种目的的前提下对信息进行处理，所以其主要是在一些信息处理要求高和任务较为复杂的信息处理工作之中。三是特征法，由于数据资源的应用范围较广，所以需要对其特征进行挖掘。也就是采用某一种技术，将具有相同特征的数据进行集中。例如采用人工神经网络技术时，主要是对大批量复杂的数据分析，对非常复杂的模式进行抽取或者对其趋势进行分析。而采取遗传算法，则主要是对其他评估算法的适合度进行评估，并结合生物进化的原理，对信息数据的成长过程进行虚拟和假设，从而组建出半虚拟、半真实的信息资源。再如可视化技术则是为数据挖掘提供辅助，采取多种方式对数据的挖掘进行指导和表达[1]。

　　2大数据时代数据挖掘技术教学要点的分析

　　2.1数据挖掘技术流程分析

　　在数据挖掘教学过程中，其流程主要是以下几点：首先做好数据准备工作，主要是在挖掘数据之前，就引导学生对目标数据进行准确的定位，在寻找和挖掘数据之前，必须知道所需数据类型，才能避免数据挖掘的盲目性。在数据准备时，应根据系统的提示进行操作，在数据库中输入检索条件和目标，对数据信息资源进行分类和清理，以及编辑和预处理。其次是在数据挖掘过程中，由于目标数据信息已经被预处理，所以就需要在挖掘处理过程中将其高效正确的应用到管理机制之中，因而数据挖掘的过程十分重要，所以必须加强对其的处理。例如在数据挖掘中，引导学生结合数据挖掘目标要求，针对性的选取科学而又合适的计算和分析方法，对数据信息特征与应用价值等进行寻找和归纳。当然，也可以结合程序应用的需要，对数据区域进行固定，并在固定的数据区域内分类的挖掘数据，从而得到更具深度和内涵以及价值的数据信息资源，并就挖掘到的数据结果进行分析和解释，从结果中将具有使用价值和意义的规律进行提取，并还原成便于理解的数据语言。最后是切实加强管理和计算等专业知识的应用，将数据挖掘技术实施中进行的总结和提取所获得的数据信息与评估结果在现实之中应用，从而对某个思想、决策是否正确和科学进行判断，最终体现出数据挖掘及时的应用价值，在激发学生学习兴趣的同时促进教学成效的提升。

　　2.2挖掘后的数据信息资源分析

　　数据信息资源在挖掘后，其自身的职能作用将变得更加丰富，所以在信息技术环节下的数据挖掘技术随着限定条件的变化，而将数据挖掘信息应用于技术管理和决策管理之中，从而更好地彰显数据在经济活动中的物质性质与价值变化趋势，并结合数据变化特点和具体的表现规律，从而将数据信息的基本要素、质量特点、管理要求等展示出来，所以其表现的形式十分丰富。因而在数据挖掘之后的信息在职能范围和表现形式方式均得到了丰富和拓展，而这也在一定程度上体现了网络拟定目标服务具有较强的完整性，且属于特殊的个体物品，同时也是对传统数据挖掘技术的创新和发展，从而更好地满足当前大数据时代对信息进行数据化的处理，并对不同种类业务进行整合和优化，从而促进数据挖掘技术服务的一体化水平。

　　2.3大数据背景下的数据挖掘技术的应用必须注重信息失真的控制

　　数据挖掘技术的信息主要是源于大数据和社会，所以在当前数据挖掘技术需求不断加大的今天，为了更好地促进所挖掘数据信息的真实性，促进其个性化职能的发挥，必须在大数据背景下注重信息失真的控制，切实做好数据挖掘技术管理的各项工作。这就需要引导学生考虑如何确保数据挖掘技术在大数据背景下的职能得到有效的发挥，尽可能地促进数据挖掘技术信息资源的升级和转型，以大数据背景为载体，促进整个业务和技术操作流程的一体化，从而更好地将所有数据资源的消耗和变化以及管理的科学性和有效性，这样我们就能及时的找到资源的消耗源头，从而更好地对数据资源的消耗效益进行评价，最终促进业务流程的优化，并结合大数据背景对数据挖掘技术的职能进行拓展，促进其外部信息与内部信息的合作，对数据挖掘技术信息的职能进行有效的控制，才能更好地促进信息失真的控制[2]。

　　3数据挖掘技术在不同行业中的应用实践

　　学习的最终目的是为了更好的应用，随着时代的发展，数据挖掘技术将在越来越多的行业中得以应用。这就需要高校教师引导学生结合实际需要强化对其的应用。例如在市场营销行业中数据挖掘技术的应用这主要是因为数据挖掘能有效的解析消费者的消费行为和消费习惯，从而利用其将销售方式改进和优化，最终促进产品销量的提升。与此同时，通过对购物消费行为的分析，掌握客户的忠诚度和消费意识等，从而针对性的改变营销策略，同时还能找到更多潜在的客户。再如在制造业中数据挖掘技术的应用，其目的就在于对产品质量进行检验。引导学生深入某企业实际，对所制造产品的数据进行研究，从而找出其存在的规则，并对其生产流程进行分析之后，对其生产的过程进行分析，从而更好地对生产质量的影响因素进行分析，并促进其效率的提升。换言之，主要就是对各种生产数据进行筛选，从而得出有用的数据和知识，再采取决策树算法进行统计决策，并从中选取正确决策，从而更好地对产品在市场中的流行程度，决定生产和转型的方向。再如在教育行业中数据挖掘技术的应用，主要是为了更好地对学习情况、教学评估和心里动向等数据进行分类和筛选，从而为学校的教学改革提供参考和支持。比如为了更好地对教学质量进行评估，就需要对教学质量有关项目进行整合与存储，从而更好地促进其对教学质量的评估，而这一过程中，就需要采取数据挖掘技术对有关教学项目中的数据进行挖掘和处理，促进其应用成效的提升[3]。

　　4结语

　　综上所述，在大数据背景下，数据挖掘技术已经在各行各业中得到了广泛的应用，所以为了更好地满足应用的需要，在实际教学工作中，我们必须引导学生切实加强对其特点的分析，并结合实际需要，切实注重数据挖掘技术的应用，才能促进其应用成效的提升，最终达到学以致用的目的。

　　作者：何智文 邓伦丹 单位：南昌大学科学技术学院

　　[1]李平荣。大数据时代的数据挖掘技术与应用[J]。重庆三峡学院学报，2014，03：45-47.

大数据技术篇2

　　看到这个案例你或许会认为，只要拥有一定的大数据分析、挖掘技术，就可以提高利润、节省成本。可事实远非这么简单。

　　大数据技术的进步之快，与传统的数据分析相比，就好比是喷汽式飞机与独轮车的差距。如果管理者没有足够的判断力和领导素养，该项新技术所带来的风险可能远远大于收益。

　　仔细研究塔吉特的“怀孕指标”之后我们发现，领导力在该项目当中发挥的作用远比技术工具来得关键：

　　以一定的收益风险管理为导向 很久以前，早在上

　　世纪八十年代，塔吉特就通过研究发现，消费者很少会因为商家的广告或者优惠券改变自己的购物习惯，选择不熟悉的品牌。只有当重大事件发生时，比如结婚、搬家或者生小孩，这一规律才会被打破。

　　没有这项理论做前提，塔吉特的“怀孕指标”项目就毫无意义。

　　合理的样本和模型很重要 建立一个数据模型需

　　要明确的样本和评估数据，这就需要对客户有足够的洞察。

　　在塔吉特的案例里，他们使用婴儿用品的购买记录作为样本，以此为基础来建构一个数据模型，分析更大量的数据记录。

　　理解信息的价值所在 需要仔细评估从最理想的数据中能够得到的商业结果，对比数据收集、分析的过程和最终得到的结果，来判断精确的分析是否值得。

　　例如，在塔吉特，可以根据“怀孕指标”，将准确率为80%的数据和准确率为90%的数据进行对比，以找到投入产出的最佳结合点，形成最优化的数据模型。

　　而且数据分析是持续不断的过程，而非一个阶段性的项目或者事件。只有这样，才能够分析找到推送优惠广告的最佳对象和方式，从而改善整个商业模式。

大数据技术篇3

　　关键词：大数据 智能 数据分析

　　中图分类号：F503 文献标识码：A 文章编号：1674-098X（2014）04（a）-0021-01

　　对于数据分析来说，其主要的目的就是通过对数据的分析去发现问题或预测趋势。从数据钻取、大规模分析的技术手段、以及算法执行上来说，大规模分析是和小规模数据在技术上是有很大差异的。想要探究大数据下的智能数据分析技术，首先要对数据分析这一概念进行深入研究。

　　1 数据分析

　　数据分析的过程其实简单的说就是做报告，做什么样的报告反映什么样的指标。最开始的时候基本上是data processing。例如零售行业来说，最主要的指标就是库存、销售同比增长情况、利润同比增长情况、促销率等等。对于不同的行业会有不同的相关的KPI需要跟踪，所以报告的内容也会有所侧重，但是只要你一个行业做久了，熟悉了套路之后，基本上就是以同样的方法开展。

　　对于数据分析，如果公司部门分的比较细的（例如可能有建模组），那么做数据分析可能永远都是做data processing了。对于模型的分析，需要你对业务有了深入的了解就可以建立一些模型出来（例如推荐模型）等等。

　　数据分析主要涉及的技能：

　　（1）数据库的能力。越全面越好，如果不是理工科的，最起码要会select那些简单的查询语句。

　　（2）EXCEL、PPT的能力。报告的呈现一般都是Excel+PPT的形式，最好VBA，这样就可以将很多人工的工作转化为自动化的能力，提高工作效率，领导也对你刮目相看，自己也有更多空余的时间准备其他方面的知识。

　　（3）市场分析能力。学会观察市场的走向和关注的内容，例如零售行业，现在大家都对CRM很热衷，那相关的分析方法和方式是怎么样的，你要自己去了解。从来不会有人手把手的将所有东西都告诉你，你必须自己学会去增长知识。

　　（4）一些会计的知识。因为通过以上分析，就是会计管理的一部分内容，最后还是公司盈利问题。有兴趣的也可以去看看战略管理方面的，对于做数据分析也很有好处的说。

　　综合来看，可以说数据分析=技术+市场+战略。

　　2 如何培养数据分析能力

　　理论：

　　基础的数据分析知识，至少知道如何做趋势分析、比较分析和细分，不然拿到一份数据就无从下手；

　　（2）基础的统计学知识，至少基础的统计量要认识，知道这些统计量的定义和适用条件，统计学方法可以让分析过程更加严谨，结论更有说服力；

　　（3）对数据的兴趣，以及其它的知识多多益善，让分析过程有趣起来。

　　实践：

　　（1）明确分析的目的。如果分析前没有明确分析的最终目标，很容易被数据绕进去，最终自己都不知道自己得出的结论到底是用来干嘛的；

　　（2）多结合业务去看数据。数据从业务运营中来，分析当然要回归到业务中去，多熟悉了解业务可以使数据看起来更加透彻；

　　（3）了解数据的定义和获取。最好从数据最初是怎么获取的开始了解，当然指标的统计逻辑和规则是必须熟记于心的，不然很容易就被数据给坑了；

　　（4）最后就是不断地看数据、分析数据，这是个必经的过程，往往一个工作经验丰富的非数据分析的运营人员要比刚进来不久的数据分析师对数据的了解要深入得多，就是这个原因。

　　3 大数据

　　大数据就是通过统计分析计算机收集的数据，在人们可能不知道“为什么”的前提下，了解到事物的状态、趋势、结果等“是什么”。

　　对于大数据，一直来说，数据规模导致的存储、运算等技术问题从来不是最重要的瓶颈。瓶颈只在于前端数据的收集途径，以及后端商业思想引领的模型和算法问题。早期的各类OLAP工具已经足够了，后来类似海杜普这样的研究则彻底降低了分布式数据的架构成本和门槛，就彻底将大数据带入了一个普及的领域。

　　从技术层面说，大数据和以前的数据时代的最大差异在于，以前是数据找应用/算法的过程（例如各大银行的大集中项目，以及数据建仓），而大数据时代的重要技术特征之一，是应用/算法去找数据的过程，因为数据规模变成了技术上最大的挑战。

　　大数据的特点：

　　（1）大数据不等同于数据大，我们处理问题是根据这个问题的所有数据而非样本数据，即样本就是总体；不是精确性而是混杂性；不是因果关系而是相关关系。

　　（2）大数据应用的几个可能：当文字变成数据，此时人可以用之阅读，机器可以用之分析；当方位变成数据，商业广告，疫情传染监控，雅安地震时的谷歌寻人；当沟通变成数据，就成了社交图谱。一切都可以量化，将世界看作可以理解的数据的海洋，为我们提供了一个从来未有过的审视现实的视角。

　　（3）数据创新的价值：数据的再利用。例如重组数据：随着大数据出现，数据的总和比部分更有价值，重组总和和本身价值也比单个总和更大；可扩展数据：在设计数据收集时就设计好了它的可扩展性，可以增加数据的潜在价值；数据的折旧值：数据会无用，需淘汰更新；数据废气：比如语音识别，当用户指出语音识别程序误解了他的意思，实际上就有效的训练了这个系统。

　　总之，大数据是因为对它的分析使用，才产生和体现它的价值，而不是因为其用到了突出的技术和算法才体现了它的价值。

　　4 大数据下的智能数据分析

　　在大数据的背景下，必须考虑数据之间的关联性。一个单独的数据是没有意义的，实际中，选择处在两个极端的数据往往更容易找出它们之间的联系，把它们放在一个框架中看才能发现问题。因此，可以用以下四种方法在大数据背景下进行智能数据分析：

　　（1）从解决问题的角度出发收集数据；

　　（2）把收集的数据整理好，放入一个框架内，并利用这个框架帮助决策者做出决定；

　　（3）评估决定与行动的效果，这将告诉我们框架是否合理；

　　（4）如果有新的数据出现，我们将考察能否利用它对前面三步做出改进，以及我们今天是否还需要收集更多种类的数据。

　　5 结语

　　数据分析的最终目的是帮助业务发现问题并解决问题，提升公司价值，而这些是从数据发觉的，而不是盲目下结论。每家公司都有自己业务生产的数据，通过数据分析、同比环比、漏斗分析及模型等，发现业务上存在的问题，帮助公司业务的优化。

　　参考文献

　　[1] 李贵兵，罗洪。大数据下的智能数据分析技术研究[J]。科技资讯，2013（30）。

大数据技术篇4

　　关键词： 大数据； 4V特征； Hadoop； 云计算

　　中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2015）01-13-02

　　Overview on big data technology

　　Yang Jing

　　（Department of Computer Science， Yunyang Teachers' College， Shiyan， Hubei 442000， China）

　　Abstract： Big data is a new technical wave after the network of things and cloud computing。 To understand big data technology， the definition and 4V characteristics， the key technologies and main application fields are systematically analyzed in the paper。 Through the introduction of the basic conception， characteristics， the main application fields with typical cases are summarized。 The core technologies， key strategies of cloud computing， hadoop and data backup are analyzed。 The potential information safety risks are pointed out。 The countermeasures are given to provide some suggestions and references for wider application and study in the future。

　　Key words： big data； 4V characteristics； Hadoop； cloud computing

　　0 引言

　　物联网、云计算等新兴技术的迅速发展开启了大数据时代的帷幕。大数据技术是指从各种各样的海量数据中，快速获取有价值信息的技术，大数据的核心问题就是大数据技术。目前所说的“大数据”不仅指数据本身的规模大，还包括采集数据的工具、平台和数据分析系统复杂程度大。大数据的研发目的是发展大数据技术并将其应用到相关领域，解决实际生产、生活中的各种问题，从而推动信息技术健康地可持续发展。

　　1 大数据的定义及主要特征

　　与其他新兴学科一样，目前大数据没有一个统一的标准和定义。一般认为：大数据是由大量异构数据组成的数据集合，可以应用合理的数学算法或工具从中找出有价值的信息，并为人们带来经济及社会效益的一门新兴学科。大数据又被称为海量数据、大资料、巨量数据等，指的是所涉及的数据量规模巨大，以至于无法在合理时间内通过人工攫取、管理、处理并整理成为人类所能解读的信息。这些数据来自方方面面，比如社交网络、传感器采集、安防监控视频、购物交易记录等。尽管尚无统一定义，但这些无比庞大的数据被称为大数据。大数据具有如下4V特性[1]：

　　⑴ 体量Volume，是指数据存储量大，计算量大；

　　⑵ 多样Variety，是指大数据的异构和多样性，比如数据来源丰富，数据格式包括多种不同形式，如网络日志、音频、视频、图片、地理位置信息等等；

　　⑶ 价值Value，是指大数据价值密度相对较低，信息海量，但是要挖掘出真正有价值的数据难度较大，浪里淘沙却又弥足珍贵；

　　⑷ 速度Velocity，是指数据增长速度快，处理速度要求快。

　　2 大数据技术的应用领域

　　通过对海量数据进行采集、分析与处理，挖掘出潜藏在数据海洋里的稀疏但却弥足珍贵的信息，大数据技术正在对经济建设、医疗教育、科学研究等领域产生着革命性的影响，其所带来的巨大使用价值正逐渐被各行各业的人们所感知。

　　2.1 金融领域

　　大数据的火热应用突出体现在金融业，各大互联网企业（谷歌、阿里巴巴等）纷纷掘金大数据，开创了新的互联网金融模式。目前阿里巴巴的互联网金融做得如火如荼：基金、小额信贷、余额宝和理财保险产品等等，阿里巴巴之所以能够做火金融服务，其主要原因就在于阿里的大数据，阿里巴巴的电商平台存储了大量微小企业客户及数以亿计的个人用户行为信息、交易记录、身份数据等，拥有最好、最全的数据以及最完整的产业链，做P2P及个人小额信贷，具有最大优势[2]。相反，传统商业银行早期就已推出的小额信贷业务，开展得并不十分顺利。

　　2.2 市场营销

　　今天的数字化营销与传统市场营销最大的区别就在于精准定位及个性化。如今企业与客户的交流渠道发生了革命性的变化，从过去的电话及邮件，发展到今天的博客、论坛、社交媒体账户等，从这些五花八门的渠道里跟踪客户，将他们的每一次点击、加好友、收藏、转发、分享等行为纳入到企业的销售漏斗中并转化成一项巨大的潜在价值，就是所谓的360度客户视角。例如谷歌的销售策略主要着眼于在线的免费软件，用户使用这些软件时，无形中就把个人的喜好、消费习惯等重要信息提交给了谷歌，因此谷歌的产品线越丰富，他们对用户的理解就越深入，其广告定位就越精准，广告所攫取的价值就越高，这是正向的循环。

　　2.3 公众服务

　　大数据的另一大应用领域是公众服务。如今数据挖掘已经能够预测海啸、地震、疾病暴发，理解交通模型并改善医疗和教育等。例如，可采用神经网络和基于地震时间序列的支持向量机方法来预测地震的大概方位、时间、震级大小等重要信息，为通用地震模拟程序提供关键的数据，从而对地震进行早期预警，以使防震抗灾部门可以提前做好应对措施，避免大量的人员伤亡及财产损失；再如，将各个省市的城镇医疗系统、新农村合作医疗系统等全部整合起来，建立通用的电子病历等基础数据库，实现医院之间对病患信息的共享，提高患者就医效率[3]；电力管理系统通过记录人们的用电行为信息（做饭、照明、取暖等），大数据智能电网就能实现优化电的生产、分配及电网安全检测与控制，包括大灾难预警与处理、供电与电力调度决策支持和更准确的用电量预测等，并通过数据挖掘技术找出可行的节能降耗措施，以实现更科学的电力需求分配管理。

　　2.4 安防领域

　　安防领域中最重要的就是视频监控系统，从早期看得见到现在看得远、看得清，视频监控是典型的数据依赖型业务，依赖数据说话。尤其是高清、超高清监控时代的到来，会产生巨量的视频数据。这些巨量视频监控数据中，多数是冗余无用的，只有少数是关键数据，如何剔除这些无用数据，一直是人们研究问题的焦点。在大数据技术的支撑下，通过对巨量视频数据的分析与处理，可实现模糊查询、精准定位、快速检索等，能够对高清监控视频画质进行细节分析，智能挖掘出类似行为及特征的数据，从而为业务分析和事件决策判断提供精准依据。

　　3 大数据处理关键技术

　　3.1 数据备份技术

　　在大数据时代，如何做好数据的安全备份至关重要。数据备份是数据容灾的前提，具体是指当出现某种突发状况导致存储系统中的文件、数据、片段丢失或者严重损坏时，系统可准确而快速地将数据进行恢复的技术。数据容灾备份是为防止偶发事件而采取的一种数据保护手段，其核心工作是数据恢复，根本目的是数据资源再利用。

　　3.2 Hadoop

　　大数据时代对于数据分析、管理等都提出了更高层次的要求，传统的关系型数据库和数据分析处理技术已经不能满足大数据横向扩展的需求。为了给大数据处理、分析提供一个性能更好、可靠性更高的平台，Apache基金会开发了一个开源平台Hadoop[4]，该平台用Java语言编写，可移植性强，现在Hadoop已经发展为一个包括HDFS（分布式文件系统 ）、HBase（分布式数据库）等功能模块在内的完整生态系统，成为目前主流的大数据应用平台。

　　3.3 云计算

　　如果把各种各样的大数据应用比作在公路上行驶的各种汽车，那么支撑这些汽车快速运行的高速公路就是云计算，云计算是大数据分析处理技术的核心。正是由于云计算在海量信息存储、分析及管理方面的技术支持，大数据才有了如此广阔的用武之地。谷歌的各种大数据处理技术和应用平台都是基于云计算，最典型的就是以UFS（UIT云存储系统）、MapReduce（批处理技术）、BigTable（分布式数据库）为代表的大数据处理技术以及在此基础上产生的开源数据处理平台Hadoop[5]。

　　4 大数据应用带来的信息安全隐患及应对策略

　　大数据时代，海量数据通常存储在大规模分布式的网络节点中，管理相对分散，而且系统也无法控制用户进行数据交易的场所，因此很难辨别用户的身份（合法及非法用户），容易导致不合法用户篡改或窃取信息；此外，大数据存储系统中包含了海量的个人用户隐私数据及各种行为的记录信息，如何在大数据的挖掘利用中确定一个信息保护和开放的尺度， 是大数据面临的又一难题。为了合理利用大数据并有效规避风险，我们提出以下四点建议：

　　⑴ 国家出台相关政策，加强顶层设计，保障数据存储安全；

　　⑵ 增强网络安全防护能力，抵御网络犯罪，确保网络信息安全；

　　⑶ 提高警惕积极探索，加大个人隐私数据保护力度；

　　⑷ 深化云计算安全领域研究，保障云端数据安全。

　　5 结束语

　　在当今信息知识爆炸的时代，大数据技术已经被广泛应用于商业金融、电力医疗、教育科研等领域。随着数据挖掘技术的不断进步，相关信息行业竞相从规模庞大、结构复杂的大数据海洋中攫取更多有价值的数据信息用于分析、解决现实生活中的各种实际问题，从而实现信息技术的快速健康发展。本文梳理了大数据的基本概念及4V特征，总结归纳了大数据技术的四大热门应用领域及三大核心处理技术，分析了大数据技术带来的诸如信息窃取及篡改、个人隐私数据泄露等信息安全隐患，并提出了相应的解决措施及建议。当然，目前大数据技术的研究尚处在起步阶段，还有许多深层次的问题亟待解决，如大数据的存储管理是通过硬件的简单升级还是通过系统的重新设计来解决，大数据4V特征中起关键作用的是什么，大数据技术的应用前景是什么，等等。就目前来看，未来大数据技术的研究之路还很长，需要我们用更加敏锐的洞察力来分析和研究。

　　参考文献：

　　[1] BARWICK H。 The “four Vs” of big data。 Implementing Information

　　Infrastructure Symposium[EB/OL]。 [2012-10-02]。 http：//。au/article/396198/iiis_four_vs_big_data/。

　　[2] 韦雪琼，杨哗，史超。大数据发展下的金融市场新生态[Jl。时代金融，

　　2012.7：173-174

　　[3] 张敬谊，佘盼，肖筱华。基于云计算的区域医疗信息化服务平台的研

　　究[J]。计算机科学，2013.40（10）：360-365

大数据技术篇5

　　关键词：大数据；应用技术；挑战

　　中图分类号：TP311.13

　　关于数据方面的新名词是层出不穷，云计算、物联网的概念还没有完全理解，大数据的概念又频频出现在媒体中，特别是今年“两会”期间，在央视报道中，多次使用大数据进行实时分析。大数据的概念从计算机业界也迅速传播到各行各业，与我们的日常生活也密切的联系在一起。不但中国如此，2012年3月，奥巴马宣布美国政府五大部门投资两亿美元启动“大数据研究与开发计划”，【1】大力推动大数据相关的收集、储存、保留、管理、分析和共享海量数据技术研究，以提高美国的科研、教育与国家安全能力，美国政府以及把“大数据”技术上升到国家安全战略的高度。其他国家也纷纷加大对大数据研究的资金投入，同时，许多大公司企业也将此技术视作创新前沿。

　　1 大数据概念与特征

　　但是，到目前为止，业界关于大数据的概念尚未有统一的定义。最早将大数据应用于IT环境的是著名的咨询公司麦肯锡，它关于大数据的定义是这样的：大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的数据集合。另外，被引用较多得到大家认可的还有维基百科的定义：大数据指数量巨大、类型复杂的数据集合，现有的数据库管理工具或传统的数据处理应用难以对其进行处理。这些挑战包括如捕获、收集、存储、搜索、共享、传递、分析与可视化等。【2】

　　当前，较为统一的认识是大数据有四个基本特征：数据规模大（Volume），数据种类多（Variety），数据要求处理速度快（Velocity），数据价值密度低（Value），即所谓的四V特性。这些特性使得大数据区别于传统的数据概念。【3】

　　首先，数据量庞大是大数据的最主要的特征，大数据的数据规模是以PB、EB、ZB量级为存储单位的，数据量非常庞大。同时，此类数据还在不断的加速产生，因此，传统的数据库管理技术无法在短时间内完成对数据的处理。第二，数据种类多。与传统的数据相比，大数据的数据类型种类繁多，包括了结构化数据、半结构化数据和非结构化数据等多种数据类型。传统的数据库技术采取关系型数据库较多，结构单一，而大数据重点关注的是包含大量细节信息的非结构化数据，因此传统数据库技术不能适应新的大数据的要求，传统的数据处理方式也面临着巨大的挑战。第三，大数据的产生与存储是动态的，有的处理结果时效性要求很高，这就要求对数据能够快速处理，数据处理速度快也是大数据区别数据仓库的主要因素。数据产生的速度以及快速变化形成的数据流，超越了传统的信息系统的承载能力。最后，数据价值密度低是大数据关注的非结构化数据的重要属性。大数据分析是采用原始数据的分析，保留了数据的全貌，因此一个事件的全部数据都会被保存，产生的数据量激增，而有用的信息可能非常少，因此价值密度偏低。

　　2 大数据可用性的面临的技术与问题

　　大数据并不仅仅指其数据量之大，更代表着其潜在的数据价值之大。有研究证明，有效地管理、使用大数据能够给企业提供更多增强企业生产能力和竞争能力的机会，能够给企业带来巨大的潜在商业价值。【4】但不可否认的是，大数据目前也面临很多负面影响。低质量低密度的数据也可能对决策造成致命性的错误。如何把大数据从理论研究到企业应用的转变，还面临很多问题与挑战。

　　（1）可用性理论体系的建立。大数据的可用性需要完整的理论做支撑，才能解决诸如如何形式化的表示数据可用性、如何评估数据可用性、数据错误自动发现和修复依据什么理论、如何管理数据和数据融合、数据安全性采取何种策略和理论等一系列问题。因此，要建立完整可用性理论体系，构建统一的模型，为大数据的进一步应用提供坚实的理论基础。

　　（2）高质量数据的获取的能力。大数据技术最基础的对象就是数据，是一切应用和分析决策的前提。因此，获取高质量数据是确保信息可用性的重要因素之一。随着互联网的数据不断增大，物联网的兴起以及复杂物理信息系统的应用，大数据的来源也多种多样，数据模型千差万别，质量也参差不齐，这就为加工整合数据带来非常大的困难。

　　大数据是对事物最原始的全貌记录，数据量规模很大，但是其中有用的信息非常少，因此，对于处理数据来说，数据并不是越多越好。如何提高数据中的有效数据是非常关键的。大量的数据中如果仅仅包含了少量的错误数据，对分析结果可能不会造成很大的影响。但是如果对错误数据没有有效控制的话，大量错误数据的涌入很可能会得到完全错误的结果。

　　因此，获取高质量数据的能力是大数据能否进行实用的关键因素，否则只会在浪费人力物力后获得完全无效甚至错误的结果。但是目前还缺乏系统的研究，对于出现的问题还没有很好的解决方案，在获取数据方面的工作任重而道远。

　　（3）数据分析与显示。单纯的大数据是没有意义的，只有通过对大数据进行分析，从中提取知识，使之能够转化成有用的结果，才是大数据可用性的实质。当前，对非结构化数据散乱无序的特征，仍然缺乏高效的分析处理手段。一方面是大数据以几何速度增长和更新，另一方面是难以从这么冗杂散乱的数据中进行有效数据分析，大数据能否发展应用完全取决于能否从数据中进行有效分析。

大数据技术篇6

　　关键词： 数字音乐；传播模型；大数据；云存储

　　大数据时代的来临极大地改变了整个人类社会，为我们的生活带来了全方位的革新，包括传播技术和模式。作为对传播技术高度依赖的音乐产业，是率先深受大数据时代传播技术革命影响的领域之一。

　　音乐不仅是艺术品，也是在个层次受众中广泛传播和消费的文化消费品。因此，音乐作为一种特殊形式的商品，有着巨大的市场需求空间。在社会发展的的不同历史时期，随着技术的发展，音乐承载形式一直在进化。事实上数字音乐并不是一个新兴产物，其存在和发展已经有几十年了。但是，在大数据和云计算成为主流信息处理技术的新时代，数字音乐的传播亟待新的传播模型。

　　1 大数据的特征

　　大数据首先意味着数据量极为庞大。2011年5月麦肯锡全球研究中心将“大数据”定义为“数据的量超过典型数据库软件工具撷取、存储、管理和分析能力的数据”。这个定义还不够全面。更准确的说，大数据意味着从各个方面全方位尽可能多的收集不同的变量，用以描述人、事、物以及现象的各种特征。面对不断增长的记录这些变量的需要，撷取数据的数量也相应的快速增长，因此数据库容量越来越大，最终接近无限大。处理如此海量的数据需要新技术和模型进行存储、计算和传输，从而带给我们很多意想不到的应用。大数据的主要特征可概括为：①海量与数字化：所有的数据均以数字化的形式存在。（姚远，2013）。②云存储：通俗地说，云存储是指通过网络技术将数据存放在远端虚拟空间中。③基于数据总体的计算：传统统计学通常采用抽样统计的方法。而在大数据时代，我们是通过分析与话题相关的全部已有数据来分析事物之间的联系。④智能应用：当数据总量大到一定程度时，隐藏在数据背后的事物的其他特征就会显现出来，就可以发现事物之间更多的联系。这些发现可以衍生许多智能应用。

　　2 数字音乐的数据化与云存储

　　数字化并不意味着数据化。将一个对象数据化就是将其置身于量化形式，可以制成表格并加以分析。这与数字化大相径庭，数字化仅仅是将相似信息进行二进制编码处理供计算机处理。

　　从二十世纪九十年代起，人们就开始用数字化的形式记录和传播音乐作品（冯毅，2008）。但在大数据时代，仅靠对音乐内容的数字化处理方式远远不能满足有效的传播音乐需求，还需要更加便于管理和计算的传播方式，即数据化。

　　采用知识本体论方法将音乐作品数据化不失为一种行之有效的方法。我们在之前的研究中已经构建了音乐领域知识本体，其中定义了5个子本体描述上级概念结构，分别是音乐事件、音乐作品、音乐人物、音乐地点、音乐技术。在这些子知识本体中，通过定义子类的概念、特征以及各类别和实例之间的关系，我们建立了一个完整的系统描述音乐的各项特征。（杨立，2011）

　　作为新型的网络个人应用，一些数据服务供应商开始提供音乐云服务。数据服务提供商提供设备和服务，允许用户建立个人音乐库，在设备间同步更新音乐和向台式电脑、笔记本、平板、智能手机和其他的数码播放器等传递音乐。

　　这些音乐云偏向于私有云，主要针对个人客户。这种云存储模式对于数字音乐传播的有效性还远远不够。我们需要一个更加开放的平台和机制，允许所有在传播链上的参与者都能在版权法的保护下合法地分享他们的作品、产品和服务。

　　3 数字音乐传播链上的参与者

　　这里所说的参与者指的是在数字音乐传播链涉及的所有的个人或组织。他们共同组成了如下传播链：音乐制作者指音乐作品内容最初的创作者，包括作曲家、歌词作者和表演者。音乐要想突破时间和空间的限制进行传播，首先就需要将音乐记录下来进行处理，因此我们需要音乐内容处理者，包括：录音棚、演出机构和数据处理商。数字音乐内容供应商拥有自己特殊的传播渠道或者营销网络，通常和网络运营商或云服务提供商关系密切。他们提供在线数字音乐交易平台，在数字音乐的传播发挥着重要作用。此外，还需要云服务提供商提供包括存储、搜索、上传、分享，甚至是交易的公有或者私有数字音乐云服务。除此之外，还需要网络运营商为传播链上所有参与者提供网络连接服务。数字音乐可预装载诸如MP3播放器、手机等设备中捆绑式销售，因此这些相关硬件生产商也与数字音乐传播直接相关。传播链的终端端是数字音乐消费者，包括个人消费者、公众媒体和娱乐行业。

　　4 数字音乐传播模型

　　数字音乐传播涉及三个层次，分别是制作层、存储层和交易服务层。如图2所示。

　　①制作层：制作层描述数字音乐作品由最初创作到最终数据化的过程。②存储层：为了更为便利和有效的传播，数字音乐作品基本储存在云端。经过第一层次的数据化过程，数字音乐实现转化，储存在不同的云端中。③交易服务层，即为用户服务层，数字音乐交易发生在该层次。该层次可为电子商务平台，在符合版权保护的前提下，允许混合电子商务模型B2C，C2C，B2B和O2O等。

　　数字音乐作为一种特殊的信息产品，消费十分广泛。不同与实物产品和虚拟产品，数字音乐介于两者之间。音乐创作过程是物理过程，但是最终制作和传播可以彻底数字化。一个适合的传播模型对整个产业的发展是大有裨益的，值得深入研究。限于篇幅，本文呈现的模型仅仅是一个框架，更多细节问题，比如技术、运作策略以及产业链等有待将进一步深入研究。

　　[1]冯毅。音乐的革命：从电子音乐到数字音乐[J]。艺术评论，2008，10：59，70-74.

大数据技术篇7

　　【 关键词 】 Oracle数据库；国产数据库；数据迁移；专题统计数据库

　　Technical Analysis of Large-Scale Domestic Data to Oracle Database Migration

　　Sun Yu-feng Li Bo He Yan Huan Chen-yang

　　（Jiangsu Sky Information Co。，Ltd。 JiangsuNanjing 211800）

　　【 Abstract 】 With the rise of paperless and Web-based office，the national information security are getting more dependent on the secure extent of computer software and hardware。 Currently，software and hardware vendors like Intel， Microsoft， Oracle have established their monopolies in the core field of CPU， operating system and database， which is posing a great threat to the information security of domestic government agencies， businesses and individuals。 Simultaneously， the importance of secure and reliable data migration for mainstream database by adopting domestic software and hardware is increasing。 This article starts from the necessity of data migration， followed by technical prerequisites analysis， the detailed process and afterwards optimization of data migration will then be described。

　　【 Keywords 】 oracle database；domestic database；data migration；special statistical database

　　1 引言

　　随着国产化战略的发展，“自主可控、安全可信、高效可用”的国产信息化产品已逐步在政府、事业单位等机构进行全面使用，而在国产化推进进程中，如何实现主流数据库中的历史数据向国产化数据库的迁移成为推进过程中的难点，也制约着部分机构推进国产化的积极性。本文描述迁移前的模型对比、策略和方法的选择及迁移工具准备，详细介绍了Oracle数据向国产数据库迁移的准备、转换、校验各阶段，并就数据迁移后的性能、系统的调优工作给出了建议。

　　2 研究向国产数据库迁移的必要性

　　2.1 国家信息安全的要求

　　随着国家信息化的建设，我国软件业虽然发展很快，但基础软件仍被外国公司控制，就数据库产品，国外产品当前的市场占有率在95%以上，这种情况存在着严重的安全隐患。如“棱镜门”事件，如果这类基础软件被外国控制，那我国的信息系统、网络系统在外国信息监控计划面前几乎没有防御能力。因此，国家提出了“核高基“重大科技专项课题，要以国产可靠基础软件替换国外软件，在这个项目中把Oracle数据向国产数据库迁移是重要组成部分。所以说，研究向国产数据库迁移是国家信息安全的要求。

　　2.2 打破国外垄断的重要条件

　　目前在国内商用市场，特别是金融和通信领域，商用数据库Oracle和DB2处于垄断地位，其中Oracle占了大部分的市场。Oracle进入国内市场较早，有先入为主的优势，同时在技术上不断创新奠定了Oracle的领先地位。国产数据库软件行业已有一定发展，如达梦，神州通用、人大金仓等均具有自主知识产权，且已应用于国民经济的诸多行业，成熟度较高。软件基础已经具备，那下一步需要研究怎么实现大规模的把Oracle数据向国产数据库迁移，这是打破国外垄断的重要条件。

　　2.3 促进国产软件产业链发展的必要条件

　　我国国产软件产业链发展缓慢的原因主要有两点：第一，由于我国软件行业起步较晚，国内市场已被进口软件垄断了，造成国内基础软件的市场需求很小，很难进一步发展；第二，国外基础软件公司利用其垄断地位制定行业标准，并与国外基础硬件形成产业联盟，为国产数据库软件进入行业设置了门槛，如我国金融行业的信息系统基本上被IBM、Oracle和EMC三家所控制，被称之为“IOE”依赖症。国内基础软件的发展，特别是数据库基础软件的发展，能形成和促进国内的软件产业链的发展，实现“去IOE”。但是，如何保证数据安全完整的从国外数据库迁移到国产数据库上，是难以避开的难题，这是发展国产数据库、促进国产软件产业链发展的必要条件。

　　3 数据迁移的技术前提

　　3.1 数据迁移前的对比分析

　　对原Oracle数据库与国产数据库分析的目的在于了解数据模型，判断数据迁移的工作量及确定迁移工作的重点和方案，主要包括一些内容。

　　（1）原Oracle数据库的相关信息，包括其后台的操作系统、数据库的版本、前台的开发模式、应用系统常用的接口、运行的中间件环境、应用涉及到的库数量及之间的关系等等。

　　（2）涉及的数据类型，常规的如CHAR、VARCHAR等，这些各种国产数据库一般都支持。如果系统用到了如日期、时间、文本、图像等类型时，在做数据迁移的时候要注意Oracle与国产数据库之间的差异，主要关注长度、精度、标度信息，有时候需要做些类型转换，如在Oracle中的VARCHAR（8000），在达梦数据库中可考虑将其转换成TEXT类型或采用16KB以上的建库模式加以解决。

　　（3）注意表的定义信息，主要是关注自定义的数据类型、自定义的缺省值。如Oracle数据库可使用create type的语句创建自定义的数据类型和自定义的缺省值，而使用国产数据库（如达梦）的DTS工具无法将这些信息转换出来，需要在原系统中查找。

　　（4）原Oracle数据库中是否使用到了视图、存储过程、存储函数、触发器、序列等；如果没有使用到这些，则比较简单，主要进行纯数据的迁移；如果用到了这些，且数量较多，则数据迁移工作将主要是脚本的迁移转换工作。

　　（5）原Oracle数据库是否用到了系统字典，因各数据库的系统字典格式和内容均不一样，这时候需要分析原数据库的系统字典的涵义，再根据使用的实际情况作相应的手工处理。

　　（6）是否有其它的特别的要求，如安全控制、双机热备、数据同步等，如果有这些要求，这些要求也要加到数据迁移工作的重点和难点中。

　　3.2 数据迁移的策略和方法

　　数据迁移的方法主要有三种， 一种系统升级前通过手工的方式录入， 另外一种是系统升级前通过工具进行迁移， 最后一种是系统升级完成后， 在新系统中生成所要的数据。目前， 最主要的数据迁移方式还是通过工具进行数据迁移， 通过计算机工具来对数据进行清洗和规范化， 同时搭配另外两种方式进行处理， 大量数据通过工具迁移， 少量数据通过手工和系统生成， 这样即可以保证数据迁移的效率， 同时又保证了数据迁移的质量。

　　Oracle数据库向国产数据库的数据迁移工作主要是脚本的移植和纯数据的迁移工作。一般采用的顺序是先进性脚本的移植，再进行纯数据的迁移，这样做的好处主要有几点：1） 整理好脚本之后，便于快速搭建移植环境；2） 有了脚本文件，能够对系统有一个整体的了解，便于对系统的把握；3） 容易进行相应的特殊处理，如缺省值、类型、主键、外键等的处理；4） 便于存储模块的移植；5） 便于优化系统等。

　　3.3 数据迁移工具的准备

　　数据迁移的工作原本就具有复杂、工作量大的特点，尤其是面对大规模的Oracle数据向国产数据库迁移，难度更大。海量的数据靠人工执行各种各样的脚本来完成数据迁移是难以想象的，出错的风险非常高。同时当数据迁移出错时，查找问题变得非常困难。所以使用迁移工具来完成可以极大的降低风险，提高效率。目前主流的国产数据库都已经开发出各自的数据迁移工具，支持从Oracle迁移数据，包括表结构、数据、主键、外键、索引以及视图等的迁移，如达梦DM数据库DTS数据迁移工具，人大金仓的Kingbase数据库的JDTS迁移工具等。数据迁移工具必须具备完整性、可扩展性、可移植性、并发性的特点。但在使用迁移工具之前需测试工具是否满足项目要求，如一些国产数据库自带的迁移工具在处理大体量的数据时会出现数据丢失和效率低下的问题，这种情况可从第三方迁移工具中挑选合适的工具，合理有效地利用迁移工具可以事半功倍。

　　4 Oracle数据向国产数据库迁移迁移流程

　　大规模Oracle数据向国产数据库迁移的流程可分为三个阶段：准备阶段、转换阶段以及校验阶段，如图1所示。

　　4.1 准备阶段

　　首先搭建系统环境，包括原系统运行环境和新系统环境，便于后续开展迁移工作。其次，一方面对比新旧系统的数据库的表结构及数据字典，把Oracle数据库的数据与国产数据库系统数据作差异化分析，将它们之间的映射关系找出来， 并且制定新旧数据的转换规则；另一方面分析应用系统的数据库操作代码，根据数据库的差异调整代码。

　　4.2 转换阶段

　　Oracle数据库中的数据不是一提取出来就可以直接导入到国产数据库的， 而是需要一系列的变换、运算， 才能成为国产数据库中的数据。所以第二步根据提取出来的新旧系统映射关系， 利用数据迁移工具把Oracle数据经过数据抽取，多次转换之后，生成中间数据，同时移植应用系统到新的系统平台上。

　　4.3 校验阶段

　　在数据迁移完成后， 对数据的校验和测试分别从两个方面展开； 一是对迁移后数据库的校验， 主要包括完整性检查（ 检查外键约束是否存在） 、一致性检查（ 检查相同含义的数据在不同位置的值是否一致） 、记录条数检查（ 检查新旧数据库对应的记录条数是否一致） 、特殊样本数据的检查（ 检查同一样本在新旧数据库中是否一致） ；二是检查国产数据库系统运行是否正常，进行数据一致性测试、执行功能测试、性能测试、数据备份和恢复测试等。这两个方面校验的结果是判断国产数据库系统内能否正式启用的重要依据。

　　在应用系统迁移完成后，对应用系统的校验和测试同样从两个方面展开：一是对功能的校验，验证系统是否能正常运行，功能点是否都能实现，执行结果是否正确等；二是进行性能测试，找出运行缓慢的功能点，并进行针对性的优化处理。

　　5 数据迁移后的调优工作

　　5.1 数据迁移后的性能调优

　　对于数据迁移后查询效率变低的问题，需要对国产数据库系统做性能优化。可跟踪系统实际运行的SQL语句，分析SQL语句组成、功能和相关的表，建立合适的索引一般能解决性能问题；如有必要，也可采用改写等价SQL语句的方法进行。SQL优化主要包括几个方面：（1）在合适的地方建立适当的索引；（2）IN，NOT IN， 等操作符的转换；（3）OR的优化；（4）IN到EXISTS的转换；（5）只查询用的列等。

　　5.2 数据迁移后的系统调优

　　在数据成功迁移后，为保证国产数据库能平稳运行，还应该对其进行系统测试，测试内容至少包括数据库系统可用性测试，数据库系统综合压力测试，数据库系统性能测试，数据库系统健壮性测试。在投入运行前应进行一定周期的模拟运行和试运行，并建立相关的测试报告。根据系统测试报告，对国产数据库硬件的配置和各种数据库参数的配置进行优化，这也是影响国产数据库性能的重要源头之一。

　　国产数据库的硬件配置调优，主要包括CPU、内存、I/O的配置，需要根据运行状况提高配置或者优化资源分配。对国产数据库参数的调优，主要包括数据缓冲区、共享池、日志缓冲区、数据库块大小等参数，需要根据处理事务的类型调整各参数大小，以提高运行速度。

　　6 结束语

　　大规模Oracle数据向国产数据库迁移是各很复杂的过程，需要人、技术、管理的协调合作，涉及到数据、流程、数据库等很多内容的变更，要求数据迁移人员在技术上对Oracle和国产数据库都要精通。目前国产数据库替换Oracle数据库是当前信息安全的必然要求，研究大规模Oracle数据向国产数据库迁移是促进国产数据库软件行业以及相关产业链发展的一个基础。

　　[1] 邓明翥。Oracle数据库安全综述[EB/OL]。http：//。2007-06-10.

　　[2] 赵永升，唐新亭。国产数据库技术发展研究[J]。福建电脑，2006，（3）。

　　[3] 李冬梅。信息系统升级后的数据迁移研究[J]。现代商贸工业，2010-06-01.

　　[4] 廉小伟。GBase数据迁移工具的设计和实现[D]。吉林：吉林大学，2006.

　　[5] 赵钦，周丹。政府办公自动化信息系统数据迁移解决方案[J]。广西科学院学报，2008，（24）。

　　[6] 沈柳法。交通办公自动系统中的数据迁移研究[J]。硅谷，2009，（19）。

　　基金项目：

　　基于安全可靠基础软硬件的事务处理应用研究与示范工程国家重大科技专项经费资助；核高基重大专项（2013ZX01045-002-002）。

　　作者简介：

　　孙玉锋（1984-），男，江苏南京人，南京工业大学，本科，江苏擎天信息科技有限公司，产品总监/系统架构师，中级职称；主要研究方向和关注领域：政府信息化、大数据、信息安全。

　　李波（1989-），男，江苏江都人，河海大学，本科，江苏擎天信息科技有限公司，高级咨询顾问/信息系统项目管理师；主要研究方向和关注领域：政府信息化、国产基础软硬件。

大数据技术篇8

　　关键词：云环境；大数据；关键技术；节能技术；数据容错技术

　　当今世界，计算机和信息技术迅猛发展。云计算和大数据逐渐渗透到人们的日常生活和学习当中，为人们生活和工作提供便利。同时，为促进其作用有效发挥，应该把握大数据的关键技术，促进技术水平提高，促进其作用有效发挥，更好满足人们生活和工作需要，让云计算和大数据技术有效服务于人们的生活与工作。

　　1.云环境下大数据关键技术的作用

　　技g需求是大数据关键技术开发和应用首先需要明白的内容，对后续技术开发和具体应用发挥指导作用。具体是指对云环境下大数据技术在性能、功能、设计等方面的期望。需求分析的目的是阐述大数据技术的目的及意义，为大数据技术作用的发挥和有效应用提供指导。

　　1.1为大数据技术的应用创造条件

　　计算机和大数据技术在应用中，不仅推动信息技术的现代化，还能提升技术管理水平。尤其是在数据应用和处理工作中，更需要开发相应的技术系统，把握大数据的关键技术，顺应这种趋势，对大数据进行有效处理，促进工作水平提高。同时在技术开发和应用过程中，还要考虑技术的可扩展性以及与其他技术的兼容性，为技术升级和更新创造良好条件。大数据关键技术应用中，应该进行综合全面考虑，应用信息技术和互联网技术，进行技术管理、系统管理、用户管理等各项功能操作，为大数据的有效利用，作用的充分发挥创造条件。

　　1.2促进大数据技术管理水平提高和作用的有效发挥

　　总的来说，云环境下，大数据处理流程如图1所示，其关键技术具备以下几项功能：满足技术更新和升级需要，注意技术研发和创新，大数据技术具备让管理员与用户互动的功能，采用科学管理模式促进技术管理效率提高，大数据技术满足系统开发，技术创新和发展的需要。在具备这些功能的前提下，合理进行云环境下的信息系统设计，促进大数据技术管理水平提高，为大数据技术水平提升和作用的充分发挥创造便利。

　　2.云环境下大数据关键技术的类型

　　云环境下，大数据技术的类型更加丰富，作用更为明显，能有效满足系统运行需要，为人们生活和工作提供便利。具体来说，大数据关键技术包括以下几种类型。

　　2.1JSP技术

　　大数据和云环境的具体应用中，为保证数据安全可靠，应该注重先进技术的应用，为人们使用计算机构建先进、安全、可靠的工作平台。同时也方便信息资料查阅，满足人们使用信息资源的需要。同时，在云环境大数据支持下，能够加快设备运行速度，方便信息资料查询，让使用计算机的工作流程得到简化，有利于提升工作效率。云环境下，JSP技术的组件性能较高，技术难度低，方便信息资料的使用和维护。并且系统的独立性强度，具有兼容性特征，能够重复使用，操作起来简单方便，具有良好的兼容性，可以有效满足大数据运行需要，为各项活动开展创造条件。具体工作中，JSP技术向客户端发出请求，并在服务器支持下转换和编译，高效处理发出的请求，满足人们使用的需要。

　　2.2Java Bean技术

　　JavaBean技术是一段Java小程序，利用Java语言编写，结构简单，使用方便，在系统运行中发挥积极作用，它的主要构成内容包括属性、事件、方法。每个JavaBean技术可以实现一个较为独特的功能，通过对该技术的组合和应用，可以生成新的应用程序，为人们使用计算机创造条件。JavaBean还能实现一次性编写，使用简单，操作方便，不受时间和地点束缚，为云环境下使用该技术提供便利。

　　2.3JDBC技术

　　具体是指Java数据库连接技术，主要构成内容包括接口和类，采用的是Java语言进行编写，可用于执行SQL语句。具体的程序开发和应用中，利用Java语言就可以完成数据库应用程序的编写任务。大数据环境下，JDBC技术具有重要作用，可以建立与数据库之间的密切联系，方便数据库信息传递和使用，并有效处理数据库的返回结果。通过JDBC技术的应用，能提高系统性能，确保工作平台有效开展各项活动，节约技术运行时间，提高设备综合性能，让数据库有效发挥作用。

　　2.4SQL Server数据库

　　SQL Server数据库也是大数据环境下重要的技术类型，它不仅能存储大量数据，还方便数据资料查询，满足用户使用信息资源需要，进而提高数据处理效率，确保信息技术处理效果。具体来说，云环境下，SQL Server数据库的综合性能高，系统管理工作水平高，具备强大的数据信息处理能力，能够保证数据安全，并具有强大的数据复制和管理功能。有利于提供良好的平台开发条件，方便用户操作，促进数据处理水平提升。

　　2.5节能技术

　　云环境下，节能技术扮演着十分重要的角色。它包括硬件和软件两个组成部分，硬件部分通过节能体系与节能结构来实现，软件部分通过节点动态运作方式来实现。通过该技术的应用，能有效降低云环境的能耗。

　　2.6数据容错技术

　　该技术的应用能提高大数据信息的可靠性，利用多样数据丢失后可以方便找回的特征，进而对数据进行处理。但该技术可能加大系统能耗，需要利用复制容错技术和纠删码容错技术（如图2所示）恢复和改进。

　　2.7云存储技术

　　云存储技术也是非常关键的内容，主要包括存储虚拟化技术、重复数据删除技术、分布式存储技术、数据备份技术、存储加密技术等。

　　3.云环境下大数据关键技术的保障措施

　　云环境下，为确保大数据关键技术作用的有效发挥，应该提供相应的保障措施，创造良好的硬件和系统运行环境，并加强大数据的安全管理工作。

　　3.1合理配置硬件运行环境

　　包括服务器和PC客户端，服务器由文件、数据、应用程序服务器组成。最好采用3T以上硬盘，4G内存，Core双核四线程以上处理器，选用DELL、HPJBM任意一款服务器即可，采用四核CPU、32G内存、500G硬盘，可以同时支持几百台PC机访问。PC客户端最低标准为Intel Celeron处理系统、512M内存、160G硬盘。通过保证硬件环境，满足云环境和大数据运行需要，为促进大数据技术作用的有效发挥奠定基础。

　　3.2确保系统运行环境良好

　　大数据运行环境方面，系统在Windows平台上运行，只需Windows Server2000～2003以上的操作系统即可，客户端在Win―dows XP上运行。并对开发工具进行有效利用与整合，既满足大数据运行需要，还能提高运行效率，方便大数据系统以后的更新和升级，也便利系统功能的拓展与完善。在大数据运行环境方面，选用SQL Server2000，同时还合理应用Aeeess，Oracle，Sybose，SQL Server等，以M足系统开发需要，完善数系统功能，提高大数据工作效率。一般而言，系统运行和开发环境为：Windows 2003 Advanced Server/XP+Tomcat 6.x，主要工具为Drearnweaver&O，MyEclipe&5，同时还根据系统设计需要合理采用Tomcat6.0，SOL Server 2000，Windows XP操作系统。这样既满足大数据运行需要，还能完善系统设置，也为大数据更新和升级、功能进一步完善创造条件。

　　3.3采取相应的安全保障措施

　　一方面，为保障大数据的安全，与Internet连接设置防护墙技术，进行用户权限设置，设置安全密码，安装防病毒软件，去掉测试账号和共享账号。另一方面，为保障大数据的安全，严格限制管理权限和用户访问权限，使用安全的密码，设置强度高的密码，重视记录数据库日志的审核与管理。另外为保证权限级别安全，系统还给不同用户分配不同访问权限，禁止未注册用户访问，对用户名和密码进行校验和审核，防止非法访问，确保数据信息安全。建立并落实安全管理制度，加强云环境和大数据运行的管理，杜绝不法分子篡改数据，实现有效保障大数据安全的目的。

　　4.云环境下大数据关键技术面临的挑战及展望

　　由于管理措施不健全，一些工作人员的技术水平偏低，制约大数据关键技术作用的发挥，需要采取完善措施。

　　4.1面临的挑战

　　例如，网络发展滞后，加大数据处理难度。或者数据丢失，可能导致数据的真实性不足。此外，个性信息安全泄露也是需要解决的问题。

　　4.2展望

　　在数据存储位置对数据进行处理，做好数据评估和分析工作，从大量数据中精确定位，进而收集高质量的数据进行处理。注重数据资料收集，确保数据样本全面和真实，提高数据处理结果的可靠性。注重防护墙技术、密钥技术的应用，有效保障数据安全，避免个人信息泄露。

爱可网分享地址：http://www.ik35.com/wm/104908.html