《数据挖掘论文优秀4篇》

在现实的学习、工作中，许多人都写过论文吧，通过论文写作可以培养我们独立思考和创新的能力。你知道论文怎样写才规范吗？下面是小编辛苦为大家带来的数据挖掘论文优秀4篇，如果能帮助到您，小编的一切努力都是值得的。

数据挖掘论文 篇1

摘要：在电子商务中运用数据挖掘技术，对服务器上的日志数据、用户信息和访问链接信息进行数据挖掘，有效了解客户的购买欲望，从而调整电子商务平台，最终实现利益更大化。本文旨在了解电子商务中的数据源有哪些，发掘数据挖掘在电子商务中的具体作用，从而为数据挖掘的具体设计奠定基础。

关键词：数据挖掘电子商务数据源

一、电子商务中数据挖掘的数据源

1、服务器日志数据客户在访问网站时，就会在服务器上产生相应的服务器数据，这些文件主要是日志文件。而日志文件又可分为Ser-vicelogs、Errorlogs、Cookielogs。其中Servicelogs文件格式是最常用的标准公用日志文件格式，也是标准组合日志文件格式。标准公用日志文件的格式存储关于客户连接的物理信息。标准组合日志文件格式主要包含关于日志文件元信息的指令，如版本号，会话监控开始和结束的日期等。在日志文件中，Cookielogs日志文件是很重要的日志文件，是服务器为了自动追踪网站访问者，为单个客户浏览器生成日志[1]。

2、客户登记信息

客户登记信息是指客户通过Web页输入的、并提交给服务器的相关用户信息，这些信息通常是关于用户的常用特征。

在Web的数据挖掘中，客户登记信息需要和访问日志集成，以提高数据挖掘的准确度，使之能更进一步的了解客户。

3.web页面的超级链接

辅之以监视所有到达服务器的数据，提取其中的HTTP请求信息。此部分数据主要来自浏览者的点击流，用于考察用户的行为表现。网络底层信息监听过滤指监听整个网络的所有信息流量，并根据信息源主机、目标主机、服务协议端口等信息过滤掉垃圾数据，然后进行进一步的处理，如关键字的搜索等，最终将用户感兴趣的数据发送到给定的数据接受程序存储到数据库中进行分析统计。

二、Web数据挖掘在电子商务中的应用通过对数据源的原始积累、仔细分析，再利用数据发掘技术，最终达到为企业为用户服务的目的，而这些服务主要有以下几种。

1、改进站点设计，提高客户访问的兴趣对客户来说，传统客户与销售商之间的空间距离在电子商务中已经不存在了，在Internet上，每一个销售商对于客户来说都是一样的，那么如何使客户在自己的销售站点上驻留更长的时间，对销售商来说将是一个挑战。为了使客户在自己的网站上驻留更长的时间，就应该对客户的访问信息进行挖掘，通过挖掘就能知道客户的浏览行为，从而了解客户的兴趣及需求所在，并根据需求动态地调整页面，向客户展示一个特殊的页面，提供特有的一些商品信息和广告，以使客户能继续保持对访问站点的兴趣。

2、发现潜在客户

在对web的客户访问信息的挖掘中，利用分类技术可以在Internet上找到未来的潜在客户。获得这些潜在的客户通常的市场策略是：先对已经存在的访问者进行分类。对于一个新的访问者，通过在Web上的分类发现，识别出这个客户与已经分类的老客户的一些公共的描述，从而对这个新客户进行正确的归类。然后从它所属类判断这个新客户是否为潜在的购买者，决定是否要把这个新客户作为潜在的客户来对待。

客户的类型确定后，就可以对客户动态地展示Web页面，页面的内容取决于客户与销售商提供的产品和服务之间的关联。

对于一个新的客户，如果花了一段时间浏览市场站点，就可以把此客户作为潜在的客户并向这个客户展示一些特殊的页面内容。

3、个性化服务

根据网站用户的访问情况，为用户提供个性化信息服务，这是许多互联网应用，尤其是互联网信息服务或电子商务（网站）所追求的目标。根据用户的访问行为和档案向使用者进行动态的推荐，对许多应用都有很大的吸引力。Web日志挖掘是一个能够出色地完成这个目标的方式。通过Web数据挖掘，可以理解访问者的动态行为，据此优化电子商务网站的经营模式。通过把所掌握的大量客户分成不同的类，对不同类的客户提供个性化服务来提高客户的满意度，从而保住老客户；通过对具有相似浏览行为的客户进行分组，提取组中客户的共同特征，从而实现客户的聚类，这可以帮助电子商务企业更好地了解客户的兴趣、消费习惯和消费倾向，预测他们的需求，有针对性地向他们推荐特定的商品并实现交叉销售，可以提高交易成功率和交易量，提高营销效果。

例如全球最大中文购物网站淘宝网。当你购买一件商品后，淘宝网会自动提示你“购买过此商品的人也购买过……”类似的信息，这就是个性化服务的代表。

4、交易评价

现在几乎每一个电子商务网站都增加了交易评价功能，交易评价功能主要就是为了降低交易中的信息不对称问题。

电子商务交易平台设计了在线信誉评价系统，对买卖双方的交易历史及其评价进行记录。在声誉效应的影响下，卖家也更加重视买家的交易满意度，并且也形成了为获取好评减少差评而提高服务质量的良好风气。交易中的不满意（或者成为纠纷）是产生非好评（包括中评和差评）的直接原因。那么，交易中一般会产生哪些交易纠纷，这些交易纠纷的存在会如何影响交易评价结果，这些问题的解决对卖家的经营具有重要的指导价值。

总结

数据挖掘是当今世界研究的热门领域，其研究具有广阔的应用前景和巨大的现实意义。借助数据挖掘可以改进企业的电子商务平台，增加企业的经营业绩，拓宽企业的经营思路，最终提高企业的竞争力。

参考文献：

[1]。赵东东。电子商务中的web数据挖掘系统设计[J]。微计算机信息20xx,23（10-3）:168[2]。刘晔。Web数据挖掘在电子商务中的应用[J]。中国市场20xx,39（9）:178

数据挖掘论文 篇2

数据挖掘技术在金融业、医疗保健业、市场业、零售业和制造业等很多领域都得到了很好的应用。针对交通安全领域中交通事故数据利用率低的现状，可以通过数据挖掘对相关交通事故数据进行统计分析，从而发现其中的关联，这对提升交通安全水平具有非常重要的意义。

1数据挖掘技术概述

数据挖掘（DataMining）即对大量数据进行有效的分类统计，从而整理出有规律的、有价值的、潜在的未知信息。一般来讲，这些数据存在极大的随机性和不完全性，其包括各行各业各个方面的数据。数据挖掘是一个结合了数据库、人工智能、机器学习的学科，涉及统计数据和技术理论等领域。

2数据挖掘关联分析研究

关联分析作为数据挖掘中的重要组成部分，其主要作用就是通过数据之间的相互关联从而发现数据集中某种未知的联系。关联分析最初是在20世纪90年代初被提出来的，一直备受关注。已被广泛应用于各行各业，包括医疗体检、电子商务、商业金融等各个领域。关联规则的挖掘一般可分成两个步骤[1]：

（1）找出频繁项集，不小于最小支持度的项集；

（2）生成强关联规则，不小于最小置信度的关联规则。相对于生成强关联规则，找出频繁项集这一步比较麻烦。由R.Agrawal等人在1994年提出的Apriori算法是生成频繁项集的经典算法[2]。Apriori算法使用了Level-wise搜索的迭代方法，即用k-项集探索（k+1）-项集。Apriori算法在整体上可分为两个部分。

（1）发现频集。这个部分是最重要的，开销相继产生了各种各样的频集算法，专门用于发现频集，以降低其复杂度、提高发现频集的效率。

（2）利用所获得的频繁项集各种算法主要致力产生强关联规则。当然频集构成的联规则未必是强关联规则，还要检验构成的关联规则的支持度和支持度是否超过它们的阈值。Apriori算法找出频繁项集分为两步：连接和剪枝。

（1）连接。集合Lk-1为频繁k-1项集的集合，它通过与自身连接就可以生成候选k项集的集合，记作Ck。

（2）剪枝。频繁k项集的集合Lk是Ck的子集。剪枝首先利用Apriori算法的性质（频繁项集的所有非空子集都是频繁的，如果不满足这个条件，就从候选集合Ck中删除）对Ck进行压缩；然后，通过扫描所有的事务，确定压缩后Ck中的每个候选的支持度；最后与设定的最小支持度进行比较，如果支持度不小于最小支持度，则认为该候选项是频繁的。目前，在互联网技术及科学技术的快速发展下，人工智能、机器识别等技术兴起，关联分析也被越来越多应用其中，并在不断发展中提出了大量的改进算法。

3数据挖掘关联分析在道路交通事故原因分析当中的应用

近年来，我国越来越多的学者将数据挖掘关联分析应用于道路交通事故的研究中，主要是分析道路、车辆、行人以及环境等因素与交通事故之间的某种联系。Pande和Abdel-Aty[3]通过关联分析研究了美国佛罗里达州20xx年非交叉口发生的道路交通事故，重点分析了各个不同的影响因素与交通事故之间的内在联系，通过研究得出如下结论，道路照明条件不足是引发道路交通事故的主要因素，除此之外，还发现天气恶劣的环境下道路弯道的直线段也极易发生交通事故。Graves[4]利用数据挖掘技术中的关联规则对欧洲道路交通事故进行了分析，主要研究了交通事故与道路设施状况之间的关联，通过研究发现了易导致交通事故发生的各个道路设施状况因素，此研究为欧洲路面建设及投资提供了强大的决策支持。我国学者董立岩在研究道路交通事故数据的文献中，将粗糙集与关联分析进行了融合，提出了基于偏好信息的决策规则简约算法并将其应用其中，通过分析发现了道路交通事故的未知规律。王艳玲通过关联分析中的因子关联树模型重点分析了影响道路交通事故最重要的因子，发现在道路交通事故常见的诱因人、车、路及环境中对事故影响最大的因子是环境。许卉莹等利用关联分析、聚类分析以及决策树分析三种数据挖掘技术对道路交通事故数据进行分析，最终得出了科学的道路交通事故预防和交通安全管理决策依据。尚威等在研究中，对大量的道路交通数据进行了有效整合，并在此基础上按照交通事故相关因素的不同特点整理出与事故发生有关的字段数据，形成新的事故数据记录表，然后再根据多维关联规则对记录的相关数据进行分析，从而发现了事故诱导因素记录字段值和事故结果字段值组成的道路交通事故频繁字段的组合。张听等在充分掌握聚类数据挖掘理论与方法的基础上，提出了多目标聚类分析框架和一个启发式的聚类算法k-WANMI，并将其用在道路交通事故的聚类研究中对不同权重的属性进行了多目标分析。同样，许宏科也利用该方法对公路隧道交通流数据进行了聚类分析，其在研究中不仅明确了隧道交通流的峰值规律，而且还根据这种规律制订了隧道监控设备的不同控制方案，对提高隧道交通安全的水平做了极大的贡献。徐磊和方源敏在研究中，提出了由简化信息熵构造的改进C4.5决策树算法，并将其应用在交通事故数据的研究中，对交通数据进行了正确分类，发现了一些隐藏的规则和知识，为交通管理提供了依据。刘军、艾力斯木吐拉、马晓松运用多维关联规则分析交通事故记录，从而找到导致交通事故发生次数多的主要原因，并且指导相关部门作出相应的决策。杨希刚运用关联规则为现实中的交通事故的预防提供依据。吉林大学的吴昊等人，基于关联规则的理论基础，定义了公路交通事故属性模型，并结合改进后的Apriori算法，分析了交通事故历史数据信息，为有关单位和用户寻找道路黑点（即事故多发点）提供了技术支援和决策帮助。

4结语

通过数据挖掘中的关联分析方法虽然能够对道路交通事故的相关因素进行清晰的分析，但是目前在这一方面的研究仍有不足之处。因为关联分析在道路交通事故的研究中往往只能片面发现某一种或几种因素影响交通事故的规律，很难将所有影响因素结合起来进行全面系统的分析。然而道路交通事故的发生通常都是由相应因素导致，而后事故当事人意识到危险源的存在并采取措施，直到事故发生的连续过程，整体来看体现了时序性。也就是说，道路交通事故是受到一系列按照时间先后顺序排列的影响因素组合共同作用而发生的，从整体的角度出发研究事故发生机理更加科学。

参考文献

[1]杨秀萍。大数据下关联规则算法的改进及应用[J]。计算机与现代化，20xx(12):23-26.

[2]王云，苏勇。关联规则挖掘在道路交通事故分析中的应用[J]。科学技术与工程，20xx(7):1824-1827.

[3]徐磊，方源敏。基于决策树C4.5改进算法的交通数据挖掘[J]。微处理机，20xx,31(6):57-59.

[4]杨希刚。数据挖掘在交通事故中的应用[[J]。软件导刊，20xx,7(26):18-20.

数据挖掘论文 篇3

网络的发展带动了电子商务市场的繁华，大量的商品、信息在现有的网络平台上患上以交易，大大简化了传统的交易方式，节俭了时间，提高了效力，但电子市场繁华违后暗藏的问题，同样成为人们关注的焦点，凸起表现在海量信息的有效应用上，如何更为有效的管理应用潜伏信息，使他们的最大功效患上以施展，成为人们现在钻研的重点，数据发掘技术的发生，在必定程度上解决了这个问题，但它也存在着问题，需要不断改善。

数据发掘（Data Mining）就是从大量的、不完整的、有噪声的、隐约的、随机的原始数据中，提取隐含在其中的、人们事前不知道的、但又是潜伏有用的信息以及知识的进程。或者者说是从数据库中发现有用的知识（KDD），并进行数据分析、数据融会（Data Fusion）和决策支撑的进程。数据发掘是1门广义的交叉学科，它汇聚了不同领域的钻研者，特别是数据库、人工智能、数理统计、可视化、并行计算等方面的学者以及工程技术人员。

数据发掘技术在电子商务的利用

一 找到潜伏客户

在对于 Web 的客户走访信息的发掘中， 应用分类技术可以在Internet 上找到未来的潜伏客户。使用者可以先对于已经经存在的走访者依据其行动进行分类，并依此分析老客户的1些公共属性， 抉择他们分类的症结属性及互相间瓜葛。对于于1个新的走访者， 通过在Web 上的分类发现， 辨认出这个客户与已经经分类的老客户的1些公共的描写， 从而对于这个新客户进行正确的分类。然后从它的分类判断这个新客户是有益可图的客户群仍是无利可图的客户群，抉择是不是要把这个新客户作为潜伏的客户来对于待。客户的类型肯定后， 可以对于客户动态地展现 Web 页面， 页面的内容取决于客户与销售商提供的产品以及服务之间的关联。若为潜伏客户， 就能够向这个客户展现1些特殊的、个性化的页面内容。

二 实现客户驻留

在电子商务中， 传统客户与销售商之间的空间距离已经经不存在， 在 Internet 上， 每一1个销售商对于于客户来讲都是1样的， 那末使客户在自己的销售站点上驻留更长的时间， 对于销售商来讲则是1个挑战。为了使客户在自己的网站上驻留更长的时间， 就应当全面掌握客户的阅读行动， 知道客户的兴致及需求所在， 并依据需求动态地向客户做页面举荐， 调剂 Web 页面， 提供独有的1些商品信息以及广告， 以使客户满意， 从而延长客户在自己的网站上的驻留的时间。

三 改良站点的设计

数据发掘技术可提高站点的效力， Web 设计者再也不完整依托专家的定性指点来设计网站， 而是依据走访者的信息特征来修改以及设计网站结构以及外观。站点上页面内容的支配以及连接就如超级市场中物品的货架左右1样， 把拥有必定支撑度以及信任度的相干联的物品摆放在1起有助于销售。网站尽量做到让客户等闲地走访到想走访的页面， 给客户留下好的印象， 增添下次走访的机率。

四 进行市场预测

通过 Web 数据发掘， 企业可以分析顾客的将来行动， 容易评测市场投资回报率， 患上到可靠的市场反馈信息。不但大大降低公司的运营本钱， 而且便于经营决策的制订。

数据发掘在利用中面临的问题

一数据发掘分析变量的选择

数据发掘的基本问题就在于数据的数量以及维数，数据结构显的无比繁杂，数据分析变量即是在数据发掘中技术利用中发生的，选择适合的分析变量，将提高数据发掘的效力，尤其合用于电子商务中大量商品和用户信息的处理。

针对于这1问题，咱们完整可以用分类的法子，分析出不同信息的属性和呈现频率进而抽象出变量，运用到所选模型中，进行分析。

二数据抽取的法子的选择

数据抽取的目的是对于数据进行浓缩，给出它的紧凑描写，如乞降值、平均值、方差值、等统计值、或者者用直方图、饼状图等图形方式表示，更主要的是他从数据泛化的角度来讨论数据总结。数据泛化是1种把最原始、最基本的信息数据从低层次抽象到高层次上的进程。可采取多维数据分析法子以及面向属性的归纳法子。

在电子商务流动中，采取维数据分析法子进行数据抽取，他针对于的是电子商务流动中的客户数据仓库。在数据分析中时常要用到诸如乞降、共计、平均、最大、最小等汇集操作，这种操作的计算量尤其大，可把汇集操作结果预先计算并存储起来，以便用于决策支撑系统使用

三数据趋势的。预测

数据是海量的，那末数据中就会隐含必定的变化趋势，在电子商务中对于数据趋势的预测尤为首要，尤其是对于客户信息和商品信息公道的预测，有益于企业有效的决策，取得更多地利润。但如何对于这1趋势做出公道的预测，现在尚无统1标准可寻，而且在进行数据发掘进程中大量数据构成文本后格式的非标准化，也给数据的有效发掘带来了难题。

针对于这1问题的发生，咱们在电子商务中可以利用聚类分析的法子，把拥有类似阅读模式的用户集中起来，对于其进行详细的分析，从而提供更合适、更令用户满意的服务。聚类分析法子的优势在于便于用户在查看日志时对于商品及客户信息有全面及清晰的把握，便于开发以及执行未来的市场战略，包含自动给1个特定的顾客聚类发送销售邮件，为1个顾客聚类动态地扭转1个特殊的站点等，这不管对于客户以及销售商来讲都是成心义。

四数据模型的可靠性

数据模型包含概念数据模型、逻辑数据模型、物理模型。数据发掘的模型目前也有多种，包含采集模型、处理模型及其他模型，但不管哪一种模型都不是很成熟存在缺点，对于数据模型不同采取不同的方式利用。可能发生不同的结果，乃至差异很大，因而这就触及到数据可靠性的问题。数据的可靠性对于于电子商务来讲尤为首要作用。

针对于这1问题，咱们要保障数据在发掘进程中的可靠性，保证它的准确性与实时性，进而使其在最后的结果中的准确度到达最高，同时在利用模型进程中要尽可能全面的分析问题，防止片面，而且分析结果要由多人进行评价，从而最大限度的保证数据的可靠性。

五数据发掘触及到数据的私有性以及安全性

大量的数据存在着私有性与安全性的问题，尤其是电子商务中的各种信息，这就给数据发掘造成为了必定的阻碍，如何解决这1问题成了技术在利用中的症结。

为此相干人员在进行数据发掘进程中必定要遵照职业道德，保障信息的秘要性。

六数据发掘结果的不肯定性

数据发掘结果拥有不肯定性的特征，由于发掘的目的不同所以最后发掘的结果自然也会千差万别，以因而这就需要咱们与所要发掘的目的相结合，做出公道判断，患上出企业所需要的信息，便于企业的决策选择。进而到达提高企业经济效益，取得更多利润的目的。

数据发掘可以发现1些潜伏的用户，对于于电子商务来讲是1个不可或者缺的技术支撑，数据发掘的胜利请求使用者对于指望解决问题的领域有深入的了解，数据发掘技术在必定程度上解决了电子商务信息不能有效应用的问题，但它在运用进程中呈现的问题也亟待人们去解决。相信数据发掘技术的改良将推动电子商务的深刻发展。

参考文献：

[一]胡迎松，宁海霞。 1种新型的Web发掘数据采集模型[J]。计算机工程与科学，二00七

[二] 章寒雁，杨瑞珍。数据发掘技术在电子商务中的钻研与利用[J]。计算机与网络，二00七

[三]董德民。 面向电子商务的Web使用发掘及其利用钻研[J]。中国管理信息化，二00六

[四] 尹中强。电子商务中的 Web 数据发掘技术利用[J]。计算机与信息技术，二00七

数据挖掘论文的参考文献 篇4

[1]刘莹。基于数据挖掘的商品销售预测分析[J].科技通报。2014（07）

[2]姜晓娟，郭一娜。基于改进聚类的电信客户流失预测分析[J].太原理工大学学报。2014（04）

[3]李欣海。随机森林模型在分类与回归分析中的应用[J].应用昆虫学报。2013（04）

[4]朱志勇，徐长梅，刘志兵，胡晨刚。基于贝叶斯网络的客户流失分析研究[J].计算机工程与科学。2013（03）

[5]翟健宏，李伟，葛瑞海，杨茹。基于聚类与贝叶斯分类器的网络节点分组算法及评价模型[J].电信科学。2013（02）

[6]王曼，施念，花琳琳，杨永利。成组删除法和多重填补法对随机缺失的二分类变量资料处理效果的比较[J].郑州大学学报（医学版）.2012（05）

[7]黄杰晟，曹永锋。挖掘类改进决策树[J].现代计算机（专业版）.2010（01）

[8]李净，张范，张智江。数据挖掘技术与电信客户分析[J].信息通信技术。2009（05）

[9]武晓岩，李康。基因表达数据判别分析的随机森林方法[J].中国卫生统计。2006（06）

[10]张璐。论信息与企业竞争力[J].现代情报。2003（01）

[11]杨毅超。基于Web数据挖掘的作物商务平台分析与研究[D].湖南农业大学2008

[12]徐进华。基于灰色系统理论的数据挖掘及其模型研究[D].北京交通大学2009

[13]俞驰。基于网络数据挖掘的客户获取系统研究[D].西安电子科技大学2009

[14]冯军。数据挖掘在自动外呼系统中的应用[D].北京邮电大学2009

[15]于宝华。基于数据挖掘的高考数据分析[D].天津大学2009

[16]王仁彦。数据挖掘与网站运营管理[D].华东师范大学2010

[17]彭智军。数据挖掘的若干新方法及其在我国证券市场中应用[D].重庆大学2005

[18]涂继亮。基于数据挖掘的智能客户关系管理系统研究[D].哈尔滨理工大学2005

[19]贾治国。数据挖掘在高考填报志愿上的应用[D].内蒙古大学2005

[20]马飞。基于数据挖掘的航运市场预测系统设计及研究[D].大连海事大学2006

[21]周霞。基于云计算的太阳风大数据挖掘分类算法的研究[D].成都理工大学2014

[22]阮伟玲。面向生鲜农产品溯源的基层数据库建设[D].成都理工大学2015

[23]明慧。复合材料加工工艺数据库构建及数据集成[D].大连理工大学2014

[24]陈鹏程。齿轮数控加工工艺数据库开发与数据挖掘研究[D].合肥工业大学2014

[25]岳雪。基于海量数据挖掘关联测度工具的设计[D].西安财经学院2014

[26]丁翔飞。基于组合变量与重叠区域的SVM—RFE方法研究[D].大连理工大学2014

[27]刘士佳。基于MapReduce框架的频繁项集挖掘算法研究[D].哈尔滨理工大学2015

[28]张晓东。全序模块模式下范式分解问题研究[D].哈尔滨理工大学2015

[29]尚丹丹。基于虚拟机的Hadoop分布式聚类挖掘方法研究与应用[D].哈尔滨理工大学2015

[30]王化楠。一种新的混合遗传的基因聚类方法[D].大连理工大学2014

拓展阅读

什么是大数据？

“大数据”到底有多大？根据研究机构统计，仅在2011年，全球数据增量就达到了1.8ZB(即1.8万亿GB)，相当于全世界每个人产生200GB以上的数据。这种增长趋势仍在加速，据保守预计，接下来几年中，数据将始终保持每年50%的增长速度。

纵观人类历史，每一次划时代的变革都是以新工具的出现和应用为标志的。蒸汽机把人们从农业时代带入了工业时代，计算机和互联网把人们从工业时代带入了信息时代，而如今大数据时代已经到来，它源自信息时代，又是信息时代全方位的深化应用与延伸。大数据时代的生产原材料是数据，生产工具则是大数据技术，是对信息时代所产生的海量数据的挖掘和分析，从而快速地获取有价值信息的技术和应用。

概括来讲，大数据有三个特征，可总结归纳为“3V”，即量(Volume)、类(Variety)、时(Velocity)。量，数据容量大，现在数据单位已经跃升至ZB级别。类，数据种类多，主要来自业务系统，例如社交网络、电子商务和物联网应用。时，处理速度快，时效性要求高，从传统的事务性数据到实时或准实时数据。

什么是数据挖掘？

数据挖掘，又称为知识发现(Knowledge Discovery)，是通过分析每个数据，从大量数据中寻找其规律的技术。知识发现过程通常由数据准备、规律寻找和规律表示3个阶段组成。数据准备是从数据中心存储的数据中选取所需数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含规律找出来；规律表示则是尽可能以用户可理解的方式(如可视化)将找出的规律表示出来。

“数据海量、信息缺乏”是相当多企业在数据大集中之后面临的尴尬问题。目前，大多数事物型数据库仅实现了数据录入、查询和统计等较低层次的功能，无法发现数据中存在的有用信息，更无法进一步通过数据分析发现更高的价值。如果能够对这些数据进行分析，探寻其数据模式及特征，进而发现某个客户、群体或组织的兴趣和行为规律，专业人员就可以预测到未来可能发生的变化趋势。这样的数据挖掘过程，将极大拓展企业核心竞争力。例如，在网上购物时遇到的提示“浏览了该商品的人还浏览了如下商品”，就是在对大量的购买者“行为轨迹”数据进行记录和挖掘分析的基础上，捕捉总结购买者共性习惯行为，并针对性地利用每一次购买机会而推出的销售策略。

数据挖掘在供电企业的应用前景

随着社会的进步和信息通信技术的发展，信息系统在各行业、各领域快速拓展。这些系统采集、处理、积累的数据越来越多，数据量增速越来越快，以至用“海量、爆炸性增长”等词汇已无法形容数据的增长速度。

2011年5月，全球知名咨询公司麦肯锡全球研究院发布了一份题为《大数据：创新、竞争和生产力的。下一个新领域》的报告。报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于大数据的运用预示着新一波生产率增长和消费者盈余浪潮的到来。2012年3月29日，美国政府在白宫网站上发布了《大数据研究和发展倡议》，表示将投资2亿美元启动“大数据研究和发展计划”，增强从大数据中分析萃取信息的能力。

在电力行业，坚强智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网生产、企业管理快速融合，信息通信系统已经成为智能电网的“中枢神经”，支撑新一代电网生产和管理发展。目前，国家电网公司已初步建成了国内领先、国际一流的信息集成平台。随着三地集中式数据中心的陆续投运，一级部署业务应用范围的拓展，结构化和非结构化数据中心的上线运行，电网业务数据从总量和种类上都已初具规模。随着后续智能电表的逐步普及，电网业务数据将从时效性层面进一步丰富和拓展。大数据的“量类时”特性，已在海量、实时的电网业务数据中进一步凸显，电力大数据分析迫在眉睫。

当前，电网业务数据大致分为三类：一是电力企业生产数据，如发电量、电压稳定性等方面的数据；二是电力企业运营数据，如交易电价、售电量、用电客户等方面的数据；三是电力企业管理数据，如ERP、一体化平台、协同办公等方面的数据。如能充分利用这些基于电网实际的数据，对其进行深入分析，便可以提供大量的高附加值服务。这些增值服务将有利于电网安全检测与控制(包括大灾难预警与处理、供电与电力调度决策支持和更准确的用电量预测)，客户用电行为分析与客户细分，电力企业精细化运营管理等等，实现更科学的需求侧管理。

例如，在电力营销环节，针对“大营销”体系建设，以客户和市场为导向，省级集中的95598客户服务、计量检定配送业务属地化管理的营销管理体系和24小时面向客户的营销服务系统，可通过数据分析改善服务模式，提高营销能力和服务质量；以分析型数据为基础，优化现有营销组织模式，科学配置计量、收费和服务资源，构建营销稽查数据监控分析模型；建立各种针对营销的系统性算法模型库，发现数据中存在的隐藏关系， 为各级决策者提供多维的、直观的、全面的、深入的分析预测性数据， 进而主动把握市场动态，采取适当的营销策略，获得更大的企业效益，更好地服务于社会和经济发展。此外，还可以考虑在电力生产环节，利用数据挖掘技术，在线计算输送功率极限，并考虑电压等因素对功率极限的影响，从而合理设置系统输出功率，有效平衡系统的安全性和经济性。

公司具备非常好的从数据运维角度实现更大程度信息、知识发现的条件和基础，完全可以立足数据运维服务，创造数据增值价值，提供并衍生多种服务。以数据中心为纽带，新型数据运维的成果将有可能作为一种新的消费形态与交付方式，给客户带来全新的使用体验，打破传统业务系统间各自为阵的局面，进一步推动电网生产和企业管理，从数据运维角度对企业生产经营、管理以及坚强智能电网建设提供更有力、更长远、更深入的支撑。

数据挖掘专业就业方向

1.数据挖掘主要是做算法还是做应用？分别都要求什么？

这个问题太笼统，基本上算法和应用是两个人来做的，可能是数据挖掘职位。做算法的比较少，也比较高级。

其实所谓做算法大多数时候都不是设计新的算法(这个可以写论文了)，更多的是技术选型，特征工程抽取，最多是实现一些已经有论文但是还没有开源模块的算法等，还是要求扎实的算法和数据结构功底，以及丰富的分布式计算的知识的，以及不错的英文阅读和写作能力。但即使是这样也是百里挑一的，很难找到。

绝大读书数据挖掘岗位都是做应用，数据清洗，用现成的库建模，如果你自己不往算法或者架构方面继续提升，和其他的开发岗位的性质基本没什么不同，只要会编程都是很容易入门的。

2.北上广以外的普通公司用的多吗？待遇如何？

实际情况不太清楚，由于数据挖掘和大数据这个概念太火了，肯定到处都有人招聘响应的岗位，但是二线城市可能仅仅是停留在概念上，很多实际的工作并没有接触到足够大的数据，都是生搬硬套框架(从我面试的人的工作经验上看即使是在北上广深这种情况也比较多见)。

只是在北上广深，可能接触到大数据的机会多一些。而且做数据挖掘现在热点的技术比如Python，Spark，Scala，R这些技术除了在一线城市之外基本上没有足够的市场(因为会的人太少了，二线城市的公司找不到掌握这些技术的人，不招也没人学)。

所以我推测二线城市最多的还是用JAVA+Hadoop，或者用JAVA写一些Spark程序。北上广深和二线城市程序员比待遇是欺负人，就不讨论了。

3.和前端后端程序员比有什么区别？有什么优缺点？

和传统的前后端程序员相比，最主要的去别就是对编程水平的要求。从我招聘的情况来看，做数据挖掘的人编程水平要求可以降低一个档次，甚至都不用掌握面向对象。

但是要求技术全面，编程、SQL，Linux，正则表达式，Hadoop，Spark，爬虫，机器学习模型等技术都要掌握一些。前后端可能是要求精深，数据挖掘更强调广博，有架构能力更好。

4.目前在学习机器学习，如果想找数据挖掘方面的工作应该学习哪些内容？

打基础是最重要的，学习一门数据挖掘常用的语言，比如Python，Scala，R;学习足够的Linux经验，能够通过awk，grep等Linux命令快速的处理文本文件。掌握SQL，MySQL或者PostgreSQL都是比较常用的关系型数据库，搞数据的别跟我说不会用数据库。

补充的一些技能，比如NoSQL的使用，Elasticsearch的使用，分词(jieba等模块的使用)，算法的数据结构的知识。

5.hadoop,hive之类的需要学习吗？

我觉得应当学习，首先Hadoop和Hive很简单(如果你用AWS的话你可以开一台EMR，上面直接就有Hadoop和Hive，可以直接从使用学起)。

我觉得如果不折腾安装和部署，还有Linux和MySQL的经验，只要半天到一天就能熟悉Hadoop和Hive的使用(当然你得有Linux和MySQL的基础，如果没有就先老老实实的学Linux和MySQL，这两个都可以在自己的PC上安装，自己折腾)。

Spark对很多人来说才是需要学习的，如果你有JAVA经验大可以从JAVA入门。如果没有那么还是建议从Scala入门，但是实际上如果没有JAVA经验，Scala入门也会有一定难度，但是可以慢慢补。

所以总的来说Spark才足够难，以至于需要学习。

最后的最后我有一些建议。第一要对自己有一个系统的认知，自己的编程水平够么，SQL会用么，Linux会用么，能流畅的看英文文档么？

如果上面任何一个问题的答案是No，我都不建议直接转行或者申请高级的数据挖掘职位(因为你很难找到一个正经的数据挖掘岗位，顶多是一些打擦边球的岗位，无论是实际干的工作还是未来的成长可能对你的帮助都不大)。

无论你现在是学生还是已经再做一些前段后端、运维之类的工作你都有足够的时间补齐这些基础知识。

补齐了这些知识之后，第一件事就是了解大数据生态，Hadoop生态圈，Spark生态圈，机器学习，深度学习(后两者需要高等数学和线性代数基础，如果你的大学专业学这些不要混)。