大数据技术研究

大数据技术包括数据收集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现。1、数据收集：在大数据的生命周期中，数据采集处于第一个环节。根据MapRece产生数据的应用系统分类，大数据的采集主要有4种来源：管理信息系统、Web信息系统、物理信息系统、科学实验系统。2、数据存取：大数据的存去采用不同的技术路线，大致可以分为3类。第1类主要面对的是大规模的结构化数据。第2类主要面对的是半结构化和非结构化数据。第3类面对的是结构化和非结构化混合的大数据，3、基础架构：云存储、分布式文件存储等。4、数据处理：对于采集到的不同的数据集，可能存在不同的结构和模式，如文件、XML 树、关系表等，表现为数据的异构性。对多个异构的数据集，需要做进一步集成处理或整合处理，将来自不同数据集的数据收集、整理、清洗、转换后，生成到一个新的数据集，为后续查询和分析处理提供统一的数据视图。5、统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。6、数据挖掘：目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。7、模型预测：预测模型、机器学习、建模仿真。8、结果呈现：云计算、标签云、关系图等。

去百度文库，查看完整内容>内容来自用户:刘文娇数据科学与大数据技术专业申报体会与建设初探信息工程学院崔琳2017年7月提一级标题华黑/Arial黑色(0,0,0)16-20号纲一、时代机遇与挑战二、专业申报体会三、深度剖析专业人才培养方案A0A0A0四、初期建设所做的工作0F4B69FABE00一、时代机遇与挑战Nature2008年9月封面Science2011年2月封面主色系SwiffChart16进制编号CC00000F4B69一、时代机遇与挑战1.专业申办的必要性：国家战略2015年9月5日国务院发布了《促进大数据发展行动纲要》,系统部署了大数据发展工作。意味着中国大数据发展迎来主色系顶层设计，正式上升为国家战略。SwiffChart16进制编号CC00000F4B69一、时代机遇与挑战2.专业申办的必要性：人才需求2015年，LinkedIn通过分析全球超过3.3亿用户的工作经历和技能后，认为统计分析和数据挖掘位列最受雇主喜欢、最炙手可热的25项技能中的榜首。全球第一家信息技术研究和分析公司—盖特纳(Gartner)咨询公司预测2016年全球将新增440万个与大数据相关的工作岗位。SwiffChart16进制编号全球顶尖管理咨询公司麦肯锡(McKinsey)预计到2018年，大数据科学家的缺口在14-19万，大数据分析师和CC0000经理的岗位缺口则将达到150万。0F4B69一、时代机遇与挑战2.专业申办的必要性：人才需求全球最大中文IT社区CSDN预测未来3-5年，中国需求主色系大数据技术专业人才180万人，目前缺150万人

与传统的在线联机分析处理OLAP不同，对大数据的深度分析主要基于大规模的机器学习技术，一般而言，机器学习模型的训练过程可以归结为最优化定义于大规模训练数据上的目标函数并且通过一个循环迭代的算法实现。1、编程语言：Python/R2、数据库MySQL、MongoDB、Redis等3、数据分析工具讲解、数值计算包、Pandas与数据库... 等4、进阶：Matplotlib、时间序列分析/算法、机器学习... 等

从近两年大数据方向研究生的就业情况来看，大数据领域的岗位还是比较多的，尤其是大数据开发岗位，目前正逐渐从大数据平台开发向大数据应用开发领域覆盖，这也是大数据开始全面落地应用的必然结果。从2019年的秋招情况来看，大数据开发岗位的数量明显比较多，而且不仅需要研发型人才，也需要应用型人才，所以本科生的就业机会也比较多。当前大数据技术正处在落地应用的初期，所以此时人才招聘会更倾向于研发型人才，而且拥有研究生学历也更容易获得大厂的就业机会，所以对于当前大数据相关专业的大学生来说，如果想获得更强的岗位竞争力和的就业渠道，应该考虑读一下研究生。读研之后在岗位选择上可以重点考虑一下大数据平台开发，在5G通信的推动下，未来云计算会全面向PaaS和SaaS领域覆盖，这个过程会全面促进大数据平台的发展。另外，由于人工智能平台的陆续推出，对于大数据平台也是一种促进。相比于大数据应用开发岗位来说，大数据平台开发岗位不仅薪资待遇更高，职业生命周期也会更长，而且未来也可以获得的发展机会，也会更容易进入云计算、人工智能等领域发展。对于当前在读的本科生来说，如果不想读研，那么应该从以下三个方面来提升自身的就业竞争力：第一：提升程序设计能力。动手实践能力对于本科生的就业有非常直接的影响，尤其在当前大数据落地应用的初期，很多应用级岗位还没有得到释放，不少技术团队比较注重学生程序设计能力，所以具备扎实的程序设计基础还是比较重要的。第二：掌握一定的云计算知识。大数据本身与云计算的关系非常紧密，未来不论是从事大数据开发岗位还是大数据分析岗位，掌握一定的云计算知识都是很有必要的。掌握云计算知识不仅能够提升自身的工作效率，同时也会拓展自身的技术边界。第三：重视平台知识的积累。产业互联网时代是平台化时代，所以要想提升就业能力应该重视各种开发平台知识的积累，尤其是与行业领域结合比较紧密的开发平台。实际上，大数据和云计算本身就是平台，所以大数据专业的学生在学习平台开发时也会相对顺利一些。

大数据是信息技术与专业技术、信息技术产业与各行业领域紧密融合的典型领域，有着旺盛的应用需求、广阔的应用前景。为把握这一新兴领域带来的新机遇，需要不断跟踪研究大数据，不断提升对大数据的认知和理解，坚持技术创新与应用创新的协同共进，加快经济社会各领域的大数据开发与利用，推动国家、行业、企业对于数据的应用需求和应用水平进入新的阶段。

本科阶段，开设大数据专业的广东高校有北京师范大学-香港浸会大学联合国际学院、、佛山科学技术学院、广东白云学院、肇庆学院、汕头大学、广东工业大学、广州大学、韩山师范学院、广东财经大学、广东技术师范学院、广东科技学院、广州商学院、北京理工大学珠海学院、广东技术师范学院天河学院、广州大学华软软件学院等。大数据相关专业招收研究生的则有清华-伯克利深圳学院、中山大学（数据科学与计算机学院）等。

　　参考前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》显示，中国目前的大数据应用环境和技术相对于美国而言，在整体技术水平、应用环境、国民意识、商业环境、技术厂商、技术平台上面相差超过5年左右。在大数据应用的国家战略层面落后的也较多。　　目前了解到的信息是上海政府计划建设大数据产业园，通过政府自身投资来建立大数据平台，吸引中小企业将信息系统及数据放到政府主导的数据平台上，政府将利用此平台来挖掘数据信息，提供数据信息报告。另外一个大数据应用是地方政府请一些大数据公司来开发舆情检测系统，及时了解社会舆论。无论是大数据产业园还是舆情监控。我个人认为没有抓住大数据优势的核心，大数据产业园的管理机制和创新动力不足，无法发挥大数据计算的优势，反而浪费了大量的投资，效率较低。舆情监控本身就无法发挥大数据的商业应用优势，反而阻碍大数据产业的商业应用。我们应该提供大数据产业优惠政策，在资金、场地、税收、科研方面提供外部支持，让企业自身投入到大数据产业建设之中，从企业自身商业需求出发，投入资金来发展大数据产业。　　最后总结一下，大数据时代将会给人类社会带来巨大变化，它是一个好的工具，就像计算机一样，帮助人们提升社会生产效率，了解事物真相，认识客观规律。重要的大数据可以帮助政府和企业进行科学决策，降低决策风险，加快进入智慧社会。

大数据专业前景怎么样，细心看看近期的政策心里就有数了。今年3月份，教育部公布了第二批获准开设“数据科学与大数据技术”的高校名单，加上去年获批的北京大学、对外经济贸易大学、中南大学，一共35所高校获批该专业。今年开始，部分院校将招收第一届大数据专业本科生，开设数据科学与大数据技术本科专业 大都是重点大学。今年2月份，教育部发布《教育部高等教育司关于开展“新工科”研究与实践的通知》，随后“新工科”的讨论在高校里逐渐升温，培养“新工科”人才成为新的指导方向。其中新工科专业就包括数据科学与大数据技术、网络空间安全、物联网工程、飞行器制造工程等专业，国家重视对整个社会转型和经济升级需要的人才培养。考大数据研究生的话，北航在13年开了大数据技术与应用软件工程硕士的专业，是国内很早就开设大数据相关专业的高校。清华大学的数据科学研究院于2014年招收大数据专业的学生，复旦大学于2015年9月开设数据科学专业，贵州大学、华南理工、武汉大学、对外经贸大学这些学校与慧科集团合作共建了硕士层次的大数据技术应用专业，这些学校的大数据专业开设时间长比较成熟，这些高校可以考虑。本回答被网友采纳

分布式计算，非结构化数据库，分类、聚类等算法。大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示：企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。扩展资料：大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。参考资料来源：百度百科-大数据