互联网技术服务概况怎么写
cysgjj时间2024-05-26 03:30:04分类互联网技术浏览36
大数据究竟是什么？大数据有哪些技术呢？
我有幸做了有五六七八年的大数据吧，谈谈自己的看法。简单来说，就是现在各个app，网站产生的数据越来越多，越来越大，传统的数据库比如MySQL Oracle之类的，已经处理不过来了。所以就产生了大数据相关的技术来处理这些庞大的数据。
第一，首先要把这些大数据都可靠的存储起来，经过多年的发展，hdfs已经成了一个数据存储的标准。
第二，既然有了这么多的数据，我们可以开始基于这些数据做计算了，于是从最早的MapReduce到后来的hive，spark，都是做批处理的。
第三， 由于像hive这些基于MapReduce的引擎处理速度过慢，于是有了基于内存的olap查询引擎，比如impala，presto。
第四，由于批处理一般都是天级别或者小时级别的，为了更快的处理数据，于是有了spark streaming或者flink这样的流处理引擎。
第五，由于没有一个软件能覆盖住所有场景。所以针对不同的领域，有了一些特有的软件，来解决特定场景下的问题，比如基于时间序列的聚合分析查询数据库，inflexdb opentsdb等。***用预聚合数据以提高查询的druid或者kylin等，
第六，还有其他用于数据削峰和消费订阅的消息队列，比如kafka和其他各种mq
第七，还有一些其他的组件，比如用于***管理的yarn，协调一致性的zookeeper等。
第八，由于hdfs 处理小文件问题不太好，还有为了解决大数据update和insert等问题，引入了数据湖的概念，比如hudi，iceberg等等。
第九，业务方面，我们基于大数据做一些计算，给公司的运营提供数据支撑。做一些推荐，给用户做个性化推荐。机器学习，报警监控等等。
大数据技术可以定义为一种软件应用程序，旨在分析，处理和提取来自极其复杂的大型数据信息，而传统数据处理软件则无法处理。
我们需要大数据处理技术来分析大量实时数据，并提出预测和方案以减少未来的风险。
在类别中的大数据技术分为两大类型：
1.运营大数据技术
2.分析大数据技术
首先，运营大数据与我们生成的常规日常数据有关。这可能是在线交易，社交媒体或特定 组织的数据等。
运营大数据技术的一些示例如下：
·来自社交媒体网站（如微信，QQ等）的数据。
·任何跨国公司的员工详细信息。
这是我通常与想要了解大数据的人进行对话：
问：什么是大数据？
答：大数据是描述庞大数据的术语。
问：现在，大数据有多大？
答：如此庞大，以至于无法用常规工具处理？
问：通常的工具是什么意思？
答：普通文件系统，数据库等工具。
所有这些大数据工具都有一个共同的特性：分布式计算。
因此，大数据是一个通常只能通过分布式的工具才能解决的问题。我知道这些天，每个人都在尝试将他们的BI（商业情报）工具描绘成大数据工具，但不要被喧闹声所欺骗。
问：哪些典型的大数据问题？
近几年，大数据的概念逐渐深入人心，大数据的趋势越来越火爆。但是，大数据到底是个啥？怎么样才能玩好大数据呢？
大数据的基本含义就是海量数据，麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据***，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
数字经济的要素之一就是大数据***，现在大家聊得最多的大数据是基于已经存在的大数据的应用开发。
如今，大数据技术已应用在各行各业。小麦举个例子，讲述一下最贴近我们生活的民生服务是如何运用大数据。
最近电视新闻提及到的“一网统管”精准救助场景，传统的救助方式往往通过困难家庭[_a***_]、审核、审批等多项程序，遇到需要跨部门、跨层级、跨街区协调解决的个案，还需要召开各级协调会的形式协商解决。
现在通过“精准救助”的方式，民政部门在平时的摸排中了解情况，将相关信息录入到“一网统管”数据中心，再根据数据模型识别出需要协助的家庭，随后形成走访工单派发给社工对其进行帮扶，从而提升救助的效率，做到雪中送炭。
在数字化***改造之前，每个部门只掌握各自分管的数据，形成“信息孤岛”；有了大数据分析平台后，所有的数据信息，便打通了“任督二脉”。
***可以充分利用大数据技术打造“一网统管”精准救助场景，极大提升了社会救助的科学性和精准性，让城市变得更加温暖。
[免责声明]本文来源于网络，不代表本站立场，如转载内容涉及版权等问题，请联系邮箱:83115484@qq.com，我们会予以删除相关文章，保证您的权利。转载请注明出处：http://www.wnpsw.com/post/13750.html
