-
HDFS 为什么在大数据领域经久不衰?
所属栏目:[大数据] 日期:2022-05-20 热度:142
HDFS 为何在大数据领域经久不衰? 1.概述 1.1 简介 Hadoop实现的一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 源自于Google的GFS论文,发表于2003年,HDFS是GFS的克隆版。 大数据中最宝贵、最难以代替的就是数据,一切都围绕数据。 HD[详细]
-
Java开发人员需要明白的地域分布数据库
所属栏目:[大数据] 日期:2022-05-20 热度:140
在过去的七年里,我一直在使用分布式系统、平台和数据库。早在2015年,许多架构师就开始使用分布式数据库扩展单个机器或服务器的边界。他们选择这样的数据库是因为它的水平可伸缩性,尽管它的性能依然只能与传统的单服务器数据库相媲美。 现在,随着云原生[详细]
-
Flink 在 B 站的多元化探索与践行
所属栏目:[大数据] 日期:2022-05-20 热度:93
本文整理自哔哩哔哩基础架构部资深研发工程师张杨在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括: 1.1 基础功能完善 在平台的基础功能方面,我们做了很多新的功能和优化。其中两个重点的是支持 Kafka 的动态 sink 和任务提交引擎的优化。[详细]
-
详解数据管理发展的五个阶层
所属栏目:[大数据] 日期:2022-05-19 热度:87
近年来现代化企业都在改革现有的数据管理体系,优化原有的基于策略定义的数据管理模型,逐渐开始使用基于数据使用行为的数据管理方式。以确保数据不仅可用,而且保持活性,从而始终让数据资产充分发挥本身价值。 从历史的视角看,数据管理是一个不断进化发[详细]
-
数据在网络中是怎样传输的
所属栏目:[大数据] 日期:2022-05-19 热度:121
整个请求交互过程分为了几个部分,首先最上层就是应用程序,接着往下是 Socket 库。 再下面就是操作系统的内部了,这里面就包括了协议栈,协议栈上半部分为 TCP 和 UDP ,它们都是负责数据的收发。 只是一个需要 连接,一个不需要连接可以直接收发数据,这两[详细]
-
区块链在 数据为王 的年代扮演了什么角色?
所属栏目:[大数据] 日期:2022-05-19 热度:122
在当今数据为王的时代,数据作为企业、组织、乃至国家的战略资产,其重要性不言而喻。今天老蔡想和大家一起探讨下以下几方面的问题:1. 数据管理的全生命周期;2. 传统数据治理的弊端;3. 当代信息技术间的相互关系;以及4. 最后抛出区块链技术在数据治理[详细]
-
行业大数据有什么安全风险
所属栏目:[大数据] 日期:2022-05-19 热度:192
网际空间安全面临的威胁越来越多样化。移动网络、云和虚拟化、物 联网、工控系统等技术领域的快速发展,使得保护对象和攻击路径都变得 更加复杂。而攻击来源也从早期的个人黑客变为犯罪团伙、政治势力、网 络部队等更严密的组织。甚至大数据技术本身也被攻[详细]
-
数据管理的现实和商业智能的将来
所属栏目:[大数据] 日期:2022-05-19 热度:82
无论企业在哪个行业工作,拥有多少员工,或者是否面向消费者、企业、私营部门或公共部门进行营销,都不再重要。无论来自哪里,数据和分析都是日常现实。大多数企业定期收到的数据量是天文数字。全球的IT部门都在努力实施工具和实践,对他们收到的信息进行[详细]
-
数据剖析的几个误区
所属栏目:[大数据] 日期:2022-05-19 热度:137
在IT领域,炒作越大,误解越多,数据分析也不例外。分析是当今信息技术最热门的方面之一,可以带来巨大的商业收益,但错误的观念可能会阻碍分析能力顺利和及时的流转,从而使商业用户和最终客户受益。当企业创建或扩大他们的分析战略时,以下是他们可能要[详细]
-
终于有人把元数据说明白了
所属栏目:[大数据] 日期:2022-05-19 热度:83
元数据管理工具是企业数据治理的重要抓手,它可以帮助企业解决数据查找难、理解难等问题,促进数据的集成和共享。 一、系统架构 从应用角度看,元数据管理平台可分为数据源层、元数据采集层、元数据管理层、元数据应用层四层架构,如图1所示。 1. 数据源层[详细]
-
谈谈大数据技术现状和分类
所属栏目:[大数据] 日期:2022-05-19 热度:126
随着社交媒体、物联网和多媒体应用等各种来源产生的海量数据的诞生,大数据已经成为一个重要的研究领域。大数据在许多决策和预测领域发挥了关键作用,如推荐系统、商业分析、医疗保[详细]
-
大数据在智慧城市建设中有什么应用
所属栏目:[大数据] 日期:2022-05-19 热度:89
智慧城市是以为民服务全程全时、城市治理高效有序、数据开放共融共享、经济发展绿色开源、网络空间安全清朗为主要目标,通过体系规划、信息主导、改革创新,推进新一代信息技术与城市现代化深度融合、迭代演进,实现国家与城市协调发展的新生态。 智慧能源[详细]
-
2022年企业需要关注的12项数据和分析趋向
所属栏目:[大数据] 日期:2022-05-19 热度:60
数据和分析领导者需要在自适应人工智能(AI)系统、数据共享和数据编织等趋势的基础上推动新增长、韧性和创新。 趋势一:自适应AI系统(Adaptive AI systems) 同时,构建和管理自适应AI系统需要采用AI工程实践。AI工程能够通过编排和优化应用来适应、抵御或吸[详细]
-
Gartner公布2022年数据分析十二大趋势
所属栏目:[大数据] 日期:2022-05-19 热度:98
关于数据的几项事实是:如今国内数据利用率仍然很低,企业数据孤岛问题显著,但数据分享成为更加主流的趋势,数据外泄的风险性愈发低于分享赢得的价值...... 对于企业来说,四种趋势和数据息息相关,发挥数据的潜在价值将带来新机会。 AI工程化是Gartner在[详细]
-
终于有人将数据 信息 知识讲明白了
所属栏目:[大数据] 日期:2022-05-19 热度:176
数据无处不在,只是它们没有实体。 过去,人们习惯把数字的组合称为数据。但在今天,这样的理解显然不够全面。那么是否可以把数字、字符、字母的集合称为数据?也不准确。 在今天大数据的语境中,数据是可以被记录和识别的一组有意义的符号,一般可通过原[详细]
-
数据映射优秀实践 类型 办法和工具的简要指南
所属栏目:[大数据] 日期:2022-05-19 热度:176
在任何应用程序集成、数据迁移以及一般的数据管理计划中,数据映射都是最关键的步骤之一。甚至可以这么认为:集成项目的成功在很大程度上取决于源数据到目标数据的正确映射。 本文将探讨有关数据映射的优秀实践,包括类型、常用方法以及一些有用的数据映射[详细]
-
数据即服务 供给即时数据的顶级供应商
所属栏目:[大数据] 日期:2022-05-19 热度:51
并非所有可能使企业受益的数据都可以通过内部方式轻松生成、清理和分析。数据即服务提供商则是可以为企业提供数据即用型数据使用的实体。 云计算提供商 所有主要的云计算公司都为其客户维护大量开放数据集。在许多情况下,数据是免费的,并作为使用本地计[详细]
-
调整数组元素顺序 你明白几分?
所属栏目:[大数据] 日期:2022-05-19 热度:139
有一个整数数组,我们想按照特定规则对数组中的元素进行排序,比如:数组中的所有奇数位于数组的前半部分。 实现思路 我们通过一个实例来分析下:假设有这样一个数组:[2, 4, 5, 6, 7, 8, 9, 11],将奇数移动到最前面后,就是:[11, 9, 5, 7, 6, 8, 4, 2][详细]
-
Spark SQL 字段血缘在 vivo 互联网的践行
所属栏目:[大数据] 日期:2022-05-19 热度:94
字段血缘是在表处理的过程中将字段的处理过程保留下来。为什么会需要字段血缘呢? 有了字段间的血缘关系,便可以知道数据的来源去处,以及字段之间的转换关系,这样对数据的质量,治理有很大的帮助。 Spark SQL 相对于 Hive 来说通常情况下效率会比较高,对[详细]
-
2022年企业必须关注的几个大数据应用战略
所属栏目:[大数据] 日期:2022-05-19 热度:155
大数据是一个通用术语,指的是结构化和非结构化数据集合,它们对于典型的数据处理工具和系统来说过于庞大和复杂,因此难以处理。预测分析、用户行为分析以及其他从大数据中提取价值的高级数据分析方法,通常由大数据解决方案提供支持,并且很少局限于特定[详细]
-
您是不是在楼宇安全中使用大数据?
所属栏目:[大数据] 日期:2022-05-19 热度:127
谈到大数据,物理安全有点姗姗来迟。企业已将各种数据源用于多种目的,例如向消费者进行营销(如谷歌、亚马逊和 Facebook)、提高运输效率(如包裹跟踪、航班调度和自动驾驶汽车),以及改善医疗保健服务(如、病历管理、人工智能辅助药物开发和患者健康风险评[详细]
-
数据分析和数据科学的几大不一样之处
所属栏目:[大数据] 日期:2022-05-19 热度:97
在大数据的世界里,您可能会经常听到两个词语:数据科学(Data Science)和数据分析(Data Analytics)。它们虽然从字面上有些相似,但是在大数据的背景下它们强调的是不同的能力和技能方面。下面,我将从职业决策与规划的角度,和您讨论两者之间的差异。 一、[详细]
-
一刻talk巅峰对话元年科技 大型企业数字化变型的思考
所属栏目:[大数据] 日期:2022-04-01 热度:159
十四五开局之年,在数字技术应用和新基建的支撑下,新一轮数字化高潮正在快速发展、全面发力。在此大背景下,元年科技出席由厦门市科学技术局支持,全球智客新知分享平台、中国领先的名人影响力媒体一刻talks主办的《巅峰对话|当独角兽遇见未来浪潮》活动[详细]
-
大数据在零售业的主要优势及4个真实的应用示例
所属栏目:[大数据] 日期:2022-04-01 热度:175
大数据将会成为零售行业未来的游戏规则改变者,并且已经产生了巨大的影响。 在新冠疫情蔓延期间,许多企业都开始实施数字化转型,零售行业也不例外。科技成为在竞争日益激烈的市场中取得成功的关键部分,其中包括大数据和分析。 大数据在零售业的应用可以[详细]
-
针对各领域的8个数据驱动的内容营销技巧
所属栏目:[大数据] 日期:2022-04-01 热度:186
事实表明,大数据为营销领域带来了一些显著的变化,并且在在线内容营销方面尤其具有影响力。 许多营销人员已经使用人工智能和数据分析来对各种市场活动进行更明智的洞察。数据分析工具对按点击付费(PPC)营销、媒体购买以及其他形式的付费流量特别有用。大[详细]