ITeye博客

x10232的博客

x10232 · 共 37 篇文章

数据库范式(1NF,2NF,3NF,BCNF)

数据库的设计范式是数据库设计所需要满足的规范,满足这些规范的数据库是简洁的、结构明晰的,同时,不会发生插入(insert)、删除(delete)和更新(update)操作异常。反之则是乱七八糟,不仅给数据库的编程人员制造麻烦,而且面目可憎,可能存储了大量不需要的冗余信息。 范式说明 1.1 第一范式(1NF)无重复的列 所谓第一范式(1NF)是指数据库表的每一列都是不可分割的基本数据项,同一列中不能有多个值,即实体中的某个属性不能有多个值或者不能有重复的属性。如果出现重复的属性,就可能需要定义一个新的实体,新的实体由重复的属性构成,新实体与原实体之间为一对多关系。在第一范式(1NF)中表的每…

2017-02-21 08:54 · 数据库 · 评论(0)

impala学习总结

Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。那么Impala如何实现大数据的快速查询呢?在回答这个问题前,需要先介绍Google的Dremel系统,因为Impala最开始是参照 Dremel系统进行设计的。 一、Impala核心组件 图一:impala实例 Impala Daemon Impala的核心…

2016-12-19 19:08 · impala · 评论(1)

数据存储text转parquet及引发的OOM问题

1.数据转parquet的后效果 table1为textfile格式存储的表,分区20161122转换之前大小约400M,分别以parquet无压缩,parquet snappy压缩和parquet gzip压缩,转换到parquet格式的表table1_parquet的20161122,20161123,20161124三个分区。 (1)insert into table1_parquet partition (dt=20161122) select a,b,c from table1 where dt=20161122; (2)set parquet.compression=snappy…

2016-12-04 21:59 · spark · parquet · 评论(0)

解压parquet格式文件到text

方法一:spark python实现 import sys from pyspark import SparkConf, SparkContext from pyspark.sql import SQLContext inputpath=sys.argv[1] outputpath=sys.argv[2] sc = SparkContext(appName="Transform Pq to Csv") sqlContext = SQLContext(sc) df = sqlContext.read.parquet(inputpath) df.select('*').save(outputpa…

2016-11-15 13:30 · parquet · 评论(0)

Hive中小表与大表关联(join)的性能分析

经常看到一些Hive优化的建议中说当小表与大表做关联时,把小表写在前面,这样可以使Hive的关联速度更快,提到的原因都是说因为小表可以先放到内存中,然后大表的每条记录再去内存中检测,最终完成关联查询。这样的原因看似合理,但是仔细推敲,又站不住脚跟。 多小的表算小表?如果所谓的小表在内存中放不下怎么办?我用2个只有几条记录的表做关联查询,这应该算是小表了,在查看reduce的执行日志时依然是有写磁盘的操作的。实际上reduce在接收全部map的输出后一定会有一个排序所有键值对并合并写入磁盘文件的操作。写入磁盘(spill)有可能是多次的,因此有可能会生成多个临时文件,但是最终都要合并成一个文件…

2016-10-26 14:13 · hive · 评论(0)

Hive Map Side Join解析

通常 Hadoop 在做join策略的时候会有两种方式map-side join(也叫replication join)和reduce-side join(也叫repartition join或者common join) 1. reduce side join 利用了mapreduce框架的sort-merge机制来使得相同key的数据聚合在一起,在map阶段会分别读取输入dataset,然后根据join key来分发每条记录(其他值包装在value中),在reduce阶段读取所有同一个join key对应的所有记录后,就可以做笛卡尔积,然后将结果再emit出去。 2. map side j…

2016-10-26 14:08 · hive · 评论(0)

hive in/not in替换以及hive join优化

目前hive不支持 in或not in 中包含查询子句的语法,所以只能通过left join实现。 假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户,字段只有一个uid),这两个表都包含一个字段,uid。 in查询 如果要查询当天登陆的注册用户,需要用in查询,hive sql如下: select login.uid from login left outer join regusers on login.uid=regusers.uid where regusers.uid is not null 如果login表和regusers…

2016-10-26 13:31 · hive · 评论(0)

hive严格模式

strict模式在下面三种情况下有限制: (1) partition表需要加上分区裁剪 (2) order by 只有一个reduce,需要加上limit (3) join时,如果只有一个reduce,笛卡尔积不支持。 补上几刀: 经试验hive 1.6严格模式开启之后,不支持一下两种查询 (1)in/not in子查询,使用left join 替换 (2)两个分区表关联,where 条件之后只能放主表的分区条件,不能将两个表的分区条件都放where之后 失败的:FROM table1 a LEFT JOIN table2 b on a.id=b.id WHERE b.dt = 201610…

2016-10-25 17:28 · hive · 评论(0)

spark命令行解析与找不到类scopt.OptionParser

问题一:解析spark-submit命令行参数的时候用到了第三方包scopt,该包需要引入 <dependency> <groupId>com.github.scopt</groupId> <artifactId>scopt_2.10</artifactId> <version>3.2.0</version> </dependency> ,引入之后直接使用idea打包(build-build artifacts-rebuild)报错:找不到类scopt.OptionParser 然后意识到是依赖没有打入包 重新配置file-project structure将所有包加入,重新打包,依然报同样…

2016-10-12 16:56 · spark · 评论(0)

数据分析笔记

(1)去除两个字段相同的重复的记录 delete from 表 a where exists (select 1 from 表 where 数据b=a.数据a and 数据a=a.数据b and 数据a<a.数据b) (2)行转列 姓名 课程 分数 ---------- ---------- ----------- 张三 语文 74 张三 数学 83 张三 物理 93 李四 语文 74 李四 数学 84 李四 物理 94 select姓名, max(case课程when'语文'then分数else0end)语文, max(case课程when'数学'then分数else0end)数学, ma…

2016-08-08 19:06 · 数据库 · 评论(0)

PostGre/GreenPlum中interval在循环中的使用

格式: select current_date, current_date + interval ' 2days'; 错误用法: select current_date, current_date + interval 2 || ' days'; 报错 select current_date, current_date + interval '2' || ' days'; 时间没变,还是当前时间 正确用法变形: select current_date, current_date + 2 * interval '1 days'; select current_date, current_dat…

2016-08-08 16:35 · 数据库 · 评论(0)

为什么要用存储过程

存储过程说白了就是一堆 SQL 的合并。中间加了点逻辑控制。 但是存储过程处理比较复杂的业务时比较实用。 比如说,一个复杂的数据操作。如果你在前台处理的话。可能会涉及到多次数据库连接。但如果你用存储过程的话。就只有一次。从响应时间上来说有优势。 也就是说存储过程可以给我们带来运行效率提高的好处。 另外,程序容易出现 BUG 不稳定,而存储过程,只要数据库不出现问题,基本上是不会出现什么问题的。也就是说从安全上讲,使用了存储过程的系统更加稳定。 数 据量小的,或者和钱没关系的项目不用存储过程也可以正常运作。mysql 的存储过程还有待实际测试。如果是正式项目,建议你用 sql server 或…

2016-07-19 16:33 · 数据库 · 评论(0)

Java实现几种常见排序方法

package test.sort; import java.util.Random; //Java实现的排序类 public class NumberSort { //私有构造方法,禁止实例化 private NumberSort() { super(); } //冒泡法排序 public static void bubbleSort(int[] numbers) { int temp; // 记录临时中间值 int size = numbers.length; // 数组大小 for (int i = 0; i < size - 1; i++) { for (int j = i + 1;…

2016-02-24 11:22 · Java · 评论(0)

SQL中存储过程和函数的区别

本质上没区别。只是函数有如:只能返回一个变量的限制。而存储过程可以返回多个。而函数是可以嵌入在sql中使用的,可以在select中调用,而存储过程不行。执行的本质都一样。 函数限制比较多,比如不能用临时表,只能用表变量.还有一些函数都不可用等等.而存储过程的限制相对就比较少 1. 一般来说,存储过程实现的功能要复杂一点,而函数的实现的功能针对性比较强。 2. 对于存储过程来说可以返回参数,而函数只能返回值或者表对象。 3. 存储过程一般是作为一个独立的部分来执行(EXEC执行),而函数可以作为查询语句的一个部分来调用(SELECT调用),由于函数可以返回一个表对象,因此它可以在查询语句中位于…

2015-09-28 15:56 · 数据库 · 评论(0)

使用 Hive 作为传统 ELT 工具的替代

Apache Hive 数据仓库软件有助于查询和管理位于分布式存储中的大型数据集。对于 ETL 而言,Hive 是一个强大的工具,而对于 Hadoop,它既是数据仓库,也是 Hadoop 的数据库。不过,相对于传统的数据库,它是相对缓慢的。它没有提供所有的 SQL 特性,甚至没有提供与传统的数据库相同的数据库特性。但它支持 SQL,它的确像一个数据库那样工作,它让更多的人(即使那些不是程序员的人)可以获得 Hadoop 技术。它提供了一种将非结构化和半结构化数据转化为基于模式的可用数据的方法。要建立一个主数据管理系统?您可以利用 Hive。要建立一个数据仓库?您也可以利用 Hive,但您需要…

2015-09-28 15:32 · hadoop · 评论(0)