舆情大数据分析-ods层建库、建表

建库

create database yuqing_ods;

建表

drop table yuqing_ods.t_weibo
create external table yuqing_ods.t_weibo(
    content string
)
partitioned by (`date` string)
location '/yuqing/ods/weibo'

上传文件

提示:此部分是用于测试,后面要替换成 Flume

将数据上传到 HDFS,在 linux 中执行下面语句:

hadoop fs -mkdir /yuqing/origin_data/2022-04-24
hadoop fs -put /program/weibo_20220424_2359.txt /yuqing/origin_data/2022-04-24

解释: 2022-04-24 是当前的日期,便于查找数据,以及导入到 Hive 分区表

导入数据

在 hive、dbever 中执行下面语句:

load data inpath '/yuqing/origin_data/2022-04-24/' into table yuqing_ods.t_weibo partition(`date`='2022-04-24');

查询数据

select * from yuqing_ods.t_weibo