博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark SQL将数据写入Mysql表的一些坑
阅读量:2396 次
发布时间:2019-05-10

本文共 1307 字,大约阅读时间需要 4 分钟。

   最近,在使用Spark SQL分析一些数据,要求将分析之后的结果数据存入到相应的MySQL表中。

    但是将数据处理完了之后,存入Mysql时,报错了:

    

   代码的基本形式为: 

[java] 
 
  1. val r1: Dataset[Row]  = data.groupBy(***)...  
  2.   
  3. r1.write.jdbc(url,"iptimecount",prop)  
    根据图片中的报错,搜索资料,得知是由于Spark SQL 中的Save Mode导致的,
中对Savemode进行了说明:

    

    默认情况下,使用SaveMode.ErrorIfExists,也就是说,当从Spark中插入到MySQL表中的时候,如果表已经存在,则直接报错,想想真觉得这默认值有点坑。

 于是修改Savemode,将代码改成:

   

[java] 
 
  1. r1.write.mode(SaveMode.Append).jdbc(url,"iptimecount",prop)  

   再次执行,本以为应该会顺利存入到数据库中了,没想到还是报错:


    看到这个错误,我有点茫然,不清楚是哪里的问题。

    后来,在一次测试中,将MySQL中将原来的表格删除后,再次提交任务,能顺利将数据存入到MySQL中,但是,使用desc查看表的结构,发现在Spark SQL中列类型为String类型的,在MySQL中对应为Text类型,于是我猜测应该是我之前创建的表格中,将列的类型定义为char和varchar导致的。

    于是,我删除表格,重新创建表格,将char和varchar类型改为Text,再次执行,顺利的将数据从Spark SQL中存入到了Mysql.

         另附一些注意事项:

数据存入Mysql注意事项
A. 尽量先设置好存储模式
默认为
SaveMode.ErrorIfExists
模式,该模式下,如果数据库中已经存在该表,则会直接报异常,导致数据不能存入数据库.另外三种模式如下:
SaveMode.Append 如果表已经存在,则追加在该表中;若该表不存在,则会先创建表,再插入数据;
SaveMode.Overwrite 重写模式,其实质是先将已有的表及其数据全都删除,再重新创建该表,最后插入新的数据;
SaveMode.Ignore 若表不存在,则创建表,并存入数据;在表存在的情况下,直接跳过数据的存储,不会报错。
B. 设置存储模式的步骤为:
org.apache.spark.sql.SaveMode
......
df.write.
mode(SaveMode.Append)
C. 若提前在数据库中手动创建表,需要注意
列名称和数据类型
下面的源码说明了,需要
保证Spark SQL中schema中的field name与Mysql中的列名称一致!
若提前手动创建Mysql表,需要注意Spark SQL 中Schema中的数据类型与Mysql中的数据类型的对应关系,如下图所示:
特别注意: Scala中的String类型,在MySQL中对应的是Text类型(经过亲自测试所知)
上面是本人在Spark SQL 读取与写入Mysql方面的遇到的一些坑,特在此备忘。
你可能感兴趣的文章
Zuul案例、常见使用方式
查看>>
SpringCloudConfig--ConfigServer从本地读取配置文件
查看>>
构建高可用的Config Server、使用Spring Cloud Bus刷新配置
查看>>
Nginx——重写与重定向
查看>>
Nginx——防盗链的配置
查看>>
TCP——粘包/拆包
查看>>
ChannelHandler和ChannelPipeline
查看>>
Netty——传输API
查看>>
Netty——ByteBuf的API
查看>>
Netty——ChannelHandler和ChannelPipeline
查看>>
Netty——ChannelHandlerContext
查看>>
Netty——EventLoop和线程模型
查看>>
Camera 图像处理原理分析- 色彩篇 二
查看>>
Camera 图像处理原理分析- 色彩篇 三
查看>>
Camera 图像处理原理分析- 亮度及曝光控制
查看>>
Camera 图像处理原理分析- 抗噪 变焦 频闪 等
查看>>
c语言核心技术 二
查看>>
udev文件系统的使用和基本工作原理分析
查看>>
快速理解Docker - 容器级虚拟化解决方案
查看>>
Memcached 及 Redis 架构分析和比较
查看>>