本文介紹了使用 pySpark 將 DataFrame 寫入 mysql 表的處理方法，對(duì)大家解決問(wèn)題具有一定的參考價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)吧！
問(wèn)題描述
我正在嘗試將記錄插入到 MySql 表中.該表包含 id 和 name 作為列.
I am attempting to insert records into a MySql table. The table contains id and name as columns.
我在 pyspark shell 中執(zhí)行如下操作.
I am doing like below in a pyspark shell.
name = 'tester_1'
id = '103'
import pandas as pd
l = [id,name]
df = pd.DataFrame([l])
df.write.format('jdbc').options(
url='jdbc:mysql://localhost/database_name',
driver='com.mysql.jdbc.Driver',
dbtable='DestinationTableName',
user='your_user_name',
password='your_password').mode('append').save()
我收到以下屬性錯(cuò)誤
AttributeError: 'DataFrame' 對(duì)象沒(méi)有屬性 'write'
我做錯(cuò)了什么?從 pySpark
推薦答案
使用 Spark DataFrame 而不是 pandas'，因?yàn)?
.write僅適用于 Spark Dataframe
Use Spark DataFrame instead of pandas', as
.writeis available on Spark Dataframe only
所以最終的代碼可能是
data =['103', 'tester_1']
df = sc.parallelize(data).toDF(['id', 'name'])
df.write.format('jdbc').options(
url='jdbc:mysql://localhost/database_name',
driver='com.mysql.jdbc.Driver',
dbtable='DestinationTableName',
user='your_user_name',
password='your_password').mode('append').save()
這篇關(guān)于使用 pySpark 將 DataFrame 寫入 mysql 表的文章就介紹到這了，希望我們推薦的答案對(duì)大家有所幫助，也希望大家多多支持html5模板網(wǎng)！
【網(wǎng)站聲明】本站部分內(nèi)容來(lái)源于互聯(lián)網(wǎng),旨在幫助大家更快的解決問(wèn)題，如果有圖片或者內(nèi)容侵犯了您的權(quán)益，請(qǐng)聯(lián)系我們刪除處理，感謝您的支持！