我的数据框看起来像-
no city amount
1 Kenora 56%
2 Sudbury 23%
3 Kenora 71%
4 Sudbury 41%
5 Kenora 33%
6 Niagara 22%
7 Hamilton 88%
它由9200万条记录组成。我想让我的数据框看起来像-
no city amount new_city
1 Kenora 56% X
2 Niagara 23% X
3 Kenora 71% X
4 Sudbury 41% Sudbury
5 Ottawa 33% Ottawa
6 Niagara 22% X
7 Hamilton 88% Hamilton
使用python,我可以管理它(使用
np.where
),但在pyspark中得不到任何结果。有什么帮助吗?
到目前为止我已经做到了-
#create dictionary
city_dict = {'Kenora':'X','Niagara':'X'}
mapping_expr = create_map([lit(x) for x in chain(*city_dict .items())])
#lookup and replace
df= df.withColumn('new_city', mapping_expr[df['city']])
#But it gives me wrong results.
df.groupBy('new_city').count().show()
new_city count
X 2
null 3
为什么给我空值?
发布于 2019-06-26 22:04:00
问题是,对于
city_dict
中不包含的任何城市,
mapping_expr
都会返回
null
。一种快速的解决方法是,如果
city
返回
null
值,则使用
coalesce
返回
mapping_expr
:
from pyspark.sql.functions import coalesce
#lookup and replace
df1= df.withColumn('new_city', coalesce(mapping_expr[df['city']], df['city']))
df1.show()
#+---+--------+------+--------+
#| no| city|amount|new_city|
#+---+--------+------+--------+
#| 1| Kenora| 56%| X|
#| 2| Sudbury| 23%| Sudbury|
#| 3| Kenora| 71%| X|
#| 4| Sudbury| 41%| Sudbury|
#| 5| Kenora| 33%| X|
#| 6| Niagara| 22%| X|
#| 7|Hamilton| 88%|Hamilton|
#+---+--------+------+--------+
df1.groupBy('new_city').count().show()
#+--------+-----+
#|new_city|count|
#+--------+-----+
#| X| 4|
#|Hamilton| 1|
#| Sudbury| 2|
#+--------+-----+
但是,如果其中一个替换值为
null
,则上述方法将失败。
在这种情况下,一种更简单的替代方法可能是使用
pyspark.sql.DataFrame.replace()
首先,使用
withColumn
创建
new_city
,作为
city
列中的值的副本。
df.withColumn("new_city", df["city"])\
.replace(to_replace=city_dict.keys(), value=city_dict.values(), subset="new_city")\
.groupBy('new_city').count().show()
#+--------+-----+