|
|
相关文章推荐
根据pyspark中的条件从dataframe中删除行
问
根据pyspark中的条件从dataframe中删除行
EN
Stack Overflow用户
提问于
2018-09-19 07:43:49
回答 4
查看 51.7K
关注 0
票数 12
我有一个包含两列的数据帧：
+--------+-----+
| col1| col2|
+--------+-----+
|22 | 12.2|
|1 | 2.1|
|5 | 52.1|
|2 | 62.9|
|77 | 33.3|我想创建一个新的dataframe，它将只接受以下行
“col1的值”>“col2的值”
请注意， col1具有long 类型，而 col2具有double 类型
结果应该是这样的：
+--------+----+
| col1|col2|
+--------+----+
|22 |12.2|
|77 |33.3|
EN
回答 4
Stack Overflow用户
回答已采纳
发布于 2018-09-19 16:06:10
另一种可能的方法是使用DF的
where
函数。
例如：
val output = df.where("col1>col2")
+----+----+
|col1|col2|
+----+----+
| 22|12.2|
| 77|33.3|
+----+----+
票数 7
EN
Stack Overflow用户
发布于 2018-09-19 21:21:43
我认为最好的方法是简单地使用"filter“。
df_filtered=df.filter(df.col1>df.col2)
df_filtered.show()
+--------+----+
推荐文章