|
|
相关文章推荐
我在转义值内的分隔符时遇到了一个问题。我的代码读取一个PSV文件。最近，我在其中一个列值中获得了分隔符
|
(带有转义字符
\
)。由于此问题，记录将被删除。请看下面的问题。
记录
abcd|1234|222\|3344|count|33
abcd|1234|111\|5566|count|44
在这个文件中，分隔符是
|
，第三列的有效值分别是
222|3344
和
111|5566
。
我使用以下语法来读取该文件。
df_input=spark.read.format("csv").option("delimiter","|")..option("escape", "\\").load(var_files_path +"/*.psv" , schema=input_schema)```
When I read, a few records were skipped because of the delimiter inside the value. Can you please guide me to solve this issue. TIA.
2 个回答
高票数
最新
Jerry101
回答于2020-09-22 11:34
得票数
0
假设pyspark使用Python的
csv module
，那么默认的
quotechar
是
"
，它提供了有关Excel如何在csv中定义引用的线索:用引用字符将值字符串括起来。它不是为单个字符添加前缀的转义序列。
在Python控制台中尝试以下操作：
>>> import csv
>>> import io
>>> i = io.StringIO('abcd|1234|"222|3344"|count|33')
>>> r = csv.reader(i, delimiter='|')
>>> r.__next__()
['abcd', '1234', '222|3344', 'count', '33']
推荐文章