elecom

열별로 그룹화된 것을 색인으로 만들지 않고 그룹화하는 판다. 팬더 그룹 바이의 기본 동작은 열 단위의 그룹을 인덱스로 변환하여 데이터 프레임의 열 목록에서 제거하는 것입니다.예를 들어, 이 열이 있는 dataFrame이 있다고 가정합니다. col1|col2|col3|col4 열을 붙여 그룹을 적용하면.col2그리고.col3이쪽입니다. df.groupby(['col2','col3']).sum() 데이터 프레임df더 이상은 없습니다.['col2','col3']열 목록에결과 데이터 프레임의 인덱스로 자동 변환됩니다. 제 질문은 열에 그룹별로 그룹을 수행하면서도 그 열을 데이터 프레임에 유지할 수 있는 방법입니다.df.groupby(['col2','col3'], as_index=False).sum() 이를 위한..

Scala Spark에서 csv 파일을 데이터 프레임으로 읽는 동안 스키마 제공 csv 파일을 데이터 프레임으로 읽으려고 합니다.csv 파일을 알고 있기 때문에 데이터 프레임의 스키마가 무엇인지 알고 있습니다.또한 파일을 읽기 위해 스파크 csv 패키지를 사용하고 있습니다.아래와 같이 스키마를 지정하려고 합니다. val pagecount = sqlContext.read.format("csv") .option("delimiter"," ").option("quote","") .option("schema","project: string ,article: string ,requests: integer ,bytes_served: long") .load("dbfs:/databricks-datasets/wikiped..