Categories: Data Engineering

Aws Glue Catalog/Crawler/Athena File Csv Kolom Tidak Terbaca Benar

Ketika mengimpor file csv (upload di s3, di index oleh glue crawler, dibaca oleh athena) kolom tidak terbaca benar, misal seperti ini

NamaNomor TelfonKota
HerbertAbdillah0812345678
Budi08222224424Depok

Solusinya adalah mengganti library serialization dari LazySimpleSerDe ke OpenCSVSerde.

https://stackoverflow.com/questions/57498330/specify-a-serde-serialization-lib-with-aws-glue-crawler

Kalau yang sudah terbiasa dengan hadoop mungkin tidak mengalami masalah tersebut, atau jika membaca dokumentasi di aws dengan lengkap pasti akan tau tanpa sulit mencari di google.

https://docs.aws.amazon.com/athena/latest/ug/csv-serde.html

Herbert Abdillah

Share
Published by
Herbert Abdillah

Recent Posts

Disk 1 tb sisa 100 gb

Berikut ini detail breakdown nya Docker

5 days ago

Langchain JsonOutputParser Invalid json output Error

Sometimes json output from llm like this : {"key": "value"}``` that langchain JsonOutputParser regex cant…

1 month ago

Tontonan Bagus

https://www.youtube.com/watch?v=ZAqIoDhornk (more…)

1 month ago

Ada Apa Didalam Sistem Operasi (Linux). Apa yang membedakan distribusi Linux seperti Ubuntu, Redhat, Alpine?

#include <stdio.h> int main() { FILE *f_ptr; char f_content[256]; char output[512]; f_ptr = fopen("/tmp/1337", "r");…

4 months ago

Convert OpenSSL 1 in Ruby Gem to OpenSSL 3

Version 3 have different interface Example: https://github.com/herbertabdillah/fabric-gateway-ruby/commit/c7377aaf2e62de1e2ac309965a09b5c7c72a2c7e (more…)

2 years ago

Catatan Belajar Ruby on Rails dari aliran Java dan Php

Telah di edit. Sumber Asli : https://twitter.com/nateberkopec/status/1250603032523370496/photo/1 Ruby on Rails merupakan framework web MVC menggunakan…

2 years ago