Categories: Data Engineering

Aws Glue Catalog/Crawler/Athena File Csv Kolom Tidak Terbaca Benar

Ketika mengimpor file csv (upload di s3, di index oleh glue crawler, dibaca oleh athena) kolom tidak terbaca benar, misal seperti ini

NamaNomor TelfonKota
HerbertAbdillah0812345678
Budi08222224424Depok

Solusinya adalah mengganti library serialization dari LazySimpleSerDe ke OpenCSVSerde.

https://stackoverflow.com/questions/57498330/specify-a-serde-serialization-lib-with-aws-glue-crawler

Kalau yang sudah terbiasa dengan hadoop mungkin tidak mengalami masalah tersebut, atau jika membaca dokumentasi di aws dengan lengkap pasti akan tau tanpa sulit mencari di google.

https://docs.aws.amazon.com/athena/latest/ug/csv-serde.html

Herbert Abdillah

Share
Published by
Herbert Abdillah

Recent Posts

Langchain JsonOutputParser Invalid json output Error

Sometimes json output from llm like this : {“key”: “value”}“` that langchain JsonOutputParser regex cant…

1 year ago

Ada Apa Didalam Sistem Operasi (Linux). Apa yang membedakan distribusi Linux seperti Ubuntu, Redhat, Alpine?

#include <stdio.h> int main() { FILE *f_ptr; char f_content[256]; char output[512]; f_ptr = fopen("/tmp/1337", "r");…

2 years ago

Convert OpenSSL 1 in Ruby Gem to OpenSSL 3

Version 3 have different interface Example: https://github.com/herbertabdillah/fabric-gateway-ruby/commit/c7377aaf2e62de1e2ac309965a09b5c7c72a2c7e

2 years ago

Catatan Belajar Ruby on Rails dari aliran Java dan Php

Telah di edit. Sumber Asli : https://twitter.com/nateberkopec/status/1250603032523370496/photo/1 Ruby on Rails merupakan framework web MVC menggunakan bahasa…

4 years ago

Deploy Spring Boot di Tomcat dan Berbagai Application Server Lain

Sebenernya spring boot sudah di embedd applicatoin server tomcat (hanya berisi web container, tidak bisa…

4 years ago

Mikrotik Custom DNS Record

// TODO IP -> DNS Static. Add New IP -> Firewall -> NAT. Klik Add New Action:…

4 years ago