Spark DF Load Error with MariaDB Connector

연구실에서 이것 저것 크롤링해놓은 것(주로 공공데이터)을 MariaDB에 해놓았다. 이제 MariaDB로부터 데이터를 불러와서 분석하려고  Zeppelin에서 MariaDB connector jar를 로드한 뒤에 DataFrame으로 테이블을 가져오려니 int column를 가져올 때 너무 큰 값을 가져오고 있다면서 connection이 죽어버리는 문제가 발생했다. (value i is not in Integer range)

구글링으로 MariaDB Jira에서 관련 이슈를 찾아냈고, 해결됐다고 생각하면 다시 부활하는 이상한 버그인 것 같았다. 그래서 그냥 가볍게 MySQL Connector를 사용하니 간단하게 해결 (…) MariaDB Connector 자체의 문제인지, 아니면 Spark와의 궁합에서 뭔가 이상한 것인지 요상하다 싶다.

Leave a Reply