1Password on Ubuntu

현재 1Password는 윈도우즈와 맥을 지원하고 있다. 하지만, 최근에 출시된 1Password X라는 웹 브라우저 확장 프로그램을 설치하면 브라우저 내에서 쉽게 사용할 수 있고, Nativefier를 사용해서 1Password 웹 앱을 데크스탑 앱처럼 사용할 수도 있다. 두 가지 방법 모두 알아보자. 1Password X (Browser Extension) For Chrome: Link For Firefox: Link 단순히 웹 브라우저에 설치한 뒤에 이메일과 계정키, 마스터 […]

MariaDB Median & Percentile

MariaDB에는 median window function이 있다. 해당 속성값 별로 중위값을 뽑기 위해 사용하는 함수인데, window function의 특성상 모든 row에 대해 median을 구하는 특징이 있다. PARTITION BY column_name으로 나눠진 그룹 내에서 중위값을 구해주는 느낌인데, 자세한 예제는 위 링크를 참조하면 대충 감이 올 듯. 문서에 쓰여있기로, median은 percentile_cont의 specific case라고 소개하고 있다. 그래서 percentile_cont를 찾아봤다. 중위값이라는 것은 distinct […]

Spark DF Load Error with MariaDB Connector

연구실에서 이것 저것 크롤링해놓은 것(주로 공공데이터)을 MariaDB에 해놓았다. 이제 MariaDB로부터 데이터를 불러와서 분석하려고  Zeppelin에서 MariaDB connector jar를 로드한 뒤에 DataFrame으로 테이블을 가져오려니 int column를 가져올 때 너무 큰 값을 가져오고 있다면서 connection이 죽어버리는 문제가 발생했다. (value i is not in Integer range) 구글링으로 MariaDB Jira에서 관련 이슈를 찾아냈고, 해결됐다고 생각하면 다시 부활하는 이상한 버그인 것 같았다. […]