Category: Development

Jupyter Lab에서 Spark 실행하기

Spark(스파크)로 개발을 하다보면 간단한 작업은 로컬에서 진행하고 싶은 경우가 있습니다. 겨우 이거 하나 하겠다고 Scala(스칼라)로 코드를 짜서 Jar를 만들고 스파크 클러스터에 작업을 제출하는 것은 너무나 불편하기만 합니다. 그래서 Jupyter Lab을 이용해서 간단한 스파크 코드를 작성하고 실행하는 과정을 소개하고자 합니다. 앞선

Continue reading

윈도우에서 Jupyter Lab 설치하고 Boto3 사용하기

Python으로 간단한 코드를 돌려보려고 하는데, IDE를 통채로 설치해서 사용하자니 너무 큰 작업이 되는 것 같고, 매번 IDE를 통해서 실행하는 것도 귀찮고 해서 Jupyter Lab을 설치하기로 결정하였습니다. IPython 스타일의 Jupyter Notebook이 기본 셋팅이지만 저는 Lab의 형태를 더 선호해서 일단 Jupyter Notebook을

Continue reading

EMR을 이용한 자동 Spark 배치 만들기

회사에서 많은 AWS 서비스를 사용해보면서 어느 날 번뜩 떠오른 아이디어가 있었습니다. 사실 전문가 분들은 이미 많이 사용하고 있는 것 같았지만 왠지 내가 대단한 발견이라도 한 것 같고 나름의 성취감도 있었지요. AWS의 EMR을 이용하여 Spark 배치 작업을 자동으로 실행하고 작업이 종료되면

Continue reading