개발자의 원격 근무 2주 체험기

회사에서 재택 근무를 시작한지도 어언 1년 반이 지났습니다. 재택 근무 방식도 초기에는 주 2일 출근이었지만 지금은 완전 재택 혹은 원격 근무 형태를 취하고 있고, 개발자들 사이의 빠른 커뮤니케이션을 위해서 다양한 툴과 방법들을 도입하였습니다. 제가 근무하는 팀에서는 Gather Town을 살짝 맛보다가 현재는 Discord를 이용한 의사소통을 주로 하고 있습니다. 의외로 메타버스에서의 움직임은…

Continue reading 개발자의 원격 근무 2주 체험기

Docker로 손쉽게 Jupyter와 Spark 사용하기

이전에 윈도우(Windows) 10 환경에서 스파크(Spark)를 설치하는 방법에 대한 글을 작성한 적이 있었는데, 한 번 셋팅해놓고 잘 쓰다가 컴퓨터를 포맷한다거나 하면서 환경 구성이 바뀌면 여간 골치아픈 것이 아닙니다. 그래서 도커(Docker) 이미지를 이용해서 손쉽게 서버를 올렸다 내렸다 하면서 사용할 수 있는 환경 구축에 대해서 알아보고자 합니다. 도커 설치 아래의 주소로 가셔서 도커…

Continue reading Docker로 손쉽게 Jupyter와 Spark 사용하기

VS Code로 AWS SAM에 대한 Remote 컨테이너 개발 환경 구축하기

AWS SAM으로 서버리스 아키텍처를 개발, 관리 그리고 배포하고자 개발 환경을 구축하면서 좌충우돌 했던 많은 시도와 과정을 글로 정리해보고자 합니다. VS Code를 사용하게 된 이유는, Lambda 함수에서 Python을 사용하려고 하니까 별 다른 선택지가 없었기 때문입니다. AWS Toolkit 플러그인은 여러 IDE에 걸쳐서 존재하나, 일부 IDE에 대해서는 언어 제약이 있었습니다. 그런데, VS Code에서는…

Continue reading VS Code로 AWS SAM에 대한 Remote 컨테이너 개발 환경 구축하기

Spark에서 Window 함수의 다양한 이용

스파크(Spark)에서 데이터 프레임을 다루다 보면, 다양한 함수들이 요구됩니다. 기본 함수들은 직관적으로 새로운 값을 생성하는 것에 초점을 맞추고 있습니다. 그런데, 많은 경우에 데이터 비교를 위해서 현재 행을 이전 행과 비교하기를 원합니다. 혹은 특정 컬럼에 대해서 Partiton된 데이터를 구하고 싶기도 합니다. 이럴 때에 주로 사용하는 함수가 바로 Window 함수입니다. 스파크의 윈도우 함수는…

Continue reading Spark에서 Window 함수의 다양한 이용

Spark 작업 병렬로 처리하기

빅데이터 처리를 위해서 스파크(Spark)가 인기를 끈 이유는 대용량 데이터를 병렬로 처리할 수 있다는 것입니다. 그래서 스파크를 처음에 접했을 때는 모든 작업이 병렬로 처리된다는 생각을 하게 되고, 이 때문에 스파크는 항상 병렬 처리를 한다고 믿었습니다. 물론 이것은 사실입니다. 그런데, 아래와 같은 워크로드를 가지는 경우를 생각해 봅시다. 처음에는 하나의 노드에서만 처리하다가 중간에…

Continue reading Spark 작업 병렬로 처리하기

Oracle의 항상 무료 인스턴스 – 도전!

얼마 전에 오라클 클라우드에서 항상 무료 인스턴스를 무려 2개나 제공한다는 소식을 듣고, 언제 한 번 시도를 해봐야지 하고 있었습니다. 그리고 설 연휴를 이용하여 오라클 클라우드에 가입을 하고 항상 무료 인스턴스를 생성해볼 시간을 얻게 되었습니다. 홈페이지에 가보니까 정말로, 항상 무료 인스턴스를 2개나 제공한다고 되어 있습니다. 새로운 상시 무료서비스로 시간 제한 없이…

Continue reading Oracle의 항상 무료 인스턴스 – 도전!

Windows Terminal에 Git Bash 추가하기

Windows Terminal (윈도우 터미널)을 이용하다 보면 윈도우의 커맨드에 익숙하지 않아서 많은 작업을 하기가 어려운 경우가 종종 있을 겁니다. 리눅스에 익숙해지다 보니까 윈도우는 커맨드가 뭔지도 제대로 기억나지도 않고… 그래서 윈도우 터미널에 Git Bash를 추가해서 익숙한 리눅스 명령어를 이용할 수 있도록 해보겠습니다. 먼저 윈도우 터미널의 설정 화면으로 들어갑니다. 그러면 메모장이 열리는데, 중간…

Continue reading Windows Terminal에 Git Bash 추가하기

Windows Terminal 소개

윈도우에서 CMD는 아주 오래 전부터 사용되어 온 CLI 환경입니다. 그리고 이를 개선하고자 PowerShell이 등장을 했지요. 다만, 저처럼 주로 리눅스에서 작업하는 사람들에게 윈도우 CLI는 그다지 친숙한 환경은 아닙니다. 그리고 윈도우의 CMD나 PowerShell은 모양도 그다지 멋지지 않습니다. 게다가 탭 기능이 없어서 매번 새로운 창을 띄우려면 새로 실행해야 하는 불편함이 있었습니다. 이러한 불편함을…

Continue reading Windows Terminal 소개

Jupyter Lab에서 Spark 실행하기

스파크(Spark)로 개발을 하다보면 간단한 작업은 로컬에서 진행하고 싶은 경우가 있습니다. 겨우 이거 하나 하겠다고 스칼라(Scala)로 코드를 짜서 Jar를 만들고 스파크 클러스터에 작업을 제출하는 것은 너무나 불편하기만 합니다. 그래서 Jupyter Lab을 이용해서 간단한 스파크 코드를 작성하고 실행하는 과정을 소개하고자 합니다. 앞선 글에서 아나콘다를 이용해 Jupyter Lab은 설치를 했으므로 이 부분은 건너…

Continue reading Jupyter Lab에서 Spark 실행하기

윈도우에서 Jupyter Lab 설치하고 Boto3 사용하기

Python으로 간단한 코드를 돌려보려고 하는데, IDE를 통채로 설치해서 사용하자니 너무 큰 작업이 되는 것 같고, 매번 IDE를 통해서 실행하는 것도 귀찮고 해서 Jupyter Lab을 설치하기로 결정하였습니다. IPython 스타일의 Jupyter Notebook이 기본 셋팅이지만 저는 Lab의 형태를 더 선호해서 일단 Jupyter Notebook을 설치한 다음에 Lab으로 변경할 것입니다. 궁극적으로 이런 셋팅을 하는 이유는…

Continue reading 윈도우에서 Jupyter Lab 설치하고 Boto3 사용하기