VS Code로 AWS SAM에 대한 Remote 컨테이너 개발 환경 구축하기

AWS SAM으로 서버리스 아키텍처를 개발, 관리 그리고 배포하고자 개발 환경을 구축하면서 좌충우돌 했던 많은 시도와 과정을 글로 정리해보고자 합니다. VS Code를 사용하게 된 이유는, Lambda 함수에서 Python을 사용하려고 하니까 별 다른 선택지가 없었기 때문입니다. AWS Toolkit 플러그인은 여러 IDE에 걸쳐서 존재하나, 일부 IDE에 대해서는 언어 제약이 있었습니다. 그런데, VS Code에서는…

Continue reading VS Code로 AWS SAM에 대한 Remote 컨테이너 개발 환경 구축하기

Spark에서 Window 함수의 다양한 이용

스파크(Spark)에서 데이터 프레임을 다루다 보면, 다양한 함수들이 요구됩니다. 기본 함수들은 직관적으로 새로운 값을 생성하는 것에 초점을 맞추고 있습니다. 그런데, 많은 경우에 데이터 비교를 위해서 현재 행을 이전 행과 비교하기를 원합니다. 혹은 특정 컬럼에 대해서 Partiton된 데이터를 구하고 싶기도 합니다. 이럴 때에 주로 사용하는 함수가 바로 Window 함수입니다. 스파크의 윈도우 함수는…

Continue reading Spark에서 Window 함수의 다양한 이용

2020년 6월 21일 금환 일식(부분 일식) 예고

관측 후기 일식 예고 올해 6월 21일에 아시아 지역에서 금환 일식이 예고되어 있습니다. 우리나라 서울을 기준으로 태양의 55.5% 가 가려지는 부분 일식이 될 예정입니다. 일식은 15시 53분에 시작하여 17시 02분에 최대에 이르고 18시 04분에 종료가 된다고 합니다. 구체적인 시간은 지역에 따라서 다르기 때문에 NASA 홈페이지의 지도에서 직접 지역을 골라서 시간을…

Continue reading 2020년 6월 21일 금환 일식(부분 일식) 예고

Spark 작업 병렬로 처리하기

빅데이터 처리를 위해서 스파크(Spark)가 인기를 끈 이유는 대용량 데이터를 병렬로 처리할 수 있다는 것입니다. 그래서 스파크를 처음에 접했을 때는 모든 작업이 병렬로 처리된다는 생각을 하게 되고, 이 때문에 스파크는 항상 병렬 처리를 한다고 믿었습니다. 물론 이것은 사실입니다. 그런데, 아래와 같은 워크로드를 가지는 경우를 생각해 봅시다. 처음에는 하나의 노드에서만 처리하다가 중간에…

Continue reading Spark 작업 병렬로 처리하기

아틀라스 (ATLAS) 혜성 관측 준비

2020.05.01 추가 앞서 예상되었던 것처럼 이미 혜성은 산산 조각이 났다고 합니다. 이렇게 되면 꼬리가 크게 발달하기가 어려워져서 관측은 사실상 힘들겠군요… 2020.04.12 추가 가장 최근 소식에 의하면 혜성이 여러 조각으로 나뉜 것으로 추측된다고 합니다. 최근 밝기 곡선의 변화를 보더라도 혜성이 점점 어두워지는 현상이 일어나고 있습니다. [링크] 안타깝게도 관측하기 좋은 혜성이 되기는…

Continue reading 아틀라스 (ATLAS) 혜성 관측 준비

포트 포워딩 설정하기 – U+ 이중 공유기

전에 D-Link사의 DIR-842 공유기 포트 포워딩 설정하기 글을 작성한 적이 있습니다. 당시에는 공유기가 하나였어서 간단했는데, 지금은 U+ 기가 슬림 인터넷을 이용하면서 공유기가 2개가 되었습니다. 이런 상황에서는 어떻게 포트 포워딩을 해야 하는지 알아보고자 합니다. 현재 인터넷 상태 전에 원룸이나 아파트에 있을 때에는 기가 인터넷을 써도 광케이블이 바로 들어와서 모뎀 + 공유기…

Continue reading 포트 포워딩 설정하기 – U+ 이중 공유기

실수로 삭제한 구글 주소록 복원하기

휴대폰 사용자가 많아지고 한 사람이 여러 기기를 동시에 사용하면서 간혹 착각을 하는 경우가 있습니다. 그래서 여러 기기에 같은 구글 계정을 로그인 한 상태인 것을 잠시 까먹었거나, 동기화를 켜 둔 상태에서 한 기기의 주소록을 삭제하게 되면 다른 기기에서도 동일하게 주소록이 삭제되고는 합니다. 이처럼 실수로 주소록을 지웠을 때에는 많이 난감할 수 있습니다.…

Continue reading 실수로 삭제한 구글 주소록 복원하기

공유기 아래 있는 VPN 서버 이용하기

오래 전에 사용하다가 가동을 중지한 시놀로지 서버를 다시 VPN 서버로 이용하고자 새로 설치하고 인터넷을 연결했습니다. 전에 사용할 때는 외부에서 인터넷이 들어오면 모뎀으로 연결되고, 거기에서 바로 시놀로지 서버로 인터넷을 연결하였기 때문에 VPN 서버를 운용함에 있어서 아무런 문제가 없었습니다. 그런데, 현재 인터넷 환경에서는 공유기를 무려 2대나 거쳐야 하는 무지막지한 상황이라서 내부 네트워크에서는…

Continue reading 공유기 아래 있는 VPN 서버 이용하기

구글 포토에 대한 오해? 적절한 사용법

휴대폰을 처음 사면 요즘은 구글 포토가 기본적으로 설치가 되어 있습니다. 구글 포토를 사용하시는 분들은 어느 정도 구글 포토를 이해하고 사용을 하지만, 여전히 많은 분들이 구글 포토가 어떤 사진들을 보여주고, 어떻게 사진을 백업하고 관리하는지에 대해서 잘 모르시는 것 같습니다. 이처럼 구글 포토를 잘 모르는 경우에는 구글 포토에 대해서 오해를 할 수가…

Continue reading 구글 포토에 대한 오해? 적절한 사용법