Author: lamanus

Spark 작업 병렬로 처리하기

빅데이터 처리를 위해서 스파크(Spark)가 인기를 끈 이유는 대용량 데이터를 병렬로 처리할 수 있다는 것입니다. 그래서 스파크를 처음에 접했을 때는 모든 작업이 병렬로 처리된다는 생각을 하게 되고, 이 때문에 스파크는 항상 병렬 처리를 한다고 믿었습니다. 물론 이것은 사실입니다. 그런데, 아래와 같은…

Continue reading

아틀라스 (ATLAS) 혜성 관측 준비

2020.05.01 추가 앞서 예상되었던 것처럼 이미 혜성은 산산 조각이 났다고 합니다. 이렇게 되면 꼬리가 크게 발달하기가 어려워져서 관측은 사실상 힘들겠군요… 2020.04.12 추가 가장 최근 소식에 의하면 혜성이 여러 조각으로 나뉜 것으로 추측된다고 합니다. 최근 밝기 곡선의 변화를 보더라도 혜성이 점점…

Continue reading

U+ 이중 공유기 포트 포워딩 설정하기

전에 D-Link사의 DIR-842 공유기 포트 포워딩 설정하기 글을 작성한 적이 있습니다. 당시에는 공유기가 하나였어서 간단했는데, 지금은 U+ 기가 슬림 인터넷을 이용하면서 공유기가 2개가 되었습니다. 이런 상황에서는 어떻게 포트 포워딩을 해야 하는지 알아보고자 합니다. 현재 인터넷 상태 전에 원룸이나 아파트에 있을…

Continue reading

실수로 삭제한 구글 주소록 복원하기

휴대폰 사용자가 많아지고 한 사람이 여러 기기를 동시에 사용하면서 간혹 착각을 하는 경우가 있습니다. 그래서 여러 기기에 같은 구글 계정을 로그인 한 상태인 것을 잠시 까먹었거나, 동기화를 켜 둔 상태에서 한 기기의 주소록을 삭제하게 되면 다른 기기에서도 동일하게 주소록이 삭제되고는…

Continue reading

공유기 아래 있는 VPN 서버 이용하기

오래 전에 사용하다가 가동을 중지한 시놀로지 서버를 다시 VPN 서버로 이용하고자 새로 설치하고 인터넷을 연결했습니다. 전에 사용할 때는 외부에서 인터넷이 들어오면 모뎀으로 연결되고, 거기에서 바로 시놀로지 서버로 인터넷을 연결하였기 때문에 VPN 서버를 운용함에 있어서 아무런 문제가 없었습니다. 그런데, 현재 인터넷…

Continue reading

구글 포토에 대한 오해? 적절한 사용법

휴대폰을 처음 사면 요즘은 구글 포토가 기본적으로 설치가 되어 있습니다. 구글 포토를 사용하시는 분들은 어느 정도 구글 포토를 이해하고 사용을 하지만, 여전히 많은 분들이 구글 포토가 어떤 사진들을 보여주고, 어떻게 사진을 백업하고 관리하는지에 대해서 잘 모르시는 것 같습니다. 이처럼 구글…

Continue reading

Oracle의 항상 무료 인스턴스 – 도전!

얼마 전에 오라클 클라우드에서 항상 무료 인스턴스를 무려 2개나 제공한다는 소식을 듣고, 언제 한 번 시도를 해봐야지 하고 있었습니다. 그리고 설 연휴를 이용하여 오라클 클라우드에 가입을 하고 항상 무료 인스턴스를 생성해볼 시간을 얻게 되었습니다. 홈페이지에 가보니까 정말로, 항상 무료 인스턴스를…

Continue reading

Windows Terminal에 Git Bash 추가하기

Windows Terminal (윈도우 터미널)을 이용하다 보면 윈도우의 커맨드에 익숙하지 않아서 많은 작업을 하기가 어려운 경우가 종종 있을 겁니다. 리눅스에 익숙해지다 보니까 윈도우는 커맨드가 뭔지도 제대로 기억나지도 않고… 그래서 윈도우 터미널에 Git Bash를 추가해서 익숙한 리눅스 명령어를 이용할 수 있도록 해보겠습니다….

Continue reading

Windows Terminal 소개

윈도우에서 CMD는 아주 오래 전부터 사용되어 온 CLI 환경입니다. 그리고 이를 개선하고자 PowerShell이 등장을 했지요. 다만, 저처럼 주로 리눅스에서 작업하는 사람들에게 윈도우 CLI는 그다지 친숙한 환경은 아닙니다. 그리고 윈도우의 CMD나 PowerShell은 모양도 그다지 멋지지 않습니다. 게다가 탭 기능이 없어서 매번…

Continue reading

Jupyter Lab에서 Spark 실행하기

스파크(Spark)로 개발을 하다보면 간단한 작업은 로컬에서 진행하고 싶은 경우가 있습니다. 겨우 이거 하나 하겠다고 스칼라(Scala)로 코드를 짜서 Jar를 만들고 스파크 클러스터에 작업을 제출하는 것은 너무나 불편하기만 합니다. 그래서 Jupyter Lab을 이용해서 간단한 스파크 코드를 작성하고 실행하는 과정을 소개하고자 합니다. 앞선…

Continue reading