EMR을 이용한 자동 Spark 배치 만들기
회사에서 많은 AWS 서비스를 사용해보면서 어느 날 번뜩 떠오른 아이디어가 있었습니다. 사실 전문가 분들은 이미 많이 사용하고 있는 것 같았지만 왠지 내가 대단한 발견이라도 한 것 같고 나름의 성취감도 있었지요. AWS의 EMR을 이용하여 Spark 배치 작업을 자동으로 실행하고 작업이 종료되면 EMR도 종료하여 비용 절감까지 가능한 아키텍처를 살펴볼까 합니다. 기본적으로 사용하게…
회사에서 많은 AWS 서비스를 사용해보면서 어느 날 번뜩 떠오른 아이디어가 있었습니다. 사실 전문가 분들은 이미 많이 사용하고 있는 것 같았지만 왠지 내가 대단한 발견이라도 한 것 같고 나름의 성취감도 있었지요. AWS의 EMR을 이용하여 Spark 배치 작업을 자동으로 실행하고 작업이 종료되면 EMR도 종료하여 비용 절감까지 가능한 아키텍처를 살펴볼까 합니다. 기본적으로 사용하게…
한참 배틀그라운드 게임을 즐길 때에는 하루에 4시간씩은 했던 것 같은데… 게임 플레이 타임이 1000시간이 넘어가면서 슬슬 유저들이 요구한 게임 안정화나 핵 유저 처벌 등이 이루어지지 않아서 떠나게 되었습니다. 그러다가 2D 배틀그라운드, Surviv.io라는 게임이 있다길래 한 번 해봤는데, 한 게임당 대략 5분 30초~6분 내외에 결판이 나더군요. 빠른 전개가 마음에 들어 계속…
어제, 오랜 기간동안 고민하다가 갑자기 느낌이 확 와서 제 블로그를 시놀로지 NAS에서 아마존 EC2로 이전하였습니다. NAS 자체가 너무 느리기도 하고, 이사를 하면서 겪었던 많은 불편함을 해소하고자 결국 클라우드 환경을 선택하게 되었네요. 게다가 최근 클라우드 환경에서 많은 작업들을 하다 보니까 그 편리함에 눈을 뜨게 되었습니다. 처음에는 굉장히 거창한 시스템을 구축해볼까 하였으나,…
컴퓨터에서 카카오톡을 사용하시는 분들은 다들 깜짝 놀라셨을 겁니다. 업데이트 후에 로그인하니까 좌우 폭이 심각하게 넓어진 카카오톡을 볼 수 있었습니다. 이제는 컴퓨터상에 띄워놓고 사용하던 카톡이 거슬리기 시작했습니다. 광고가 처음 생긴 버전은 위와 같이 영역이 작기도 하고 좌우 폭도 좁아서 얼마든지 화면에 띄워놓고 사용할 수 있었습니다. 448 * 70 픽셀 정도 되는…
회사에서 G suite으로 전사 시스템 전환이 있었습니다. 그러고 나니 문서 편집에 대한 불편함이 이루 말할 수 없을 정도입니다. 아무래도 너무 오랜 시간동안 마이크로소프트의 오피스에 적응되어 그런 것 같습니다. 기능 부족은 말할 것도 없지만, 또 다른 큰 문제는 바로 오프라인 편집 기능입니다. 여태까지는 상식적으로 오프라인에서도 오피스를 켜고 파일을 작성하고 저장하는 것이…
제가 2018년도 게임분야 지식인 활동을 1월 27일 시작했습니다. 그리고 채택 숫자도 많아서 당연히 분야별 지식인 후보에 선정될 것으로 기대했으나 후보에도 끼지 못했네요. 위 10명이 이번 2018년도 게임분야 지식인 후보들입니다. 충분히 납득이 가는 사람들이 있습니다. 채택 건수가 1만이 넘는 분은 당연히 선정 되어야죠. 그런데, 저도 저정도는 아니지만 만만치 않습니다. 무려 4,735건…
하루 이틀 전부터 갑자기 네이버의 대부분 서비스에 접속이 안되고 오류가 발생하는 것을 확인하였습니다. 그래서 처음에는 네이버 오류인 줄 알았으나, 다른 컴퓨터에서는 멀쩡하다는 것을 확인하고 나서 바로 제 컴퓨터를 열심히 확인하였습니다. 이러한 현상은 크롬에서만 발생하는 것이었습니다. 그리고 오류의 원인을 발견할 수 있었는데요. 특이한 점은 얼마 전까지 아무 문제가 없다가 갑자기 오류가…