본문 바로가기

전체 글

크롤링 - 오늘 저녁은 맥도날드 2020. 3. 19. 저번 포스팅에서 크롤링에 필요한 python 및 관련 라이브러리를 설치했었다. 2020/03/16 - [개발/설치&설정후기] - mac python3 설치 및 크롤링 준비 맥(mac) 환경이라면 위 내용을 참고삼아 순서대로 비교하면서 세팅할 수 있겠지만, 원도우 환경이라면 따로 연관 내용을 직접 찾아서 설치하도록 하자. 어쨌든 우리가 설치해야 하는 건 - python3, beautifulSoup4, (selenium, webdriver) 4개만 잘 설치하면 된다. 환경 세팅 이후, 간단히 예제로 다뤄볼 사이트가 없을까 하고 살펴보다가... 최근 늦은 저녁 햄버거를 시켜먹으려고 방문한 맥딜리버리 사이트를 가볍게 분석&크롤링해보기로 했다. 사이트를 크롤링하기로 정했다면, 먼저 해당 사이트의 구조 분석이 선행..
블로그 시작, 애드센스 빠른 승인 2020. 3. 19. 원래는 저번 포스팅에 이어서 크롤링 작업에 대한 글을 가볍게 다루려 했으나... 며칠 전 정말 기대치 않게 빠른 애드고시 합격 메일을 받게 되었다. 그래서 오늘은 이에 대한 이야기를 짧게 해보려 한다. 나는 여지껏 IT로 쭈욱 먹고 살아오면서 블로그를 운영한다거나, SNS(눈팅만 한다.)를 의욕적으로 해본 적이 없었다. PC를 남들보다 밀접하게 접하는 직종에 종사하니까 뭐라도 소셜스러운 거 하나쯤은 가볍게 시도해봄직한데, 내 성격상 뭔가를 잘 정리해서 문서화해놓는다던지, 내 의견을 적극적으로 외부에 글로 남기는 행위를 잘 하지 않는 편이었다. 그러던 어느 날, 지인과 커피타임을 즐기다가 지금껏 해왔던 일들이나 유용한 지식을 가볍게 정리해 남겨두면 어떻겠냐는 이야기가 나왔다. 내 경험이 누군가에게 도움이 ..
mac python3 설치 및 크롤링 준비 2020. 3. 16. 예전에 특정 사이트 정보를 수집할 일이 있어, python2 + Beautifulsoup을 활용해 간단한 크롤링(crawling) 모듈을 만들어 데이터를 수집했었던 적이 있었다. 이후 별도의 크롤 관련 업무를 할 일이 없었는데, 최근 취미 삼아 몇몇 사이트의 데이터를 긁어보려고 다시 관련 세팅을 하게 되었다. 본격적으로 크롤링 모듈을 작성하기 앞서, 진행한 python3 및 크롤(crawl) 연관 라이브러리 설치작업을 정리해보자. 1. Python3 설치 최근 버전 mac에는 기본적으로 python2.x 버전이 깔려있긴 하지만, python2 버전은 2020년 1월 1일부로 공식적으로 지원이 중단되었기 때문에 추가적인 기능 개선이나 적극적인 bugfix는 기대하기 힘들 것이다. 그러니 미래가 있는 pyt..
숫자표현 정규식 스텝by스텝 2020. 3. 12. 최근 너무 긴 글을 쓰다 보니, 새로 장문의 포스팅을 하기가 조금 망설여졌다. 그래서 오늘은 좀 쉬어간다는 생각으로, 조금 간단하지만 꽤 빈번하게 쓰이는 숫자로 이루어진 문자열을 검사하기 위한 정규표현식에 대해 단계적으로 알아보도록 하겠다. 기초적인 부분에 대한 설명은 생략될 수 있는데, 이미 여러분들이 정규식을 가볍게라도 한 번쯤 경험해봤다는 가정하에 최대한 간단명료하게 설명하도록 하겠다. 그리고 앞으로 모든 정규식 관련 실습은 Rubular 사이트를 통해 진행하려 한다. 이곳은 내 개인적으로 개발업무에 필요한 정규식을 작성할 때 주로 방문하는 사이트다. Ruby 기반 정규표현식이긴 하지만, 타 언어 표현식과도 사실 크게 다르지 않아 쉽게 응용이 가능한 편이고, 페이지 하단의 Regex quick re..
[PostgreSQL] 테이블 DDL 생성 쿼리문 2020. 3. 9. 업무를 진행하다 보니 특정 프로세스상에서 기존 테이블 스키마와 동일한 테이블을 동적으로 생성해야 할 경우가 생겼었다. 구현 시 요구되었던 조건은 다음과 같았다. 1. 접근 계정은 조회(select), 생성(create) 권한만 있고, 기본 public 스키마 내 함수 이외에 실행(execute) 권한은 없다. 2. psql 콘솔, function, stored procedure를 사용하지 않고, 단순 쿼리만으로 DDL을 생성해야 함. 3. 테이블 및 컬럼에 대한 comment문을 생성할 필요는 없지만, index 생성구문은 필요하다. 일단 PostgreSQL 메뉴얼 문서를 찾아 살펴보니, 시스템 카탈로그 와 시스템 테이블 내에 스카마, 테이블, 컬럼 등과 같은 다양한 정보가 기록되어 있음을 알 수 있었다..
개발관련 포스팅을 시작해보자 2020. 3. 9. 이제까지 개발자로 일해오면서 개인적으로 블로그를 운영해본 적도, 개인 github을 관리하며 개인 프로젝트를 진행해온 적도 없었다. 바쁘다는 핑계로(아니 사실 정말 바쁘긴 했었는데...), 정돈된 글을 잘 못쓴다는 핑계를 대가며 미뤄왔었다. 그렇게 쭉 지내오다가 2020년 새해를 맞이해, 정말 소소한 다짐을 하게 되었다. 그게 개발 코드가 되었던, 관련 지식이던지 상관없이 생각나는 대로 정리해서 남겨보기로. 거창하지 않더라도 github에 개인 프로젝트를 시작해보기로. 우선 업무를 마치고 퇴근 후의 늦은 저녁시간, 주말에 시간을 내어 조금씩이라도 코딩을 하기 시작했다. 첫 시작이 어려웠지, 막상 시작하고 나니 그 약간의 시간이 즐겁고 보람찼다. (어느 외국인 한 분이 Fork도 떠 가 주셨고 말이다.) ..
티스토리 2차 도메인 자동이동 정규식 스크립트 2020. 3. 9. 개발할 때 자주 쓰이는 정규식이 뭐가 있을까? 전화번호, 이메일, 숫자문자열 판단 등등 기초적인 것부터 복잡한 정규식들까지 정말 다양하고 많지만, 가장 최근에 작성해서 반영한 스크립트가 있어, 이것부터 정리해볼까 한다. 최근에 블로그를 처음 시작해서 기존 1차 도메인(tadadakcode.tistory.com) 일 때 포스팅을 작성했는데, 티스토리 1차 도메인 주소로 구글서치콘솔에 등록해 색인 완료가 된 상태였다. 그 상태에서 2차 도메인(tadadakcode.com)을 구매해 설정하고 서치콘솔에도 2차 도메인 주소를 추가했는데, 색인이 되질 않았다. (당연히 사이트맵도 2차 도메인에 맞게 새로 생성해서 올렸다.) 아니.. 정확히는 일부는 색인이 된 것 같은데, 구글 검색결과에는 노출이 되지 않았다. 해..
mac 개발장비 초기 세팅기 2020. 3. 5. 많은 개발자들이 공감하는 부분이겠지만... 새로 장비를 사거나 지급받았을 때, 정말 할 일이 많다. 개발에 필요한 프로그램 설치해야지, 설치하고 환경 설정하기 위해 관련 자료 검색해봐야지, 기존 쓰던 게 뭔가 달라지거나 사용 못하게 되어서 대체할 것도 찾아봐야지 등등... ...정말 할 일이 차고 넘친다. 그런데 저렇게 긴 시간을 들여서 잘 세팅해두면 어지간하면 다시 설정할 일이 거의 없다 보니, 막상 갑자기 새로 설치할 일이 생겨버리면, 예전에 어떻게 설정했는지 기억이 잘 안 나서 당황스러운 상황이 은근 생긴다. 그래서 이번 기회에 정리하는데 시간은 좀 걸리더라도, 다음번 시간 낭비를 줄이기 위해서라도 잘 남겨놔야겠다 다짐하며 포스팅을 시작해 보았다. 자, 우선 설치해야 하는 것들이 어떤 것들이 있는지..

티스토리툴바