새 도로명 주소와 우편번호 체계, 너무 양이 커서 전산화가 어렵습니다... 블록

제가 예전에 기존의 주소 체계를 새 도로명 주소와 우편번호 체계로 바꿔보려고 시도를 해보았는데요 "건물정보" 라고 80MB 짜리 압축파일이 있는데 이 압축을 풀어보니 서울특별시부터 제주특별자치시 까지 DB에 변환돼 들어가는 txt 파일의 주소와 우편번호 정보 데이타 크기의 용량이 합해서 1.51GB 나 됩니다.

누가 이런 방대한 양의 주소 데이타를 산출했는지 모르겠지만 이 사람은 전혀 DB에 대해서 잘 모르는 사람이 분명합니다. 이렇게 큰 데이타는 SQL 서버에 한꺼번에 올리기도 쉽지 않고 서버 용량에 큰 부담을 주기 때문에 나쁜데 어떻게 이렇게 자신들 편의를 위해 개발자들에게 이렇게 큰 데이타를 덜렁 넘겨주고 사용하라고 하는 것인지 정말 한심하더라구요.

이걸 어떻게 사용할지 고민입니다. 이걸 읽는 분들 중에 이걸 효과적으로 MySQL 서버에 저장하고 활용하는 방법을 아시는 분은 도움을 얻고 싶습니다.

이런 방대한 데이타는 각 웹서비스 회사에서 자체적으로 DB를 구축할 게 아니라 포탈이나 정부 같이 중앙의 빠른 서버 한군데에 DB를 구축해 그걸 각 회사들이 표준 코드로 접근해 사용하는 방법을 취하는 것이 제일로 합리적이라 보여지는데 만약 이 데이타를 각 회사 호스팅 서버의 DB에 다 저장할 거 같으면 용량의 부담과 낭비 및 비효율성도 매우 심각할 거라는 생각이 드는군요. 가능하지도 않구요. ㅡ_ㅡ

여러분의 생각은 어떠신지... 대체 누가 이렇게 거품이 큰 데이타를 대량 산출했는지 정말로 한심하네요. 파일을 구해서 한번 txt 파일을 함 들여다 보십시요. 어이가 없어서 말이 안나옵니다. 파일 한 개를 에디터로 읽어들이는데도 엄청나게 시간이 오래 걸립니다. 엑셀을 이용해 구분자로 구분해 csv 파일을 생성하려고 해도 파일이 너무 커서 뒷부분이 잘리고 다 로딩이 되지도 않습니다. 이건 정말 똥이에요.

도로명 주소 파일 제공하는 곳: http://www.juso.go.kr/support/AddressBuild.do#self

<추신>
txt 파일을 들여다 보니 아래와 같은 내용이 하나의 레코드 마다 기술돼 있었습니다. 아파트의 동까지 구분해 놓았더군요. 그러니 데이타량이 커질 수 밖에요.

"1162010200|서울특별시|관악구|신림동||0|1714|0|116203000029|호암로|0|399|0|삼성산주공아파트|308동|1162010200117140000005059|01|1162074500|삼성동|08847||||||삼성산주공아파트|1|08847|1||"

뭔 불필요한 정보들이 이렇게 많은지 이걸 구분자로 구분해 서버에 올려야 하는데 너무 용량이 크다는 것이죠. 서울지역만 하더라도 텍스트 파일 용량이 100MB나 됩니다. 물론 주소 정보를 이용하려면 전국의 모든 지역을 다 올려야 하는데 그렇게 되면 용량이 너무 커지고 DB에 통합 접근하는 방법도 그만큼 불편해지게 됩니다. 그래서 우리가 이용하는 사이트 중에서 도로명 주소를 입력할 때 콤보박스로 시도를 선택하는 식으로 불편하게 돼 있는 이유가 바로 그것입니다. 바로 이런 연유 때문이죠. 헐~

덧글

  • Hide_D 2015/10/12 09:16 # 답글

    https://postcodify.poesis.kr/

    머리가 부족하면 손발이 고생.
  • 지가나다 2015/10/12 14:47 # 삭제

    부족한건 주인장 머리인데 왜 저희가 고생해야 하는 걸까요
  • 허세비 2015/10/12 09:40 # 삭제 답글

    http://postcode.map.daum.net/guide

    daum 에 쓸만한 게 있네요.
  • 은이 2015/10/12 10:23 # 답글

    DB 구축용 전체 데이터를 받아놓고 불필요(!)한 데이터가 많다니.. juso.go.kr 사이트에도 검색 API 가 있고.. 한숨..
    http://www.juso.go.kr/addrlink/addrLinkRequestMainNew.do?cntcMenu=API
  • 재규어 2015/10/12 11:11 # 삭제 답글

    자기의 같잖은 능력 이상의 무언가가 있다면 자기의 부족함을 통감하고
    능력을 키울 생각을 해야지 오히려 남 탓만 하면 평생 그 수준으로 사는 수밖에 없지.
  • 엘릭시어 2015/10/12 11:40 # 삭제 답글

    이글루스가 츤데레들의 집단.맞긴 한가보네욬ㅋㅋㅋ
  • Hide_D 2015/10/12 12:33 #

    광대 구경에는 참가비가 필요하니까요 ㅋㅋㅋㅋ
    그리고 이미 주소 가져다 줘 봐야 제대로 사용 못한다는 것도 다들 잘 아실거고 :)
  • 루루카 2015/10/12 13:01 #

    아마 희망의빛™ 님 자체보다는 이 포스팅을 보게 되는 다른 분들을 위한 배려가 더 크지 않나 싶어요.
  • 지나가다 2015/10/12 14:09 # 삭제

    잘 좀 하라고 바보야! 라며 도와주는 느낌
  • 2015/10/12 16:26 # 삭제 답글 비공개

    비공개 덧글입니다.
  • shaind 2015/10/12 18:16 # 답글

    이정도쯤 되면 부끄럽다는 생각은 안 드는지 궁금하군요.
  • 알람 2015/10/12 19:12 # 삭제 답글

    이 아재 글이 위험한 건 진짜 모르는 초보가 접했을 때 쉽게 받아들일 우려가 있슴.
  • 희망의빛™ 2015/10/12 20:35 # 답글

    Hide_D// 말씀해 주신 곳으로 접속해 봤는데 괜찮은 주소 검색 API란 생각이 들더군요. 저도 시간이 나면 함 적용해 보아야겠습니다. 근데 PC에선 해당 URL이 접속이 되질 않더군요.
  • 희망의빛™ 2015/10/12 20:40 # 답글

    허세비// Daum에서 제공하는 방법은 예제를 보니 용법도 쉽고 검색결과가 무척 편리한 것 같더군요. 좋은 정보 고맙습니다. ^^;
  • 희망의빛™ 2015/10/12 20:44 # 답글

    은이// 그곳에서도 오픈API를 제공하고 있었군요. 잠깐 봤던 기억은 나는데 예제가 없고 절차가 좀 복잡해서 그냥 지나쳤나 봅니다. 좋은 정보 고맙습니다. ^^;
댓글 입력 영역
* 비로그인 덧글의 IP 전체보기를 설정한 이글루입니다.


웹로그 검색