diff --git a/KUBiC Open API User Manual.ipynb b/KUBiC Open API User Manual.ipynb index 5e6a04d..7022b52 100644 --- a/KUBiC Open API User Manual.ipynb +++ b/KUBiC Open API User Manual.ipynb @@ -113,8 +113,29 @@ "cell_type": "code", "execution_count": 1, "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "Collecting pandas\n", + " Using cached https://files.pythonhosted.org/packages/c3/e2/00cacecafbab071c787019f00ad84ca3185952f6bb9bca9550ed83870d4d/pandas-1.1.5-cp36-cp36m-manylinux1_x86_64.whl\n", + "Collecting numpy>=1.15.4 (from pandas)\n", + " Using cached https://files.pythonhosted.org/packages/45/b2/6c7545bb7a38754d63048c7696804a0d947328125d81bf12beaa692c3ae3/numpy-1.19.5-cp36-cp36m-manylinux1_x86_64.whl\n", + "Collecting python-dateutil>=2.7.3 (from pandas)\n", + " Using cached https://files.pythonhosted.org/packages/36/7a/87837f39d0296e723bb9b62bbb257d0355c7f6128853c78955f57342a56d/python_dateutil-2.8.2-py2.py3-none-any.whl\n", + "Collecting pytz>=2017.2 (from pandas)\n", + " Using cached https://files.pythonhosted.org/packages/d5/50/54451e88e3da4616286029a3a17fc377de817f66a0f50e1faaee90161724/pytz-2022.2.1-py2.py3-none-any.whl\n", + "Collecting six>=1.5 (from python-dateutil>=2.7.3->pandas)\n", + " Using cached https://files.pythonhosted.org/packages/d9/5a/e7c31adbe875f2abbb91bd84cf2dc52d792b5a01506781dbcf25c91daf11/six-1.16.0-py2.py3-none-any.whl\n", + "Installing collected packages: numpy, six, python-dateutil, pytz, pandas\n", + "Successfully installed numpy-1.19.5 pandas-1.1.5 python-dateutil-2.8.2 pytz-2022.2.1 six-1.16.0\n" + ] + } + ], "source": [ + "!pip3 install pandas\n", + "\n", "import urllib.request as r\n", "import urllib.parse as p\n", "import json\n", @@ -132,7 +153,7 @@ }, { "cell_type": "code", - "execution_count": 2, + "execution_count": 11, "metadata": {}, "outputs": [], "source": [ @@ -145,10 +166,10 @@ "search_option=\"simple_search\" #detailed_search #my_doc\n", "\n", "# 인증키를 입력해주세요\n", - "serviceKey = \"\"\n", + "serviceKey = \"(serviceKey)\"\n", "\n", "# 한 번에 출력할 문서 개수를 입력해주세요\n", - "numOfCnt = 100\n", + "numOfCnt = 20\n", "\n", "# 검색할 키워드를 입력해주세요\n", "keyword=\"북한\"" @@ -163,24 +184,27 @@ }, { "cell_type": "code", - "execution_count": 11, + "execution_count": 3, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ - "URL_full> https://kubic.handong.edu:15000/simple_search?serviceKey=handonglove123&numOfCnt=100&keyword=%EB%B6%81%ED%95%9C\n" + "URL_full> https://kubic.handong.edu:15000/simple_search?serviceKey=handonglove123private&numOfCnt=20&keyword=%EB%B6%81%ED%95%9C\n" ] } ], "source": [ + "import ssl\n", + "\n", "loginKey = \"serviceKey=\"+serviceKey\n", "request = \"&numOfCnt=\"+p.quote(str(numOfCnt))+\"&keyword=\"+p.quote(str(keyword))\n", "URL_full = URL + search_option + \"?\" + loginKey + request\n", "\n", "print(\"URL_full> \" + URL_full)\n", - "response = r.urlopen(URL_full).read().decode('utf-8')\n", + "context = ssl._create_unverified_context() # certificate error 뜨는 경우\n", + "response = r.urlopen(URL_full, context=context).read().decode('utf-8')\n", "\n", "jsonArray = json.loads(response)\n", "\n", @@ -202,7 +226,7 @@ }, { "cell_type": "code", - "execution_count": 12, + "execution_count": 4, "metadata": {}, "outputs": [ { @@ -232,7 +256,9 @@ " institution\n", " institutionURL\n", " category\n", + " fileURL\n", " fileName\n", + " fileContent\n", " body\n", " date\n", " \n", @@ -240,211 +266,445 @@ " \n", " \n", " 0\n", + " 북한 사람이 들려주는 북한 이야기\n", + " 장진성 저\n", + " https://unibook.unikorea.go.kr/material/list?m...\n", + " 통일부\n", + " https://unibook.unikorea.go.kr/\n", + " 통일부 발간물\n", + " http://unibook.unikorea.go.kr/libeka/elec/WebB...\n", + " 북한 사람이 들려주는 북한 이야기\n", + " 주제가 있는통일 강 좌 36장진성 (뉴포커스 대표) 북한 사람이 들려주는 북한 이야...\n", + " NaN\n", + " NaN\n", + " \n", + " \n", + " 1\n", " 변하는 북한 변하지 않는 북한\n", " 고정식 저\n", " https://unibook.unikorea.go.kr/material/list?m...\n", " 통일부\n", " https://unibook.unikorea.go.kr/\n", " 통일부 발간물\n", + " http://unibook.unikorea.go.kr/libeka/elec/WebB...\n", " 변하는 북한 변하지 않는 북한\n", + " 주 제 가있 는통 일강 좌30변 하 는 북 한 변 하 지 않 는 북 한 주제가 있는...\n", " NaN\n", " NaN\n", " \n", " \n", - " 1\n", - " 북한 사람이 들려주는 북한 이야기\n", - " 장진성 저\n", + " 2\n", + " 북한 주요인사 인물정보 2017 =북한 주요인물\n", + " 통일부 정세분석국 정치군사분석과 편\n", " https://unibook.unikorea.go.kr/material/list?m...\n", " 통일부\n", " https://unibook.unikorea.go.kr/\n", " 통일부 발간물\n", - " 북한 사람이 들려주는 북한 이야기\n", + " http://unibook.unikorea.go.kr/libeka/elec/WebB...\n", + " 북한 주요인사 인물정보 2017 =북한 주요인물\n", + " 2017인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행...\n", " NaN\n", " NaN\n", " \n", " \n", - " 2\n", + " 3\n", + " 북한 핵실험 이후 북한 문제 해법\n", + " 통일연구원 편\n", + " http://www.kinu.or.kr/www/jsp/prg/api/dlV.jsp?...\n", + " 통일연구원\n", + " https://www.kinu.or.kr/main/kinuM\n", + " 연구보고서-기타연구보고서\n", + " http://www.kinu.or.kr/pyxis-api/1/digital-file...\n", + " 북한 핵실험 이후 북한 문제 해법\n", + " 프로그램09:00～09:30 등록09:30～10:00 개회식개회사 : 서재진 통일연...\n", + " 제1세션: 대북정책 회고와 과제ㅇ 6.15 남북공동선언 어떻게 볼 것인가?/ 김영호...\n", + " 2009\n", + " \n", + " \n", + " 4\n", " 북한 주요인사 인물정보 2012 =북한 주요인물\n", " 통일부 정세분석국 정치군사분석과 편\n", " https://unibook.unikorea.go.kr/material/list?m...\n", " 통일부\n", " https://unibook.unikorea.go.kr/\n", " 통일부 발간물\n", + " http://unibook.unikorea.go.kr/libeka/elec/WebB...\n", " 북한 주요인사 인물정보 2012 =북한 주요인물\n", + " 통일부 정세분석국 정치군사분석과 서울특별시 종로구 세종대로 209 정부중앙청사 41...\n", " NaN\n", " NaN\n", " \n", " \n", - " 3\n", + " 5\n", + " 북한 주요인사 인물정보 2015 = 북한 주요인물\n", + " 통일부 정세분석국 정치군사분석과\n", + " http://www.kinu.or.kr/brd/board/726/L/menu/382...\n", + " 통일연구원\n", + " https://www.kinu.or.kr/main/kinuM\n", + " 통일부 발간자료\n", + " http://www.kinu.or.kr/com/file/filedown?_ci=23...\n", + " 북한 주요인사 인물정보 2015 = 북한 주요인물\n", + " 2015인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행...\n", + " NaN\n", + " 2015-01-01\n", + " \n", + " \n", + " 6\n", " 북한 주요인사 인물정보 2014 =북한 주요인물\n", " 통일부 정세분석국 정치군사분석과 편\n", " https://unibook.unikorea.go.kr/material/list?m...\n", " 통일부\n", " https://unibook.unikorea.go.kr/\n", " 통일부 발간물\n", + " http://unibook.unikorea.go.kr/libeka/elec/WebB...\n", " 북한 주요인사 인물정보 2014 =북한 주요인물\n", + " 2014인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행...\n", " NaN\n", " NaN\n", " \n", " \n", - " 4\n", - " 북한 주요인사 인물정보 2017 =북한 주요인물\n", - " 통일부 정세분석국 정치군사분석과 편\n", - " https://unibook.unikorea.go.kr/material/list?m...\n", + " 7\n", + " 북한 핵실험 이후 북한 문제 해법\n", + " 통일연구원\n", + " https://unibook.unikorea.go.kr/board/view?boar...\n", " 통일부\n", " https://unibook.unikorea.go.kr/\n", - " 통일부 발간물\n", - " 북한 주요인사 인물정보 2017 =북한 주요인물\n", + " 통일문제 이해\n", + " https://unibook.unikorea.go.kr/files/32f6ca04-...\n", + " 북한 핵실험 이후 북한 문제 해법.pdf\n", + " 프로그램09:00～09:30 등록09:30～10:00 개회식개회사 : 서재진 통일연...\n", + " NaN\n", + " 2009\n", + " \n", + " \n", + " 8\n", + " 북한 신년공동사설\n", + " DPRK\n", + " http://knsi.org/knsi/kor/center/view.php?no=94...\n", + " 코리아정책연구원\n", + " http://knsi.org/knsi/kor/index\n", + " 정부자료\n", + " NaN\n", " NaN\n", " NaN\n", + " 원대한 포부와 신심에 넘쳐 더 높이 비약하자 오늘 우리는 선군의 기치밑에 우리 식 ...\n", + " 2006-01-01\n", + " \n", + " \n", + " 9\n", + " 북한 정치범수용소\n", + " 이금순,김수암,이규창,홍예선,김경란.\n", + " http://www.kinu.or.kr/www/jsp/prg/api/dlV.jsp?...\n", + " 통일연구원\n", + " https://www.kinu.or.kr/main/kinuM\n", + " 연구보고서-기타연구보고서\n", + " http://www.kinu.or.kr/pyxis-api/1/digital-file...\n", + " 북한 정치범수용소\n", + " (세원)통일연구원-정치범수용소.hwp 북한 정치범수용소인 쇄 2013년 1월발 행 ...\n", + " Ⅰ. 서론 1. 발간목적 2. 자료수집 방법 개요Ⅱ. 북한체제와 정치범수용소 1. ...\n", + " 2013\n", " \n", " \n", - " ...\n", - " ...\n", - " ...\n", - " ...\n", - " ...\n", - " ...\n", - " ...\n", - " ...\n", - " ...\n", - " ...\n", + " 10\n", + " 북한 교화소\n", + " 한동호,도경옥,이우태,임예준\n", + " http://www.kinu.or.kr/www/jsp/prg/api/dlV.jsp?...\n", + " 통일연구원\n", + " https://www.kinu.or.kr/main/kinuM\n", + " 연구보고서-기타연구보고서\n", + " http://www.kinu.or.kr/pyxis-api/1/digital-file...\n", + " 북한 교화소\n", + " 북한 교화소북한 교화소www.kinu.or.kr한동호 ·도경옥 ·이우태 ·임예준북한...\n", + " Ⅰ. 서 론 ·· 1Ⅱ. 북한 교화소 개관 ·· 31. 교화소 개요 ·· 32. 교...\n", + " 2015\n", " \n", " \n", - " 95\n", - " HRW, 북 ICBM 폭발 민간피해에 “북 정권 주민무시 사례”(RFA 2022. ...\n", - " 관리자\n", - " http://www.nkforum.net/24/?q=YToyOntzOjEyOiJrZ...\n", - " 북한인권전략포럼\n", - " http://www.nkforum.net\n", - " NGO 동향\n", + " 11\n", + " 북한 교화소\n", + " 한동호, 도경옥, 이우태, 임예준\n", + " https://unibook.unikorea.go.kr/board/view?boar...\n", + " 통일부\n", + " https://unibook.unikorea.go.kr/\n", + " 북한동향\n", + " https://unibook.unikorea.go.kr/files/bbs_kinu_...\n", + " 북한 교화소.pdf\n", + " 북한 교화소북한 교화소www.kinu.or.kr한동호 ·도경옥 ·이우태 ·임예준북한...\n", " NaN\n", - " 북한이 전날 김정은 총비서의 지도 아래 신형 대륙간탄도미사일(ICBM) '화성-17...\n", - " 2022-04-02\n", + " 2015\n", " \n", " \n", - " 96\n", - " 선택이 아닌 필수: 남북정상회담과 북한인권'\n", - " 김영호, 하태경\n", - " http://knsi.org/knsi/kor/center/view.php?no=45...\n", - " 코리아정책연구원\n", - " http://knsi.org/knsi/kor/index\n", - " 연구자료\n", + " 12\n", + " 북한 정치범수용소\n", + " 이금순\n", + " https://unibook.unikorea.go.kr/board/view?boar...\n", + " 통일부\n", + " https://unibook.unikorea.go.kr/\n", + " 북한동향\n", + " https://unibook.unikorea.go.kr/files/5a14c601-...\n", + " 북한 정치범수용소.pdf\n", + " (세원)통일연구원-정치범수용소.hwp 북한 정치범수용소인 쇄 2013년 1월발 행 ...\n", " NaN\n", - " _김영호 I.서론 II.헬싱키 협정의 역사적 배경과 영향 III.동북아판 헬싱키 모...\n", - " 2007-09-17\n", + " 2013\n", " \n", " \n", - " 97\n", - " 2012 북한 보건의료 연차보고서\n", - " 관리자\n", + " 13\n", + " 북한 보건경영학연구소\n", + " 연합뉴스\n", " http://www.nkhealth.net/board.php?var=view&cod...\n", " 북한보건의료네트워크\n", " http://www.nkhealth.net/\n", - " 발간자료\n", + " 기타자료\n", + " NaN\n", + " NaN\n", " NaN\n", - " '2012년 북한 보건의료 연차 보고서' □ 연차 보고서 목차 제 1장 북한 보건의...\n", - " 2013-11-29\n", + " (서울=연합뉴스) 최척호 기자= 북한 보건경영학연구소(소장 리봉훈)는 주민들의 건강...\n", + " 2004-06-13\n", " \n", " \n", - " 98\n", - " 북한의 경제운용실태에 대한 연구\n", - " 차문석, 홍민\n", - " http://knsi.org/knsi/kor/center/view.php?no=43...\n", - " 코리아정책연구원\n", - " http://knsi.org/knsi/kor/index\n", - " 연구자료\n", + " 14\n", + " 북한 속담\n", + " 관리자\n", + " http://sharing.net/post/324?&page=2\n", + " 남북나눔운동\n", + " http://sharing.net/\n", + " 북한 알아가기\n", " NaN\n", - " 요약 서론 위기의 북한 경제 제1장 북한의 거시결제 실태 1.예산 및 재정과 무역 ...\n", - " 2007-04-20\n", + " NaN\n", + " NaN\n", + " 북한속담1 같은 한국말이지만 우리에겐 생소한 북한 단어가 많죠.그래서그런지 속담도 ...\n", + " 2022-08-22\n", " \n", " \n", - " 99\n", - " 통일 비용·편익 추계를 위한 북한 공식경제부문의 실태연구\n", - " 임강택,양문수,이석기 공저\n", - " http://www.kinu.or.kr/www/jsp/prg/api/dlV.jsp?...\n", + " 15\n", + " 중소분쟁과 북한\n", + " 관리자\n", + " https://office.kbs.co.kr/tongil/archives/35309\n", + " KBS 통일방송연구\n", + " https://office.kbs.co.kr/tongil/\n", + " 역사\n", + " NaN\n", + " NaN\n", + " NaN\n", + " 1960년대는 북한역사에서 대외적 상황이 국가가 나아가는 길에 커다란 영향을 끼친 ...\n", + " 2006-03-19\n", + " \n", + " \n", + " 16\n", + " 북한 주요기관ㆍ단체 인명록 (2013) =북한 기관ㆍ단체별 인명집\n", + " 통일부 정세분석국 정치군사분석과 편\n", + " https://unibook.unikorea.go.kr/material/list?m...\n", + " 통일부\n", + " https://unibook.unikorea.go.kr/\n", + " 통일부 발간물\n", + " http://unibook.unikorea.go.kr/libeka/elec/WebB...\n", + " 북한 주요기관ㆍ단체 인명록 (2013) =북한 기관ㆍ단체별 인명집\n", + " 2013인 명 록북한 주요기관 · 단체[ ]1 7 9 9 9 991010121215...\n", + " NaN\n", + " NaN\n", + " \n", + " \n", + " 17\n", + " 북한 주요 인물정보 2021 = 북한 주요인사 인물정보\n", + " 통일부 정세분석국 정치군사분석과 편\n", + " https://unibook.unikorea.go.kr/material/list?m...\n", + " 통일부\n", + " https://unibook.unikorea.go.kr/\n", + " 통일부 발간물\n", + " http://unibook.unikorea.go.kr/libeka/elec/2021...\n", + " 북한 주요 인물정보 2021 = 북한 주요인사 인물정보\n", + " 2021� � � � � � � � � � � � � � � � ������� ��...\n", + " NaN\n", + " NaN\n", + " \n", + " \n", + " 18\n", + " 오스트리아, 북한 전문가가 전하는 북한 여행 팁\n", + " 대한무역투자진흥공사\n", + " https://www.kinu.or.kr/brd/board/634/L/menu/37...\n", " 통일연구원\n", - " http://www.kinu.or.kr/www/jsp/prg/\n", - " 통일-통일비용·편익\n", - " 통일 비용·편익 추계를 위한 북한 공식경제부문의 실태연구\n", - " 요약Ⅰ. 서론 Ⅱ. 북한경제의 자산가치에 대한 평가: 인적·자연자산을 중심으로 1....\n", - " 2011\n", + " http://www.kinu.or.kr\n", + " 전체자료\n", + " NaN\n", + " NaN\n", + " NaN\n", + " 오스트리아, 북한 전문가가 전하는 북한 여행 팁 - 뤼디거 프랑크 교수, 북한 여행...\n", + " 2018-08-29\n", + " \n", + " \n", + " 19\n", + " 북한 주요 인물정보 2019 = 북한 주요인사 인물정보\n", + " 통일부 정세분석국 정치군사분석과 편\n", + " https://unibook.unikorea.go.kr/material/list?m...\n", + " 통일부\n", + " https://unibook.unikorea.go.kr/\n", + " 통일부 발간물\n", + " http://unibook.unikorea.go.kr/libeka/elec/2018...\n", + " 북한 주요 인물정보 2019 = 북한 주요인사 인물정보\n", + " 2019북한 주요 인물정보 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행물 등 공...\n", + " NaN\n", + " NaN\n", " \n", " \n", "\n", - "

100 rows × 9 columns

\n", "" ], "text/plain": [ - " title writer \\\n", - "0 변하는 북한 변하지 않는 북한 고정식 저 \n", - "1 북한 사람이 들려주는 북한 이야기 장진성 저 \n", - "2 북한 주요인사 인물정보 2012 =북한 주요인물 통일부 정세분석국 정치군사분석과 편 \n", - "3 북한 주요인사 인물정보 2014 =북한 주요인물 통일부 정세분석국 정치군사분석과 편 \n", - "4 북한 주요인사 인물정보 2017 =북한 주요인물 통일부 정세분석국 정치군사분석과 편 \n", - ".. ... ... \n", - "95 HRW, 북 ICBM 폭발 민간피해에 “북 정권 주민무시 사례”(RFA 2022. ... 관리자 \n", - "96 선택이 아닌 필수: 남북정상회담과 북한인권' 김영호, 하태경 \n", - "97 2012 북한 보건의료 연차보고서 관리자 \n", - "98 북한의 경제운용실태에 대한 연구 차문석, 홍민 \n", - "99 통일 비용·편익 추계를 위한 북한 공식경제부문의 실태연구 임강택,양문수,이석기 공저 \n", + " title writer \\\n", + "0 북한 사람이 들려주는 북한 이야기 장진성 저 \n", + "1 변하는 북한 변하지 않는 북한 고정식 저 \n", + "2 북한 주요인사 인물정보 2017 =북한 주요인물 통일부 정세분석국 정치군사분석과 편 \n", + "3 북한 핵실험 이후 북한 문제 해법 통일연구원 편 \n", + "4 북한 주요인사 인물정보 2012 =북한 주요인물 통일부 정세분석국 정치군사분석과 편 \n", + "5 북한 주요인사 인물정보 2015 = 북한 주요인물 통일부 정세분석국 정치군사분석과 \n", + "6 북한 주요인사 인물정보 2014 =북한 주요인물 통일부 정세분석국 정치군사분석과 편 \n", + "7 북한 핵실험 이후 북한 문제 해법 통일연구원 \n", + "8 북한 신년공동사설 DPRK \n", + "9 북한 정치범수용소 이금순,김수암,이규창,홍예선,김경란. \n", + "10 북한 교화소 한동호,도경옥,이우태,임예준 \n", + "11 북한 교화소 한동호, 도경옥, 이우태, 임예준 \n", + "12 북한 정치범수용소 이금순 \n", + "13 북한 보건경영학연구소 연합뉴스 \n", + "14 북한 속담 관리자 \n", + "15 중소분쟁과 북한 관리자 \n", + "16 북한 주요기관ㆍ단체 인명록 (2013) =북한 기관ㆍ단체별 인명집 통일부 정세분석국 정치군사분석과 편 \n", + "17 북한 주요 인물정보 2021 = 북한 주요인사 인물정보 통일부 정세분석국 정치군사분석과 편 \n", + "18 오스트리아, 북한 전문가가 전하는 북한 여행 팁 대한무역투자진흥공사 \n", + "19 북한 주요 인물정보 2019 = 북한 주요인사 인물정보 통일부 정세분석국 정치군사분석과 편 \n", "\n", " originalURL institution \\\n", "0 https://unibook.unikorea.go.kr/material/list?m... 통일부 \n", "1 https://unibook.unikorea.go.kr/material/list?m... 통일부 \n", "2 https://unibook.unikorea.go.kr/material/list?m... 통일부 \n", - "3 https://unibook.unikorea.go.kr/material/list?m... 통일부 \n", + "3 http://www.kinu.or.kr/www/jsp/prg/api/dlV.jsp?... 통일연구원 \n", "4 https://unibook.unikorea.go.kr/material/list?m... 통일부 \n", - ".. ... ... \n", - "95 http://www.nkforum.net/24/?q=YToyOntzOjEyOiJrZ... 북한인권전략포럼 \n", - "96 http://knsi.org/knsi/kor/center/view.php?no=45... 코리아정책연구원 \n", - "97 http://www.nkhealth.net/board.php?var=view&cod... 북한보건의료네트워크 \n", - "98 http://knsi.org/knsi/kor/center/view.php?no=43... 코리아정책연구원 \n", - "99 http://www.kinu.or.kr/www/jsp/prg/api/dlV.jsp?... 통일연구원 \n", + "5 http://www.kinu.or.kr/brd/board/726/L/menu/382... 통일연구원 \n", + "6 https://unibook.unikorea.go.kr/material/list?m... 통일부 \n", + "7 https://unibook.unikorea.go.kr/board/view?boar... 통일부 \n", + "8 http://knsi.org/knsi/kor/center/view.php?no=94... 코리아정책연구원 \n", + "9 http://www.kinu.or.kr/www/jsp/prg/api/dlV.jsp?... 통일연구원 \n", + "10 http://www.kinu.or.kr/www/jsp/prg/api/dlV.jsp?... 통일연구원 \n", + "11 https://unibook.unikorea.go.kr/board/view?boar... 통일부 \n", + "12 https://unibook.unikorea.go.kr/board/view?boar... 통일부 \n", + "13 http://www.nkhealth.net/board.php?var=view&cod... 북한보건의료네트워크 \n", + "14 http://sharing.net/post/324?&page=2 남북나눔운동 \n", + "15 https://office.kbs.co.kr/tongil/archives/35309 KBS 통일방송연구 \n", + "16 https://unibook.unikorea.go.kr/material/list?m... 통일부 \n", + "17 https://unibook.unikorea.go.kr/material/list?m... 통일부 \n", + "18 https://www.kinu.or.kr/brd/board/634/L/menu/37... 통일연구원 \n", + "19 https://unibook.unikorea.go.kr/material/list?m... 통일부 \n", "\n", - " institutionURL category \\\n", - "0 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", - "1 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", - "2 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", - "3 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", - "4 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", - ".. ... ... \n", - "95 http://www.nkforum.net NGO 동향 \n", - "96 http://knsi.org/knsi/kor/index 연구자료 \n", - "97 http://www.nkhealth.net/ 발간자료 \n", - "98 http://knsi.org/knsi/kor/index 연구자료 \n", - "99 http://www.kinu.or.kr/www/jsp/prg/ 통일-통일비용·편익 \n", + " institutionURL category \\\n", + "0 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", + "1 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", + "2 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", + "3 https://www.kinu.or.kr/main/kinuM 연구보고서-기타연구보고서 \n", + "4 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", + "5 https://www.kinu.or.kr/main/kinuM 통일부 발간자료 \n", + "6 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", + "7 https://unibook.unikorea.go.kr/ 통일문제 이해 \n", + "8 http://knsi.org/knsi/kor/index 정부자료 \n", + "9 https://www.kinu.or.kr/main/kinuM 연구보고서-기타연구보고서 \n", + "10 https://www.kinu.or.kr/main/kinuM 연구보고서-기타연구보고서 \n", + "11 https://unibook.unikorea.go.kr/ 북한동향 \n", + "12 https://unibook.unikorea.go.kr/ 북한동향 \n", + "13 http://www.nkhealth.net/ 기타자료 \n", + "14 http://sharing.net/ 북한 알아가기 \n", + "15 https://office.kbs.co.kr/tongil/ 역사 \n", + "16 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", + "17 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", + "18 http://www.kinu.or.kr 전체자료 \n", + "19 https://unibook.unikorea.go.kr/ 통일부 발간물 \n", "\n", - " fileName \\\n", - "0 변하는 북한 변하지 않는 북한 \n", - "1 북한 사람이 들려주는 북한 이야기 \n", - "2 북한 주요인사 인물정보 2012 =북한 주요인물 \n", - "3 북한 주요인사 인물정보 2014 =북한 주요인물 \n", - "4 북한 주요인사 인물정보 2017 =북한 주요인물 \n", - ".. ... \n", - "95 NaN \n", - "96 NaN \n", - "97 NaN \n", - "98 NaN \n", - "99 통일 비용·편익 추계를 위한 북한 공식경제부문의 실태연구 \n", + " fileURL \\\n", + "0 http://unibook.unikorea.go.kr/libeka/elec/WebB... \n", + "1 http://unibook.unikorea.go.kr/libeka/elec/WebB... \n", + "2 http://unibook.unikorea.go.kr/libeka/elec/WebB... \n", + "3 http://www.kinu.or.kr/pyxis-api/1/digital-file... \n", + "4 http://unibook.unikorea.go.kr/libeka/elec/WebB... \n", + "5 http://www.kinu.or.kr/com/file/filedown?_ci=23... \n", + "6 http://unibook.unikorea.go.kr/libeka/elec/WebB... \n", + "7 https://unibook.unikorea.go.kr/files/32f6ca04-... \n", + "8 NaN \n", + "9 http://www.kinu.or.kr/pyxis-api/1/digital-file... \n", + "10 http://www.kinu.or.kr/pyxis-api/1/digital-file... \n", + "11 https://unibook.unikorea.go.kr/files/bbs_kinu_... \n", + "12 https://unibook.unikorea.go.kr/files/5a14c601-... \n", + "13 NaN \n", + "14 NaN \n", + "15 NaN \n", + "16 http://unibook.unikorea.go.kr/libeka/elec/WebB... \n", + "17 http://unibook.unikorea.go.kr/libeka/elec/2021... \n", + "18 NaN \n", + "19 http://unibook.unikorea.go.kr/libeka/elec/2018... \n", + "\n", + " fileName \\\n", + "0 북한 사람이 들려주는 북한 이야기 \n", + "1 변하는 북한 변하지 않는 북한 \n", + "2 북한 주요인사 인물정보 2017 =북한 주요인물 \n", + "3 북한 핵실험 이후 북한 문제 해법 \n", + "4 북한 주요인사 인물정보 2012 =북한 주요인물 \n", + "5 북한 주요인사 인물정보 2015 = 북한 주요인물 \n", + "6 북한 주요인사 인물정보 2014 =북한 주요인물 \n", + "7 북한 핵실험 이후 북한 문제 해법.pdf \n", + "8 NaN \n", + "9 북한 정치범수용소 \n", + "10 북한 교화소 \n", + "11 북한 교화소.pdf \n", + "12 북한 정치범수용소.pdf \n", + "13 NaN \n", + "14 NaN \n", + "15 NaN \n", + "16 북한 주요기관ㆍ단체 인명록 (2013) =북한 기관ㆍ단체별 인명집 \n", + "17 북한 주요 인물정보 2021 = 북한 주요인사 인물정보 \n", + "18 NaN \n", + "19 북한 주요 인물정보 2019 = 북한 주요인사 인물정보 \n", + "\n", + " fileContent \\\n", + "0 주제가 있는통일 강 좌 36장진성 (뉴포커스 대표) 북한 사람이 들려주는 북한 이야... \n", + "1 주 제 가있 는통 일강 좌30변 하 는 북 한 변 하 지 않 는 북 한 주제가 있는... \n", + "2 2017인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행... \n", + "3 프로그램09:00～09:30 등록09:30～10:00 개회식개회사 : 서재진 통일연... \n", + "4 통일부 정세분석국 정치군사분석과 서울특별시 종로구 세종대로 209 정부중앙청사 41... \n", + "5 2015인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행... \n", + "6 2014인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행... \n", + "7 프로그램09:00～09:30 등록09:30～10:00 개회식개회사 : 서재진 통일연... \n", + "8 NaN \n", + "9 (세원)통일연구원-정치범수용소.hwp 북한 정치범수용소인 쇄 2013년 1월발 행 ... \n", + "10 북한 교화소북한 교화소www.kinu.or.kr한동호 ·도경옥 ·이우태 ·임예준북한... \n", + "11 북한 교화소북한 교화소www.kinu.or.kr한동호 ·도경옥 ·이우태 ·임예준북한... \n", + "12 (세원)통일연구원-정치범수용소.hwp 북한 정치범수용소인 쇄 2013년 1월발 행 ... \n", + "13 NaN \n", + "14 NaN \n", + "15 NaN \n", + "16 2013인 명 록북한 주요기관 · 단체[ ]1 7 9 9 9 991010121215... \n", + "17 2021� � � � � � � � � � � � � � � � ������� ��... \n", + "18 NaN \n", + "19 2019북한 주요 인물정보 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행물 등 공... \n", "\n", " body date \n", "0 NaN NaN \n", "1 NaN NaN \n", "2 NaN NaN \n", - "3 NaN NaN \n", + "3 제1세션: 대북정책 회고와 과제ㅇ 6.15 남북공동선언 어떻게 볼 것인가?/ 김영호... 2009 \n", "4 NaN NaN \n", - ".. ... ... \n", - "95 북한이 전날 김정은 총비서의 지도 아래 신형 대륙간탄도미사일(ICBM) '화성-17... 2022-04-02 \n", - "96 _김영호 I.서론 II.헬싱키 협정의 역사적 배경과 영향 III.동북아판 헬싱키 모... 2007-09-17 \n", - "97 '2012년 북한 보건의료 연차 보고서' □ 연차 보고서 목차 제 1장 북한 보건의... 2013-11-29 \n", - "98 요약 서론 위기의 북한 경제 제1장 북한의 거시결제 실태 1.예산 및 재정과 무역 ... 2007-04-20 \n", - "99 요약Ⅰ. 서론 Ⅱ. 북한경제의 자산가치에 대한 평가: 인적·자연자산을 중심으로 1.... 2011 \n", - "\n", - "[100 rows x 9 columns]" + "5 NaN 2015-01-01 \n", + "6 NaN NaN \n", + "7 NaN 2009 \n", + "8 원대한 포부와 신심에 넘쳐 더 높이 비약하자 오늘 우리는 선군의 기치밑에 우리 식 ... 2006-01-01 \n", + "9 Ⅰ. 서론 1. 발간목적 2. 자료수집 방법 개요Ⅱ. 북한체제와 정치범수용소 1. ... 2013 \n", + "10 Ⅰ. 서 론 ·· 1Ⅱ. 북한 교화소 개관 ·· 31. 교화소 개요 ·· 32. 교... 2015 \n", + "11 NaN 2015 \n", + "12 NaN 2013 \n", + "13 (서울=연합뉴스) 최척호 기자= 북한 보건경영학연구소(소장 리봉훈)는 주민들의 건강... 2004-06-13 \n", + "14 북한속담1 같은 한국말이지만 우리에겐 생소한 북한 단어가 많죠.그래서그런지 속담도 ... 2022-08-22 \n", + "15 1960년대는 북한역사에서 대외적 상황이 국가가 나아가는 길에 커다란 영향을 끼친 ... 2006-03-19 \n", + "16 NaN NaN \n", + "17 NaN NaN \n", + "18 오스트리아, 북한 전문가가 전하는 북한 여행 팁 - 뤼디거 프랑크 교수, 북한 여행... 2018-08-29 \n", + "19 NaN NaN " ] }, - "execution_count": 12, + "execution_count": 4, "metadata": {}, "output_type": "execute_result" } @@ -467,7 +727,7 @@ }, { "cell_type": "code", - "execution_count": 10, + "execution_count": 7, "metadata": {}, "outputs": [ { @@ -502,164 +762,291 @@ " \n", " \n", " 0\n", - " 변하는 북한 변하지 않는 북한\n", - " NaN\n", - " 변하는 북한 변하지 않는 북한\n", + " 북한 사람이 들려주는 북한 이야기\n", " NaN\n", + " 북한 사람이 들려주는 북한 이야기\n", + " 주제가 있는통일 강 좌 36장진성 (뉴포커스 대표) 북한 사람이 들려주는 북한 이야...\n", " 0\n", - " 0\n", + " 200\n", " \n", " \n", " 1\n", - " 북한 사람이 들려주는 북한 이야기\n", + " 변하는 북한 변하지 않는 북한\n", " NaN\n", - " 북한 사람이 들려주는 북한 이야기\n", + " 변하는 북한 변하지 않는 북한\n", + " 주 제 가있 는통 일강 좌30변 하 는 북 한 변 하 지 않 는 북 한 주제가 있는...\n", + " 0\n", + " 200\n", + " \n", + " \n", + " 2\n", + " 북한 주요인사 인물정보 2017 =북한 주요인물\n", " NaN\n", + " 북한 주요인사 인물정보 2017 =북한 주요인물\n", + " 2017인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행...\n", " 0\n", + " 200\n", + " \n", + " \n", + " 3\n", + " 북한 핵실험 이후 북한 문제 해법\n", + " 제1세션: 대북정책 회고와 과제ㅇ 6.15 남북공동선언 어떻게 볼 것인가?/ 김영호...\n", + " 북한 핵실험 이후 북한 문제 해법\n", + " 프로그램09:00～09:30 등록09:30～10:00 개회식개회사 : 서재진 통일연...\n", " 0\n", + " 200\n", " \n", " \n", - " 2\n", + " 4\n", " 북한 주요인사 인물정보 2012 =북한 주요인물\n", " NaN\n", " 북한 주요인사 인물정보 2012 =북한 주요인물\n", - " NaN\n", + " 통일부 정세분석국 정치군사분석과 서울특별시 종로구 세종대로 209 정부중앙청사 41...\n", " 0\n", + " 200\n", + " \n", + " \n", + " 5\n", + " 북한 주요인사 인물정보 2015 = 북한 주요인물\n", + " NaN\n", + " 북한 주요인사 인물정보 2015 = 북한 주요인물\n", + " 2015인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행...\n", " 0\n", + " 200\n", " \n", " \n", - " 3\n", + " 6\n", " 북한 주요인사 인물정보 2014 =북한 주요인물\n", " NaN\n", " 북한 주요인사 인물정보 2014 =북한 주요인물\n", - " NaN\n", + " 2014인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행...\n", " 0\n", + " 200\n", + " \n", + " \n", + " 7\n", + " 북한 핵실험 이후 북한 문제 해법\n", + " NaN\n", + " 북한 핵실험 이후 북한 문제 해법.pdf\n", + " 프로그램09:00～09:30 등록09:30～10:00 개회식개회사 : 서재진 통일연...\n", " 0\n", + " 200\n", " \n", " \n", - " 4\n", - " 북한 주요인사 인물정보 2017 =북한 주요인물\n", + " 8\n", + " 북한 신년공동사설\n", + " 원대한 포부와 신심에 넘쳐 더 높이 비약하자 오늘 우리는 선군의 기치밑에 우리 식 ...\n", " NaN\n", - " 북한 주요인사 인물정보 2017 =북한 주요인물\n", " NaN\n", " 0\n", + " 200\n", + " \n", + " \n", + " 9\n", + " 북한 정치범수용소\n", + " Ⅰ. 서론 1. 발간목적 2. 자료수집 방법 개요Ⅱ. 북한체제와 정치범수용소 1. ...\n", + " 북한 정치범수용소\n", + " (세원)통일연구원-정치범수용소.hwp 북한 정치범수용소인 쇄 2013년 1월발 행 ...\n", " 0\n", + " 200\n", " \n", " \n", - " ...\n", - " ...\n", - " ...\n", - " ...\n", - " ...\n", - " ...\n", - " ...\n", + " 10\n", + " 북한 교화소\n", + " Ⅰ. 서 론 ·· 1Ⅱ. 북한 교화소 개관 ·· 31. 교화소 개요 ·· 32. 교...\n", + " 북한 교화소\n", + " 북한 교화소북한 교화소www.kinu.or.kr한동호 ·도경옥 ·이우태 ·임예준북한...\n", + " 0\n", + " 200\n", " \n", " \n", - " 95\n", - " HRW, 북 ICBM 폭발 민간피해에 “북 정권 주민무시 사례”(RFA 2022. ...\n", - " 북한이 전날 김정은 총비서의 지도 아래 신형 대륙간탄도미사일(ICBM) '화성-17...\n", - " NaN\n", + " 11\n", + " 북한 교화소\n", " NaN\n", + " 북한 교화소.pdf\n", + " 북한 교화소북한 교화소www.kinu.or.kr한동호 ·도경옥 ·이우태 ·임예준북한...\n", + " 0\n", " 200\n", + " \n", + " \n", + " 12\n", + " 북한 정치범수용소\n", + " NaN\n", + " 북한 정치범수용소.pdf\n", + " (세원)통일연구원-정치범수용소.hwp 북한 정치범수용소인 쇄 2013년 1월발 행 ...\n", " 0\n", + " 200\n", " \n", " \n", - " 96\n", - " 선택이 아닌 필수: 남북정상회담과 북한인권'\n", - " _김영호 I.서론 II.헬싱키 협정의 역사적 배경과 영향 III.동북아판 헬싱키 모...\n", + " 13\n", + " 북한 보건경영학연구소\n", + " (서울=연합뉴스) 최척호 기자= 북한 보건경영학연구소(소장 리봉훈)는 주민들의 건강...\n", " NaN\n", " NaN\n", - " 200\n", " 0\n", + " 200\n", " \n", " \n", - " 97\n", - " 2012 북한 보건의료 연차보고서\n", - " '2012년 북한 보건의료 연차 보고서' □ 연차 보고서 목차 제 1장 북한 보건의...\n", + " 14\n", + " 북한 속담\n", + " 북한속담1 같은 한국말이지만 우리에겐 생소한 북한 단어가 많죠.그래서그런지 속담도 ...\n", " NaN\n", " NaN\n", - " 200\n", " 0\n", + " 200\n", " \n", " \n", - " 98\n", - " 북한의 경제운용실태에 대한 연구\n", - " 요약 서론 위기의 북한 경제 제1장 북한의 거시결제 실태 1.예산 및 재정과 무역 ...\n", + " 15\n", + " 중소분쟁과 북한\n", + " 1960년대는 북한역사에서 대외적 상황이 국가가 나아가는 길에 커다란 영향을 끼친 ...\n", " NaN\n", " NaN\n", + " 0\n", " 200\n", + " \n", + " \n", + " 16\n", + " 북한 주요기관ㆍ단체 인명록 (2013) =북한 기관ㆍ단체별 인명집\n", + " NaN\n", + " 북한 주요기관ㆍ단체 인명록 (2013) =북한 기관ㆍ단체별 인명집\n", + " 2013인 명 록북한 주요기관 · 단체[ ]1 7 9 9 9 991010121215...\n", " 0\n", + " 200\n", " \n", " \n", - " 99\n", - " 통일 비용·편익 추계를 위한 북한 공식경제부문의 실태연구\n", - " 요약Ⅰ. 서론 Ⅱ. 북한경제의 자산가치에 대한 평가: 인적·자연자산을 중심으로 1....\n", - " 통일 비용·편익 추계를 위한 북한 공식경제부문의 실태연구\n", + " 17\n", + " 북한 주요 인물정보 2021 = 북한 주요인사 인물정보\n", " NaN\n", + " 북한 주요 인물정보 2021 = 북한 주요인사 인물정보\n", + " 2021� � � � � � � � � � � � � � � � ������� ��...\n", + " 0\n", " 200\n", + " \n", + " \n", + " 18\n", + " 오스트리아, 북한 전문가가 전하는 북한 여행 팁\n", + " 오스트리아, 북한 전문가가 전하는 북한 여행 팁 - 뤼디거 프랑크 교수, 북한 여행...\n", + " NaN\n", + " NaN\n", " 0\n", + " 200\n", + " \n", + " \n", + " 19\n", + " 북한 주요 인물정보 2019 = 북한 주요인사 인물정보\n", + " NaN\n", + " 북한 주요 인물정보 2019 = 북한 주요인사 인물정보\n", + " 2019북한 주요 인물정보 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행물 등 공...\n", + " 0\n", + " 200\n", " \n", " \n", "\n", - "

100 rows × 6 columns

\n", "" ], "text/plain": [ - " title \\\n", - "0 변하는 북한 변하지 않는 북한 \n", - "1 북한 사람이 들려주는 북한 이야기 \n", - "2 북한 주요인사 인물정보 2012 =북한 주요인물 \n", - "3 북한 주요인사 인물정보 2014 =북한 주요인물 \n", - "4 북한 주요인사 인물정보 2017 =북한 주요인물 \n", - ".. ... \n", - "95 HRW, 북 ICBM 폭발 민간피해에 “북 정권 주민무시 사례”(RFA 2022. ... \n", - "96 선택이 아닌 필수: 남북정상회담과 북한인권' \n", - "97 2012 북한 보건의료 연차보고서 \n", - "98 북한의 경제운용실태에 대한 연구 \n", - "99 통일 비용·편익 추계를 위한 북한 공식경제부문의 실태연구 \n", + " title \\\n", + "0 북한 사람이 들려주는 북한 이야기 \n", + "1 변하는 북한 변하지 않는 북한 \n", + "2 북한 주요인사 인물정보 2017 =북한 주요인물 \n", + "3 북한 핵실험 이후 북한 문제 해법 \n", + "4 북한 주요인사 인물정보 2012 =북한 주요인물 \n", + "5 북한 주요인사 인물정보 2015 = 북한 주요인물 \n", + "6 북한 주요인사 인물정보 2014 =북한 주요인물 \n", + "7 북한 핵실험 이후 북한 문제 해법 \n", + "8 북한 신년공동사설 \n", + "9 북한 정치범수용소 \n", + "10 북한 교화소 \n", + "11 북한 교화소 \n", + "12 북한 정치범수용소 \n", + "13 북한 보건경영학연구소 \n", + "14 북한 속담 \n", + "15 중소분쟁과 북한 \n", + "16 북한 주요기관ㆍ단체 인명록 (2013) =북한 기관ㆍ단체별 인명집 \n", + "17 북한 주요 인물정보 2021 = 북한 주요인사 인물정보 \n", + "18 오스트리아, 북한 전문가가 전하는 북한 여행 팁 \n", + "19 북한 주요 인물정보 2019 = 북한 주요인사 인물정보 \n", "\n", " body \\\n", "0 NaN \n", "1 NaN \n", "2 NaN \n", - "3 NaN \n", + "3 제1세션: 대북정책 회고와 과제ㅇ 6.15 남북공동선언 어떻게 볼 것인가?/ 김영호... \n", "4 NaN \n", - ".. ... \n", - "95 북한이 전날 김정은 총비서의 지도 아래 신형 대륙간탄도미사일(ICBM) '화성-17... \n", - "96 _김영호 I.서론 II.헬싱키 협정의 역사적 배경과 영향 III.동북아판 헬싱키 모... \n", - "97 '2012년 북한 보건의료 연차 보고서' □ 연차 보고서 목차 제 1장 북한 보건의... \n", - "98 요약 서론 위기의 북한 경제 제1장 북한의 거시결제 실태 1.예산 및 재정과 무역 ... \n", - "99 요약Ⅰ. 서론 Ⅱ. 북한경제의 자산가치에 대한 평가: 인적·자연자산을 중심으로 1.... \n", + "5 NaN \n", + "6 NaN \n", + "7 NaN \n", + "8 원대한 포부와 신심에 넘쳐 더 높이 비약하자 오늘 우리는 선군의 기치밑에 우리 식 ... \n", + "9 Ⅰ. 서론 1. 발간목적 2. 자료수집 방법 개요Ⅱ. 북한체제와 정치범수용소 1. ... \n", + "10 Ⅰ. 서 론 ·· 1Ⅱ. 북한 교화소 개관 ·· 31. 교화소 개요 ·· 32. 교... \n", + "11 NaN \n", + "12 NaN \n", + "13 (서울=연합뉴스) 최척호 기자= 북한 보건경영학연구소(소장 리봉훈)는 주민들의 건강... \n", + "14 북한속담1 같은 한국말이지만 우리에겐 생소한 북한 단어가 많죠.그래서그런지 속담도 ... \n", + "15 1960년대는 북한역사에서 대외적 상황이 국가가 나아가는 길에 커다란 영향을 끼친 ... \n", + "16 NaN \n", + "17 NaN \n", + "18 오스트리아, 북한 전문가가 전하는 북한 여행 팁 - 뤼디거 프랑크 교수, 북한 여행... \n", + "19 NaN \n", "\n", - " fileName fileContent bodyCount fileCount \n", - "0 변하는 북한 변하지 않는 북한 NaN 0 0 \n", - "1 북한 사람이 들려주는 북한 이야기 NaN 0 0 \n", - "2 북한 주요인사 인물정보 2012 =북한 주요인물 NaN 0 0 \n", - "3 북한 주요인사 인물정보 2014 =북한 주요인물 NaN 0 0 \n", - "4 북한 주요인사 인물정보 2017 =북한 주요인물 NaN 0 0 \n", - ".. ... ... ... ... \n", - "95 NaN NaN 200 0 \n", - "96 NaN NaN 200 0 \n", - "97 NaN NaN 200 0 \n", - "98 NaN NaN 200 0 \n", - "99 통일 비용·편익 추계를 위한 북한 공식경제부문의 실태연구 NaN 200 0 \n", + " fileName \\\n", + "0 북한 사람이 들려주는 북한 이야기 \n", + "1 변하는 북한 변하지 않는 북한 \n", + "2 북한 주요인사 인물정보 2017 =북한 주요인물 \n", + "3 북한 핵실험 이후 북한 문제 해법 \n", + "4 북한 주요인사 인물정보 2012 =북한 주요인물 \n", + "5 북한 주요인사 인물정보 2015 = 북한 주요인물 \n", + "6 북한 주요인사 인물정보 2014 =북한 주요인물 \n", + "7 북한 핵실험 이후 북한 문제 해법.pdf \n", + "8 NaN \n", + "9 북한 정치범수용소 \n", + "10 북한 교화소 \n", + "11 북한 교화소.pdf \n", + "12 북한 정치범수용소.pdf \n", + "13 NaN \n", + "14 NaN \n", + "15 NaN \n", + "16 북한 주요기관ㆍ단체 인명록 (2013) =북한 기관ㆍ단체별 인명집 \n", + "17 북한 주요 인물정보 2021 = 북한 주요인사 인물정보 \n", + "18 NaN \n", + "19 북한 주요 인물정보 2019 = 북한 주요인사 인물정보 \n", "\n", - "[100 rows x 6 columns]" + " fileContent bodyCount fileCount \n", + "0 주제가 있는통일 강 좌 36장진성 (뉴포커스 대표) 북한 사람이 들려주는 북한 이야... 0 200 \n", + "1 주 제 가있 는통 일강 좌30변 하 는 북 한 변 하 지 않 는 북 한 주제가 있는... 0 200 \n", + "2 2017인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행... 0 200 \n", + "3 프로그램09:00～09:30 등록09:30～10:00 개회식개회사 : 서재진 통일연... 0 200 \n", + "4 통일부 정세분석국 정치군사분석과 서울특별시 종로구 세종대로 209 정부중앙청사 41... 0 200 \n", + "5 2015인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행... 0 200 \n", + "6 2014인 물 정 보 북한 주요인사 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행... 0 200 \n", + "7 프로그램09:00～09:30 등록09:30～10:00 개회식개회사 : 서재진 통일연... 0 200 \n", + "8 NaN 0 200 \n", + "9 (세원)통일연구원-정치범수용소.hwp 북한 정치범수용소인 쇄 2013년 1월발 행 ... 0 200 \n", + "10 북한 교화소북한 교화소www.kinu.or.kr한동호 ·도경옥 ·이우태 ·임예준북한... 0 200 \n", + "11 북한 교화소북한 교화소www.kinu.or.kr한동호 ·도경옥 ·이우태 ·임예준북한... 0 200 \n", + "12 (세원)통일연구원-정치범수용소.hwp 북한 정치범수용소인 쇄 2013년 1월발 행 ... 0 200 \n", + "13 NaN 0 200 \n", + "14 NaN 0 200 \n", + "15 NaN 0 200 \n", + "16 2013인 명 록북한 주요기관 · 단체[ ]1 7 9 9 9 991010121215... 0 200 \n", + "17 2021� � � � � � � � � � � � � � � � ������� ��... 0 200 \n", + "18 NaN 0 200 \n", + "19 2019북한 주요 인물정보 [ 일러두기 ] ￮ 이 책은 북한의 보도나 간행물 등 공... 0 200 " ] }, - "execution_count": 10, + "execution_count": 7, "metadata": {}, "output_type": "execute_result" } ], "source": [ - "df = pd.DataFrame()\n", - "for item in items:\n", - " dft = pd.DataFrame(data=item, index=[0], columns=['title','body','fileName','fileContent'])\n", - " dft['bodyCount']=len(dft['body'][0]) if type(dft['body'][0])==str else 0\n", - " dft['fileCount']=len(dft['fileContent'][0]) if type(dft['fileContent'][0])==str else 0\n", - " df = df.append(dft,ignore_index=True)\n", - "df" + "def countLength(df):\n", + " dft = pd.DataFrame(df, columns=['title','body','fileName','fileContent'])\n", + " for i in dft.index:\n", + " dft['bodyCount']=len(dft['body'][i]) if type(dft['body'][i])==str else 0\n", + " dft['fileCount']=len(dft['fileContent'][i]) if type(dft['fileContent'][i])==str else 0\n", + " return dft\n", + "countLength(df)" ] }, { @@ -673,56 +1060,12 @@ }, { "cell_type": "code", - "execution_count": 35, + "execution_count": 8, "metadata": {}, - "outputs": [ - { - "name": "stdout", - "output_type": "stream", - "text": [ - "Collecting pyhwp\n", - " Downloading pyhwp-0.1b15.tar.gz (218 kB)\n", - "Requirement already satisfied: cryptography in c:\\users\\cindy\\anaconda3\\lib\\site-packages (from pyhwp) (2.9.2)\n", - "Requirement already satisfied: lxml in c:\\users\\cindy\\anaconda3\\lib\\site-packages (from pyhwp) (4.5.2)\n", - "Requirement already satisfied: olefile>=0.43 in c:\\users\\cindy\\anaconda3\\lib\\site-packages (from pyhwp) (0.46)\n" - ] - }, - { - "ename": "AttributeError", - "evalue": "module 'requests' has no attribute 'urlopen'", - "output_type": "error", - "traceback": [ - "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m", - "\u001b[1;31mAttributeError\u001b[0m Traceback (most recent call last)", - "\u001b[1;32m\u001b[0m in \u001b[0;36m\u001b[1;34m\u001b[0m\n\u001b[0;32m 14\u001b[0m \u001b[0mresponse\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mtextract\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mprocess\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m\"./temp.pdf\"\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m 15\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m---> 16\u001b[1;33m \u001b[0mreadFileFromUrl\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'http://unibook.unikorea.go.kr/libeka/elec/WebBook_data1/00222050/ebook/media/src.pdf'\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m 17\u001b[0m \u001b[1;31m# response\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n", - "\u001b[1;32m\u001b[0m in \u001b[0;36mreadFileFromUrl\u001b[1;34m(url)\u001b[0m\n\u001b[0;32m 7\u001b[0m \u001b[1;32mdef\u001b[0m \u001b[0mreadFileFromUrl\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0murl\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m 8\u001b[0m \u001b[0msavename\u001b[0m \u001b[1;33m=\u001b[0m \u001b[1;34m'temp.pdf'\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m----> 9\u001b[1;33m \u001b[0mmem\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mr\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0murlopen\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0murl\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mread\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m 10\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m 11\u001b[0m \u001b[1;32mwith\u001b[0m \u001b[0mopen\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0msavename\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mmode\u001b[0m\u001b[1;33m=\u001b[0m\u001b[1;34m\"wb\"\u001b[0m\u001b[1;33m)\u001b[0m \u001b[1;32mas\u001b[0m \u001b[0mf\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n", - "\u001b[1;31mAttributeError\u001b[0m: module 'requests' has no attribute 'urlopen'" - ] - }, - { - "name": "stdout", - "output_type": "stream", - "text": [ - "Requirement already satisfied: cffi!=1.11.3,>=1.8 in c:\\users\\cindy\\anaconda3\\lib\\site-packages (from cryptography->pyhwp) (1.14.0)\n", - "Requirement already satisfied: six>=1.4.1 in c:\\users\\cindy\\anaconda3\\lib\\site-packages (from cryptography->pyhwp) (1.12.0)\n", - "Requirement already satisfied: pycparser in c:\\users\\cindy\\anaconda3\\lib\\site-packages (from cffi!=1.11.3,>=1.8->cryptography->pyhwp) (2.20)\n", - "Building wheels for collected packages: pyhwp\n", - " Building wheel for pyhwp (setup.py): started\n", - " Building wheel for pyhwp (setup.py): finished with status 'done'\n", - " Created wheel for pyhwp: filename=pyhwp-0.1b15-py3-none-any.whl size=315443 sha256=190116c1583d9d259facf340142e08101daffc2e6394904b507b8b56cf507ee9\n", - " Stored in directory: c:\\users\\cindy\\appdata\\local\\pip\\cache\\wheels\\00\\f7\\4d\\ec5a2f465cb6f781c5582214b334756e0e033fd51e2e0fc040\n", - "Successfully built pyhwp\n", - "Installing collected packages: pyhwp\n", - "Successfully installed pyhwp-0.1b15\n" - ] - } - ], + "outputs": [], "source": [ - "# ! pip install textract\n", - "!pip install pyhwp\n", - "\n", - "import requests as r\n", - "import textract\n", + "# !pip3 install tika\n", + "from tika import parser\n", "\n", "def readFileFromUrl(url):\n", " savename = 'temp.pdf'\n", @@ -730,56 +1073,335 @@ " \n", " with open(savename, mode=\"wb\") as f:\n", " f.write(mem)\n", - " \n", - " response = textract.process(\"./temp.pdf\")\n", - " \n", - "readFileFromUrl('http://unibook.unikorea.go.kr/libeka/elec/WebBook_data1/00222050/ebook/media/src.pdf')\n", - "# response" + "\n", + " raw_data = parser.from_file(savename) \n", + " response = raw_data['content'].strip()\n", + " return response\n", + "\n", + "# test\n", + "#response = readFileFromUrl('http://unibook.unikorea.go.kr/libeka/elec/WebBook_data1/00222050/ebook/media/src.pdf')\n", + "#response" ] }, { "cell_type": "code", - "execution_count": null, + "execution_count": 9, "metadata": {}, - "outputs": [], + "outputs": [ + { + "data": { + "text/html": [ + "
\n", + "\n", + "\n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + " \n", + "
titlebodyfileNamefileContentbodyCountfileCount
0북한 사람이 들려주는 북한 이야기NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
1변하는 북한 변하지 않는 북한NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
2북한 주요인사 인물정보 2017 =북한 주요인물NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
3북한 핵실험 이후 북한 문제 해법제1세션: 대북정책 회고와 과제ㅇ 6.15 남북공동선언 어떻게 볼 것인가?/ 김영호...NaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
4북한 주요인사 인물정보 2012 =북한 주요인물NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
5북한 주요인사 인물정보 2015 = 북한 주요인물NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
6북한 주요인사 인물정보 2014 =북한 주요인물NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
7북한 핵실험 이후 북한 문제 해법NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
8북한 신년공동사설원대한 포부와 신심에 넘쳐 더 높이 비약하자 오늘 우리는 선군의 기치밑에 우리 식 ...NaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
9북한 정치범수용소Ⅰ. 서론 1. 발간목적 2. 자료수집 방법 개요Ⅱ. 북한체제와 정치범수용소 1. ...NaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
10북한 교화소Ⅰ. 서 론 ·· 1Ⅱ. 북한 교화소 개관 ·· 31. 교화소 개요 ·· 32. 교...NaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
11북한 교화소NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
12북한 정치범수용소NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
13북한 보건경영학연구소(서울=연합뉴스) 최척호 기자= 북한 보건경영학연구소(소장 리봉훈)는 주민들의 건강...NaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
14북한 속담북한속담1 같은 한국말이지만 우리에겐 생소한 북한 단어가 많죠.그래서그런지 속담도 ...NaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
15중소분쟁과 북한1960년대는 북한역사에서 대외적 상황이 국가가 나아가는 길에 커다란 영향을 끼친 ...NaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
16북한 주요기관ㆍ단체 인명록 (2013) =북한 기관ㆍ단체별 인명집NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
17북한 주요 인물정보 2021 = 북한 주요인사 인물정보NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
18오스트리아, 북한 전문가가 전하는 북한 여행 팁오스트리아, 북한 전문가가 전하는 북한 여행 팁 - 뤼디거 프랑크 교수, 북한 여행...NaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
19북한 주요 인물정보 2019 = 북한 주요인사 인물정보NaNNaN<3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383...0676935
\n", + "
" + ], + "text/plain": [ + " title \\\n", + "0 북한 사람이 들려주는 북한 이야기 \n", + "1 변하는 북한 변하지 않는 북한 \n", + "2 북한 주요인사 인물정보 2017 =북한 주요인물 \n", + "3 북한 핵실험 이후 북한 문제 해법 \n", + "4 북한 주요인사 인물정보 2012 =북한 주요인물 \n", + "5 북한 주요인사 인물정보 2015 = 북한 주요인물 \n", + "6 북한 주요인사 인물정보 2014 =북한 주요인물 \n", + "7 북한 핵실험 이후 북한 문제 해법 \n", + "8 북한 신년공동사설 \n", + "9 북한 정치범수용소 \n", + "10 북한 교화소 \n", + "11 북한 교화소 \n", + "12 북한 정치범수용소 \n", + "13 북한 보건경영학연구소 \n", + "14 북한 속담 \n", + "15 중소분쟁과 북한 \n", + "16 북한 주요기관ㆍ단체 인명록 (2013) =북한 기관ㆍ단체별 인명집 \n", + "17 북한 주요 인물정보 2021 = 북한 주요인사 인물정보 \n", + "18 오스트리아, 북한 전문가가 전하는 북한 여행 팁 \n", + "19 북한 주요 인물정보 2019 = 북한 주요인사 인물정보 \n", + "\n", + " body fileName \\\n", + "0 NaN NaN \n", + "1 NaN NaN \n", + "2 NaN NaN \n", + "3 제1세션: 대북정책 회고와 과제ㅇ 6.15 남북공동선언 어떻게 볼 것인가?/ 김영호... NaN \n", + "4 NaN NaN \n", + "5 NaN NaN \n", + "6 NaN NaN \n", + "7 NaN NaN \n", + "8 원대한 포부와 신심에 넘쳐 더 높이 비약하자 오늘 우리는 선군의 기치밑에 우리 식 ... NaN \n", + "9 Ⅰ. 서론 1. 발간목적 2. 자료수집 방법 개요Ⅱ. 북한체제와 정치범수용소 1. ... NaN \n", + "10 Ⅰ. 서 론 ·· 1Ⅱ. 북한 교화소 개관 ·· 31. 교화소 개요 ·· 32. 교... NaN \n", + "11 NaN NaN \n", + "12 NaN NaN \n", + "13 (서울=연합뉴스) 최척호 기자= 북한 보건경영학연구소(소장 리봉훈)는 주민들의 건강... NaN \n", + "14 북한속담1 같은 한국말이지만 우리에겐 생소한 북한 단어가 많죠.그래서그런지 속담도 ... NaN \n", + "15 1960년대는 북한역사에서 대외적 상황이 국가가 나아가는 길에 커다란 영향을 끼친 ... NaN \n", + "16 NaN NaN \n", + "17 NaN NaN \n", + "18 오스트리아, 북한 전문가가 전하는 북한 여행 팁 - 뤼디거 프랑크 교수, 북한 여행... NaN \n", + "19 NaN NaN \n", + "\n", + " fileContent bodyCount fileCount \n", + "0 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "1 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "2 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "3 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "4 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "5 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "6 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "7 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "8 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "9 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "10 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "11 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "12 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "13 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "14 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "15 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "16 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "17 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "18 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 \n", + "19 <3230313920C0CEB9B0C1A4BAB828C3D6C1BE295F31383... 0 676935 " + ] + }, + "execution_count": 9, + "metadata": {}, + "output_type": "execute_result" + } + ], "source": [ + "import warnings\n", + "\n", "def addFileContent2df(df,column_name):\n", + " if column_name not in ['body', 'fileContent']:\n", + " warnings.warn('no column')\n", + " return df\n", + "\n", "# column_name warning 추가\n", - " df = pd.DataFrame(columns=['title','body','fileContent'])\n", - " for item in items:\n", - " dft = pd.DataFrame(data=item, index=[0], columns=['title','body','fileContent'])\n", - " url = item['fileURL'] if column_name == 'fileContent' else item['body']\n", - " \n", - " dft[column_name]=readFileFromUrl(url)\n", - " dft['bodyCount']=len(dft['body'][0]) if type(dft['body'][0])==str else 0\n", - " dft['fileCount']=len(dft['fileContent'][0]) if type(dft['fileContent'][0])==str else 0\n", - " df = df.append(dft,ignore_index=True)\n", - "df" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": {}, - "outputs": [], - "source": [ - "# df = addFileContent2df(df,'body')\n", - "df = addFileContent2df(df,'fileContent')\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": {}, - "outputs": [], - "source": [ + " dft = pd.DataFrame(df, columns=['title','body','fileContent','fileURL'])\n", + " for i in df.index:\n", + " try:\n", + " url = df['fileURL'][i] if column_name == 'fileContent' else df['originalURL'][i]\n", + " dft[column_name] = readFileFromUrl(url)\n", + " except: continue\n", + " return dft\n", + "\n", + "df = addFileContent2df(df, 'fileContent')\n", + "df = addFileContent2df(df, 'body')\n", + "df = countLength(df)\n", "df" ] } ], "metadata": { "kernelspec": { - "display_name": "Python 3.8.6 ('venv': venv)", + "display_name": "Python 3.6.9 64-bit", "language": "python", "name": "python3" }, @@ -793,11 +1415,11 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.8.6" + "version": "3.6.9" }, "vscode": { "interpreter": { - "hash": "a4330943245709f10697b34c9cd0995b2f3dbc6f5e0faed6ec304ace1059cc62" + "hash": "31f2aee4e71d21fbe5cf8b01ff0e069b9275f58929596ceb00d14d90e3e16cd6" } } }, diff --git a/app.py b/app.py index c108ba6..707b7a4 100644 --- a/app.py +++ b/app.py @@ -11,7 +11,6 @@ import kubic_ssl import logging from kubic_class import kubic_api - from time import time app = Flask(__name__) @@ -170,6 +169,7 @@ def api(search_name): # print("Date:", request.date) # None으로 뜸 # print("Request:", request.args) print("Execution Time:", time() - start) + return json.dumps(kubic.response, ensure_ascii = False)