표준국어대사전

국립국어원의 표준국어대사전 2002년판은 동아출판사에서 사전으로 배포했다. 그러나 최근에 완성된 표준국어대사전은 이렇게 배포하지 않고 있다. 오로지 표준국어대사전 사이트를 통해서만 사전을 사용할 수 있다. 물론 PC에 설치해서 사용할 수 있는 프로그램도 있다. 그러나 이 프로그램도 표준국어대사전 사이트를 검색한 결과를 되돌려 주는 것에 불과하다. 따라서 표준국어대사전을 딕셔너리 유니버샬에서 사용할 수 있는 사전 파일로 만들기 위해서는 클리핑(Clipping) 작업이 필수적이다.

목차

• 클리핑
• 표준국어대사전
• 클리핑 방법
• 클리핑 어플
• 클리핑 데이타
• 무서운 저작권법
• 남은 이야기
  • 2만개의 데이타 클리핑(크롬 6개, 파폭 6개)
  • 5만개의 데이타 클리핑(크롬 6개, 오페라 6개)
  • 1만개의 데이타 클리핑(크롬 6개, 사파리 4개)
• 각주

사전 만들기

• iPod Touch 강좌 51. 사전 만들기 1. 소개 국립국어원의 표준국어대사전은 표제어의 수가 50... 새창
• iPod Touch 강좌 55. 사전 만들기 3. 컴파일 이번에는 사전 만들기의 세번째 강좌로 클리핑된 ... 새창
• iPod Touch 강좌 56. 사전 만들기 4. 설치 아이팟 터치(iPod Touch)를 사용하면서 사전 어플... 새창
• iPod Touch 강좌 57. 사전 만들기 5. 옛... 이번 글은 사전 만들기의 마지막 강좌이다. 사전... 새창

<?php
//
// 국립국어원 표준국어대사전 클리핑 프로그램
//
// 이 프로그램은 누구나 수정할 수 있지만 배포는 금지합니다.
// 이 프로그램에 대한 어떠한 질문도 받지 않습니다.
// 따라서 이 프로그램을 실행해서 잘 동작하면 웃고, 그렇지 않으면 이 프로그램을 바로 지우기 바랍니다.
// 
// 판올림도 없고 버그 수정도 없습니다.
// 이 프로그램을 사용함으로 발생하는 모든 책임은 본인 스스로에게 있습니다.
//
// $min, $max로 클리핑 범위를 지정
// 프로그램과 같은 폴더에 korea.불max.txt 형태의 파일로 데이타가 클리핑됨
// 이미지가 있으면 자동으로 이미지를 내려받음
// 이미지 뿐만 아니라 본문에 포함된 한자, 고어, 수식등 모든 이미지를 처리
//
set_time_limit(0);
include_once('simple_html_dom.php');
$min=1;
$max=518063;
//
function getQuery($host_ip, $port, $query) {
    global $nuke_url;
    $hostname = ereg_replace("^http://([^/]*)[/]*", "\\1", $nuke_url);
    $referer = "http://".불_SERVER["HTTP_HOST"].불_SERVER["REQUEST_URI"];
    $fp = @fsockopen($host_ip, $port,  &$errno, &$errstr, 10);
    if(!$fp) {
        echo "$errstr: $errno  \n";
    }else {
        @fwrite($fp, "GET $query HTTP/1.0\r\nHost: $hostname\r\nUser-Agent: DoA/1.1\nReferer: $referer\nConnection: Close\r\n\r\n");
        while(!@feof($fp)) {
            $list .= @fgets($fp, 1024);
        }
    }
    @fclose($fp); 
//
    list($header, $body) = preg_split("/\r\n\r\n/", $list, 2);
    return $body;
}
//
function getDict($str_html) {
    $str_html = str_replace('‘<’', '‘<’',$str_html);
    $str_html = str_replace('‘>’', '‘>’',$str_html);
    $str_html = strip_tags($str_html, '<div><ul><li><img><span><td>  ');
    $pattern=array('sword', 'provtitle','exp', 'sdblue', 'NumRG', 'NumRG2', 'NumNO', 'Use_icon', 'idiom_list', 'prov', 'idiom');
    $replace=array(
        'font-family:AppleGothic, Sans-serif ; font-size:14px; font-weight:bold; color:#336699', 
        '', 
        'font-family:AppleGothic, Sans-serif;color:#000000; line-height:1.5; padding:5px;list-style: none;', 
        'font-family:AppleGothic, Sans-serif; font-size:13px;color:#336699;',
        'font-family:tahoma; font-weight:bold;color:#549606; padding-top:-10px; margin-bottom:-0.1;vertical-align:top', 
        'font-family:tahoma;  font-weight:bold;color:#336699;padding-left:8px; margin-top:-10;vertical-align:top;',
        'width:45px; font-weight:bold;color:#cb4a00;vertical-align:top; text-align:right', 
        'color:#444444; padding-left:20px;font-size: 13px',
        'list-style: none;padding:5px;',
        'background:url(icon_prov.gif) no-repeat; background-position:0px 5px; padding:5px 0px 5px 30px;line-height:1.3', 
        'background:url(icon_idiom.gif) no-repeat;background-position:0px 5px;  padding:5px 0px 5px 30px; line-height:1.3');
    $str_html = str_replace($pattern, $replace, $str_html);
    $html= str_get_html($str_html);
//
    foreach($html->find('span[id=print_area]') as $article) {
//
        $item['title1'] = trim($article->find('span.word_title', 0)->plaintext);
        $pattern = array("^", "-", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9");
        $replace = array('', '', '', '', '', '', '', '', '', '', '', '', '', '');
        $item['title1'] = str_replace($pattern, $replace, $item['title1']);
        $item['title2'] = trim($article->find('td.pb10', 0)->plaintext);
        $item['use']=trim($article->find('td[id=use_title]', 0)->plaintext);
        $pattern = array("\r\n", "\n", "\r", "\t", " ");
        $replace = array('', '', '', '', '');
        $item['title2'] = str_replace($pattern, $replace, $item['title2']);
        $item['use'] = str_replace($pattern, $replace, $item['use']);
        list($temp, $item['use'])=split(':', $item['use']);
        $item['list1'] = trim($article->find('div.list', 0)->innertext);
        if($article->find('div.list2', 0)) {
            $item['list1'] .= "  ".trim($article->find('div.list2', 0)->innertext);
            $diff++;
        }
        if($article->find('div.list2', 1)) {
            $item['list1'] .= "  ".trim($article->find('div.list2', 1)->innertext);
            $diff++;
        }
//
        $pattern = array("\r\n", "\n", "\r", "\t");
        $replace = array('', '', '', '');
        $item['list1'] = str_replace($pattern, $replace, $item['list1']);
        $item['list2'] = trim($article->find('div', 1+$diff)->innertext);
        $item['list2'] = str_replace($pattern, $replace, $item['list2']);
        $item['list3'] = trim($article->find('div', 2+$diff)->innertext);
        $item['list3'] = str_replace($pattern, $replace, $item['list3']);
        $item['list4'] = trim($article->find('div', 3+$diff)->innertext);
        $item['list4'] = str_replace($pattern, $replace, $item['list4']);
        $item['list5'] = trim($article->find('div', 4+$diff)->innertext);
        $item['list5'] = str_replace($pattern, $replace, $item['list5']);
        $item['list6'] = trim($article->find('div', 5+$diff)->innertext);
        $item['list6'] = str_replace($pattern, $replace, $item['list6']);
    }
//
    $html->clear();
    unset($html);
    return $item;
}
//
function getHtml($num) {
    $query = '/search/View.jsp?idx='.불num;
    $str_html = getQuery('stdweb2.korean.go.kr', 80, $query);
    return $str_html;
}
//
function saveImg($url) {
    $host=parse_url($url);
    $img = getQuery($host['host'], 80, $host['path']);
    $file=split('/', $host['path']);
    $filename=array_pop($file);
    $fp=fopen($filename, 'w');
    fwrite($fp, $img);
    fclose($fp);
    return $filename;
}
//
function getImgInfo($img) {
    $html= str_get_html($img);
    $url=$html->find('img', 0)->src;
    $alt=$html->find('img', 0)->alt;
    return array($url, $alt);
}
//
function saveDict($filename, $cont) {
    $fp=fopen($filename, 'a');
    fwrite($fp, $cont);
    fclose($fp);
}
//
header("Content-Type: text/html; charset=utf-8");
//
for($i=$min; $i <= $max; $i++) {
$str_html=getHtml($i);
$dict=getDict($str_html);
//
if($dict['img']!='') {
    $dict['img']=saveImg($dict['img']);
}
//
if($dict['title1']=='') {
    $count++;
    continue;
}
$saveDict = $dict['title1']."\t<div style='font-weight: bold; font-size: 20px; color: #0000ff'>".불dict['title2']."</div>";
if($dict['use']!='') $saveDict .= "  <b>◈ 활용</b>:".불dict['use']."  ";
//
if($dict['list1']!=''){
    if(preg_match("/<img.*/",$dict['list1'])) {
        list($url, $alt) = getImgInfo($dict['list1']);
        $filename=saveImg($url);
        if(preg_match("/.gif/is", $filename)) {
            $dict['list1']=str_replace($url, ""$filename"", $dict['list1']);
            $saveDict .= $dict['list1'];
        }else $saveDict .= "<center><img src='".불filename."' width='300'>  ".불alt."</center>";
    }else $saveDict .= $dict['list1'];
}
//
if($dict['list2']!=''){
    if(preg_match("/<img.*/",$dict['list2'])) {
        list($url, $alt) = getImgInfo($dict['list2']);
        $filename=saveImg($url);
        if(preg_match("/.gif/is", $filename)) {
            $dict['list2']=str_replace($url, ""$filename"", $dict['list2']);
            $saveDict .= $dict['list2'];
        }else $saveDict .= "<center><img src='".불filename."' width='300'>  ".불alt."</center>";
    }else $saveDict .= "  ".불dict['list2'];
}
//
if($dict['list3']!=''){
    if(preg_match("/<img.*/",$dict['list3'])) {
        list($url, $alt) = getImgInfo($dict['list3']);
        $filename=saveImg($url);
        if(preg_match("/.gif/is", $filename)) {
            $dict['list3']=str_replace($url, ""$filename"", $dict['list3']);
            $saveDict .= $dict['list3'];
        }else $saveDict .= "<center><img src='".불filename."' width='300'>  ".불alt."</center>";
    }else $saveDict .= "  ".불dict['list3'];
}
//
if($dict['list4']!=''){
    if(preg_match("/<img.*/",$dict['list4'])) {
        list($url, $alt) = getImgInfo($dict['list4']);
        $filename=saveImg($url);
        if(preg_match("/.gif/is", $filename)) {
            $dict['list4']=str_replace($url, ""$filename"", $dict['list4']);
            $saveDict .= $dict['list4'];
        }else $saveDict .= "<center><img src='".불filename."' width='300'>  ".불alt."</center>";
    }else $saveDict .= "  ".불dict['list4'];
}
//
if($dict['list5']!=''){
    if(preg_match("/<img.*/",$dict['list5'])) {
        list($url, $alt) = getImgInfo($dict['list5']);
        $filename=saveImg($url);
        if(preg_match("/.gif/is", $filename)) {
            $dict['list5']=str_replace($url, ""$filename"", $dict['list5']);
            $saveDict .= $dict['list5'];
        }else $saveDict .= "<center><img src='".불filename."' width='300'>  ".불alt."</center>";
    }else $saveDict .= "  ".불dict['list5'];
}
//
if($dict['list6']!=''){
    if(preg_match("/<img.*/",$dict['list6'])) {
        list($url, $alt) = getImgInfo($dict['list6']);
        $filename=saveImg($url);
        if(preg_match("/.gif/is", $filename)) {
            $dict['list6']=str_replace($url, ""$filename"", $dict['list6']);
            $saveDict .= $dict['list6'];
        }else $saveDict .= "<center><img src='".불filename."' width='300'>  ".불alt."</center>";
    }else $saveDict .= "  ".불dict['list6'];
}
//
$saveDict=str_replace('class=', 'style=', $saveDict);
$saveDict=str_replace('id="idiom_list"', 'style="list-style: none;"', $saveDict);
$saveDict=str_replace('id="', 'style="', $saveDict);
$saveDict=preg_replace("/<span style="Definition">(.*?)<\/span>/is", "$1", $saveDict);
$saveDict=preg_replace("/<ul style="">(.\*?)<\/ul>/is", "<span style='font-size: 20px; color: #CC00FF; font-weight: bold;'>$1</span>", $saveDict);
$saveDict=preg_replace("/<span style="color:#444444; padding-left:20px;font-size: 13px">¶<\/span> \*<span style="Use">(.\*?)<\/span>/is", "<div style='color:#444444; padding-left: 20px; font-size: 12px; line-height: 120%'>¶ $1</div>", $saveDict);
    saveDict('korea'.불max.'.txt', $saveDict."\n");
    $time=date("H:i:s");
    echo "  $i : $count : $time -".불saveDict;
}
?>

관련 글타래

• iPod Touch 강좌 51. 사전 만들기 1. 소개 국립국어원의 표준국어대사전은 표제어의 수가 50... 새창
• 아이팟 터치 강좌 50. 유용한 어플들 최근에 다시 아이팟 터치 어플(iPod Touch)에 빠져 살고 있... 새창
• Dictionary Universal에 사전 설치하기 최근에는 글을 별로 올리지 못했다. 이렇게 된 이유... 새창
• iPod Touch 강좌 48. 스택 사용하기 아이팟 터치(iPod Touch)에 설치된 어플은 상당히 많다.... 새창
• 구글 달력 자동 동기화 내가 자주 사용했던 아이팟 터치(iPod Touch) 어플 중 하나는 NemusSy... 새창