Webサイトのデータを抽出するWebスクレイピング


Webスクレイピングとは、WebサイトからWebページのHTMLデータを収集して、特定のデータを抽出、整形し直す技術の総称です。
Webサイトから、必要な箇所だけを削り取っていく事から「削る」や「こすり落とす」といった意味の英語【Scraping】からそう呼ばれています。
Webサイトから比較的簡単に効率的にデータを取得・収集することが可能になる反面、使い方を誤ると著作権を侵害する恐れもあるため注意が必要な技術です。
Webスクレイピングは主にPHPやPerlといったサーバサイドで動くスクリプト言語を使用して行われます。
下記のコンテンツはWebスクレイピングの応用例です。HTMLデータを抽出し、不必要なタグを削除したあとで整形し直し表示しています。

Webスクレイピングによる完全自動更新ブログ
PHPによるスクレイピングをcronでスケジューリングしてブログを毎日定時に更新しています。
『誕生花・花言葉 & 誕生日カレンダー』

西暦(A.D.1-2013)各年ごとの出来事

    1年    2年    3年    4年    5年    6年    7年    8年    9年   10年
   11年   12年   13年   14年   15年   16年   17年   18年   19年   20年
   21年   22年   23年   24年   25年   26年   27年   28年   29年   30年
   31年   32年   33年   34年   35年   36年   37年   38年   39年   40年
   41年   42年   43年   44年   45年   46年   47年   48年   49年   50年
   51年   52年   53年   54年   55年   56年   57年   58年   59年   60年
   61年   62年   63年   64年   65年   66年   67年   68年   69年   70年
   71年   72年   73年   74年   75年   76年   77年   78年   79年   80年
   81年   82年   83年   84年   85年   86年   87年   88年   89年   90年
   91年   92年   93年   94年   95年   96年   97年   98年   99年  100年
  101年  102年  103年  104年  105年  106年  107年  108年  109年  110年
  111年  112年  113年  114年  115年  116年  117年  118年  119年  120年
  121年  122年  123年  124年  125年  126年  127年  128年  129年  130年
  131年  132年  133年  134年  135年  136年  137年  138年  139年  140年
  141年  142年  143年  144年  145年  146年  147年  148年  149年  150年
  151年  152年  153年  154年  155年  156年  157年  158年  159年  160年
  161年  162年  163年  164年  165年  166年  167年  168年  169年  170年
  171年  172年  173年  174年  175年  176年  177年  178年  179年  180年
  181年  182年  183年  184年  185年  186年  187年  188年  189年  190年
  191年  192年  193年  194年  195年  196年  197年  198年  199年  200年
  201年  202年  203年  204年  205年  206年  207年  208年  209年  210年
  211年  212年  213年  214年  215年  216年  217年  218年  219年  220年
  221年  222年  223年  224年  225年  226年  227年  228年  229年  230年
  231年  232年  233年  234年  235年  236年  237年  238年  239年  240年
  241年  242年  243年  244年  245年  246年  247年  248年  249年  250年
  251年  252年  253年  254年  255年  256年  257年  258年  259年  260年
  261年  262年  263年  264年  265年  266年  267年  268年  269年  270年
  271年  272年  273年  274年  275年  276年  277年  278年  279年  280年
  281年  282年  283年  284年  285年  286年  287年  288年  289年  290年
  291年  292年  293年  294年  295年  296年  297年  298年  299年  300年
  301年  302年  303年  304年  305年  306年  307年  308年  309年  310年
  311年  312年  313年  314年  315年  316年  317年  318年  319年  320年
  321年  322年  323年  324年  325年  326年  327年  328年  329年  330年
  331年  332年  333年  334年  335年  336年  337年  338年  339年  340年
  341年  342年  343年  344年  345年  346年  347年  348年  349年  350年
  351年  352年  353年  354年  355年  356年  357年  358年  359年  360年
  361年  362年  363年  364年  365年  366年  367年  368年  369年  370年
  371年  372年  373年  374年  375年  376年  377年  378年  379年  380年
  381年  382年  383年  384年  385年  386年  387年  388年  389年  390年
  391年  392年  393年  394年  395年  396年  397年  398年  399年  400年
  401年  402年  403年  404年  405年  406年  407年  408年  409年  410年
  411年  412年  413年  414年  415年  416年  417年  418年  419年  420年
  421年  422年  423年  424年  425年  426年  427年  428年  429年  430年
  431年  432年  433年  434年  435年  436年  437年  438年  439年  440年
  441年  442年  443年  444年  445年  446年  447年  448年  449年  450年
  451年  452年  453年  454年  455年  456年  457年  458年  459年  460年
  461年  462年  463年  464年  465年  466年  467年  468年  469年  470年
  471年  472年  473年  474年  475年  476年  477年  478年  479年  480年
  481年  482年  483年  484年  485年  486年  487年  488年  489年  490年
  491年  492年  493年  494年  495年  496年  497年  498年  499年  500年
  501年  502年  503年  504年  505年  506年  507年  508年  509年  510年
  511年  512年  513年  514年  515年  516年  517年  518年  519年  520年
  521年  522年  523年  524年  525年  526年  527年  528年  529年  530年
  531年  532年  533年  534年  535年  536年  537年  538年  539年  540年
  541年  542年  543年  544年  545年  546年  547年  548年  549年  550年
  551年  552年  553年  554年  555年  556年  557年  558年  559年  560年
  561年  562年  563年  564年  565年  566年  567年  568年  569年  570年
  571年  572年  573年  574年  575年  576年  577年  578年  579年  580年
  581年  582年  583年  584年  585年  586年  587年  588年  589年  590年
  591年  592年  593年  594年  595年  596年  597年  598年  599年  600年
  601年  602年  603年  604年  605年  606年  607年  608年  609年  610年
  611年  612年  613年  614年  615年  616年  617年  618年  619年  620年
  621年  622年  623年  624年  625年  626年  627年  628年  629年  630年
  631年  632年  633年  634年  635年  636年  637年  638年  639年  640年
  641年  642年  643年  644年  645年  646年  647年  648年  649年  650年
  651年  652年  653年  654年  655年  656年  657年  658年  659年  660年
  661年  662年  663年  664年  665年  666年  667年  668年  669年  670年
  671年  672年  673年  674年  675年  676年  677年  678年  679年  680年
  681年  682年  683年  684年  685年  686年  687年  688年  689年  690年
  691年  692年  693年  694年  695年  696年  697年  698年  699年  700年
  701年  702年  703年  704年  705年  706年  707年  708年  709年  710年
  711年  712年  713年  714年  715年  716年  717年  718年  719年  720年
  721年  722年  723年  724年  725年  726年  727年  728年  729年  730年
  731年  732年  733年  734年  735年  736年  737年  738年  739年  740年
  741年  742年  743年  744年  745年  746年  747年  748年  749年  750年
  751年  752年  753年  754年  755年  756年  757年  758年  759年  760年
  761年  762年  763年  764年  765年  766年  767年  768年  769年  770年
  771年  772年  773年  774年  775年  776年  777年  778年  779年  780年
  781年  782年  783年  784年  785年  786年  787年  788年  789年  790年
  791年  792年  793年  794年  795年  796年  797年  798年  799年  800年
  801年  802年  803年  804年  805年  806年  807年  808年  809年  810年
  811年  812年  813年  814年  815年  816年  817年  818年  819年  820年
  821年  822年  823年  824年  825年  826年  827年  828年  829年  830年
  831年  832年  833年  834年  835年  836年  837年  838年  839年  840年
  841年  842年  843年  844年  845年  846年  847年  848年  849年  850年
  851年  852年  853年  854年  855年  856年  857年  858年  859年  860年
  861年  862年  863年  864年  865年  866年  867年  868年  869年  870年
  871年  872年  873年  874年  875年  876年  877年  878年  879年  880年
  881年  882年  883年  884年  885年  886年  887年  888年  889年  890年
  891年  892年  893年  894年  895年  896年  897年  898年  899年  900年
  901年  902年  903年  904年  905年  906年  907年  908年  909年  910年
  911年  912年  913年  914年  915年  916年  917年  918年  919年  920年
  921年  922年  923年  924年  925年  926年  927年  928年  929年  930年
  931年  932年  933年  934年  935年  936年  937年  938年  939年  940年
  941年  942年  943年  944年  945年  946年  947年  948年  949年  950年
  951年  952年  953年  954年  955年  956年  957年  958年  959年  960年
  961年  962年  963年  964年  965年  966年  967年  968年  969年  970年
  971年  972年  973年  974年  975年  976年  977年  978年  979年  980年
  981年  982年  983年  984年  985年  986年  987年  988年  989年  990年
  991年  992年  993年  994年  995年  996年  997年  998年  999年 1000年
 1001年 1002年 1003年 1004年 1005年 1006年 1007年 1008年 1009年 1010年
 1011年 1012年 1013年 1014年 1015年 1016年 1017年 1018年 1019年 1020年
 1021年 1022年 1023年 1024年 1025年 1026年 1027年 1028年 1029年 1030年
 1031年 1032年 1033年 1034年 1035年 1036年 1037年 1038年 1039年 1040年
 1041年 1042年 1043年 1044年 1045年 1046年 1047年 1048年 1049年 1050年
 1051年 1052年 1053年 1054年 1055年 1056年 1057年 1058年 1059年 1060年
 1061年 1062年 1063年 1064年 1065年 1066年 1067年 1068年 1069年 1070年
 1071年 1072年 1073年 1074年 1075年 1076年 1077年 1078年 1079年 1080年
 1081年 1082年 1083年 1084年 1085年 1086年 1087年 1088年 1089年 1090年
 1091年 1092年 1093年 1094年 1095年 1096年 1097年 1098年 1099年 1100年
 1101年 1102年 1103年 1104年 1105年 1106年 1107年 1108年 1109年 1110年
 1111年 1112年 1113年 1114年 1115年 1116年 1117年 1118年 1119年 1120年
 1121年 1122年 1123年 1124年 1125年 1126年 1127年 1128年 1129年 1130年
 1131年 1132年 1133年 1134年 1135年 1136年 1137年 1138年 1139年 1140年
 1141年 1142年 1143年 1144年 1145年 1146年 1147年 1148年 1149年 1150年
 1151年 1152年 1153年 1154年 1155年 1156年 1157年 1158年 1159年 1160年
 1161年 1162年 1163年 1164年 1165年 1166年 1167年 1168年 1169年 1170年
 1171年 1172年 1173年 1174年 1175年 1176年 1177年 1178年 1179年 1180年
 1181年 1182年 1183年 1184年 1185年 1186年 1187年 1188年 1189年 1190年
 1191年 1192年 1193年 1194年 1195年 1196年 1197年 1198年 1199年 1200年
 1201年 1202年 1203年 1204年 1205年 1206年 1207年 1208年 1209年 1210年
 1211年 1212年 1213年 1214年 1215年 1216年 1217年 1218年 1219年 1220年
 1221年 1222年 1223年 1224年 1225年 1226年 1227年 1228年 1229年 1230年
 1231年 1232年 1233年 1234年 1235年 1236年 1237年 1238年 1239年 1240年
 1241年 1242年 1243年 1244年 1245年 1246年 1247年 1248年 1249年 1250年
 1251年 1252年 1253年 1254年 1255年 1256年 1257年 1258年 1259年 1260年
 1261年 1262年 1263年 1264年 1265年 1266年 1267年 1268年 1269年 1270年
 1271年 1272年 1273年 1274年 1275年 1276年 1277年 1278年 1279年 1280年
 1281年 1282年 1283年 1284年 1285年 1286年 1287年 1288年 1289年 1290年
 1291年 1292年 1293年 1294年 1295年 1296年 1297年 1298年 1299年 1300年
 1301年 1302年 1303年 1304年 1305年 1306年 1307年 1308年 1309年 1310年
 1311年 1312年 1313年 1314年 1315年 1316年 1317年 1318年 1319年 1320年
 1321年 1322年 1323年 1324年 1325年 1326年 1327年 1328年 1329年 1330年
 1331年 1332年 1333年 1334年 1335年 1336年 1337年 1338年 1339年 1340年
 1341年 1342年 1343年 1344年 1345年 1346年 1347年 1348年 1349年 1350年
 1351年 1352年 1353年 1354年 1355年 1356年 1357年 1358年 1359年 1360年
 1361年 1362年 1363年 1364年 1365年 1366年 1367年 1368年 1369年 1370年
 1371年 1372年 1373年 1374年 1375年 1376年 1377年 1378年 1379年 1380年
 1381年 1382年 1383年 1384年 1385年 1386年 1387年 1388年 1389年 1390年
 1391年 1392年 1393年 1394年 1395年 1396年 1397年 1398年 1399年 1400年
 1401年 1402年 1403年 1404年 1405年 1406年 1407年 1408年 1409年 1410年
 1411年 1412年 1413年 1414年 1415年 1416年 1417年 1418年 1419年 1420年
 1421年 1422年 1423年 1424年 1425年 1426年 1427年 1428年 1429年 1430年
 1431年 1432年 1433年 1434年 1435年 1436年 1437年 1438年 1439年 1440年
 1441年 1442年 1443年 1444年 1445年 1446年 1447年 1448年 1449年 1450年
 1451年 1452年 1453年 1454年 1455年 1456年 1457年 1458年 1459年 1460年
 1461年 1462年 1463年 1464年 1465年 1466年 1467年 1468年 1469年 1470年
 1471年 1472年 1473年 1474年 1475年 1476年 1477年 1478年 1479年 1480年
 1481年 1482年 1483年 1484年 1485年 1486年 1487年 1488年 1489年 1490年
 1491年 1492年 1493年 1494年 1495年 1496年 1497年 1498年 1499年 1500年
 1501年 1502年 1503年 1504年 1505年 1506年 1507年 1508年 1509年 1510年
 1511年 1512年 1513年 1514年 1515年 1516年 1517年 1518年 1519年 1520年
 1521年 1522年 1523年 1524年 1525年 1526年 1527年 1528年 1529年 1530年
 1531年 1532年 1533年 1534年 1535年 1536年 1537年 1538年 1539年 1540年
 1541年 1542年 1543年 1544年 1545年 1546年 1547年 1548年 1549年 1550年
 1551年 1552年 1553年 1554年 1555年 1556年 1557年 1558年 1559年 1560年
 1561年 1562年 1563年 1564年 1565年 1566年 1567年 1568年 1569年 1570年
 1571年 1572年 1573年 1574年 1575年 1576年 1577年 1578年 1579年 1580年
 1581年 1582年 1583年 1584年 1585年 1586年 1587年 1588年 1589年 1590年
 1591年 1592年 1593年 1594年 1595年 1596年 1597年 1598年 1599年 1600年
 1601年 1602年 1603年 1604年 1605年 1606年 1607年 1608年 1609年 1610年
 1611年 1612年 1613年 1614年 1615年 1616年 1617年 1618年 1619年 1620年
 1621年 1622年 1623年 1624年 1625年 1626年 1627年 1628年 1629年 1630年
 1631年 1632年 1633年 1634年 1635年 1636年 1637年 1638年 1639年 1640年
 1641年 1642年 1643年 1644年 1645年 1646年 1647年 1648年 1649年 1650年
 1651年 1652年 1653年 1654年 1655年 1656年 1657年 1658年 1659年 1660年
 1661年 1662年 1663年 1664年 1665年 1666年 1667年 1668年 1669年 1670年
 1671年 1672年 1673年 1674年 1675年 1676年 1677年 1678年 1679年 1680年
 1681年 1682年 1683年 1684年 1685年 1686年 1687年 1688年 1689年 1690年
 1691年 1692年 1693年 1694年 1695年 1696年 1697年 1698年 1699年 1700年
 1701年 1702年 1703年 1704年 1705年 1706年 1707年 1708年 1709年 1710年
 1711年 1712年 1713年 1714年 1715年 1716年 1717年 1718年 1719年 1720年
 1721年 1722年 1723年 1724年 1725年 1726年 1727年 1728年 1729年 1730年
 1731年 1732年 1733年 1734年 1735年 1736年 1737年 1738年 1739年 1740年
 1741年 1742年 1743年 1744年 1745年 1746年 1747年 1748年 1749年 1750年
 1751年 1752年 1753年 1754年 1755年 1756年 1757年 1758年 1759年 1760年
 1761年 1762年 1763年 1764年 1765年 1766年 1767年 1768年 1769年 1770年
 1771年 1772年 1773年 1774年 1775年 1776年 1777年 1778年 1779年 1780年
 1781年 1782年 1783年 1784年 1785年 1786年 1787年 1788年 1789年 1790年
 1791年 1792年 1793年 1794年 1795年 1796年 1797年 1798年 1799年 1800年
 1801年 1802年 1803年 1804年 1805年 1806年 1807年 1808年 1809年 1810年
 1811年 1812年 1813年 1814年 1815年 1816年 1817年 1818年 1819年 1820年
 1821年 1822年 1823年 1824年 1825年 1826年 1827年 1828年 1829年 1830年
 1831年 1832年 1833年 1834年 1835年 1836年 1837年 1838年 1839年 1840年
 1841年 1842年 1843年 1844年 1845年 1846年 1847年 1848年 1849年 1850年
 1851年 1852年 1853年 1854年 1855年 1856年 1857年 1858年 1859年 1860年
 1861年 1862年 1863年 1864年 1865年 1866年 1867年 1868年 1869年 1870年
 1871年 1872年 1873年 1874年 1875年 1876年 1877年 1878年 1879年 1880年
 1881年 1882年 1883年 1884年 1885年 1886年 1887年 1888年 1889年 1890年
 1891年 1892年 1893年 1894年 1895年 1896年 1897年 1898年 1899年 1900年
 1901年 1902年 1903年 1904年 1905年 1906年 1907年 1908年 1909年 1910年
 1911年 1912年 1913年 1914年 1915年 1916年 1917年 1918年 1919年 1920年
 1921年 1922年 1923年 1924年 1925年 1926年 1927年 1928年 1929年 1930年
 1931年 1932年 1933年 1934年 1935年 1936年 1937年 1938年 1939年 1940年
 1941年 1942年 1943年 1944年 1945年 1946年 1947年 1948年 1949年 1950年
 1951年 1952年 1953年 1954年 1955年 1956年 1957年 1958年 1959年 1960年
 1961年 1962年 1963年 1964年 1965年 1966年 1967年 1968年 1969年 1970年
 1971年 1972年 1973年 1974年 1975年 1976年 1977年 1978年 1979年 1980年
 1981年 1982年 1983年 1984年 1985年 1986年 1987年 1988年 1989年 1990年
 1991年 1992年 1993年 1994年 1995年 1996年 1997年 1998年 1999年 2000年
 2001年 2002年 2003年 2004年 2005年 2006年 2007年 2008年 2009年 2010年
 2011年 2012年 2013年 2014年 2015年 2016年 2017年 2018年 2019年 2020年
 2021年

トラックバックURL

このエントリーのトラックバックURL:
http://script.boy.jp/mt-tb.cgi/17

コメントする