特に何もやってあげてないのに他人(法人だけどさ)から何百万何千万のお金が何年もとめどなく注ぎ込まれてきたら、怖くないですか?
オープンソース・ソフトウェアの開発者だけで給料をもらうというのは、まさにこの現象が発生してくるわけ。それまでもこれからも、ずっとオープンソース・ソフトウェアの開発者はやってきたし、やっていくわけでしょう。そんなの会社があってもなくても、別にやることなんて変わらないじゃない。じゃあなんで、ある時から急にかなりの金額が振り込まれてきてしまうんだ?しかもあからさまに物価上昇を上回る結構なハイペースで昇給していく。やっていることは一切何も変わってないのに!
この状況に適応するまでにはいささかの時間を要しました。根が小心者なので。
この記事はWebスクレイピング Advent Calendar 2017の17日目の記事です。puppeteerでクローリングします。
SPAみたいなちょっと凝ったWebサイトをクローリングするときは一昔前はSelenium + PhantomJSあたりが鉄板でしたが、今後はSelenium + Headless ChromeもしくはPuppeteer + Headless Chromeが主流となっていく見通しです。 （HeadlessとはGUIアプリケーションのGUIを介さないモードのことです。）
前者についてはWeb上に情報も多いですが、Puppeteerでクローリングする話をそんなに見ない気がするのでクローリングの歴史を踏まえてやってみます。
秘密鍵など誤ってコミットしてしまった場合に履歴を完全に削除する手順
参考:6.4 Git のさまざまなツール - 歴史の書き換え
$ git checkout -b clean-key-file
node.js でパスを取得する方法についてのメモ
$ node ~/hoge/Foo.js/a.jsを実行したときに、
process.argv[1] から、node コマンドに指定された a.js のパス( ~/hoge/Foo.js/a.js )を取得できます
When the directory structure of your Node.js application (not library!) has some depth, you end up with a lot of annoying relative paths in your require calls like:
const Article = require('../../../../app/models/article');Those suck for maintenance and they're ugly.
| import java.util.ArrayList; | |
| import java.util.Collections; | |
| import java.util.List; | |
| public class CollectionUtils { | |
| /** | |
| * Listを指定したサイズ毎に分割します。 | |
| * | |
| * @param origin 分割元のList |
| #!/usr/bin/env python3 | |
| """ | |
| 2025 update: | |
| - Recursive extraction from nested EML files | |
| - Robust filename handling with sanitization and deduplication | |
| - Proper logging instead of print statements | |
| - Enhanced error handling and validation | |
| - Binary file reading for better encoding support | |
| - Cross-platform filename compatibility |
| <html> | |
| <head> | |
| <!-- | |
| In this example, I started with the 5-minute example provided by Google | |
| on the following page: | |
| https://developers.google.com/drive/ | |
| I modified the example code, so that I could write the following |
