[更新中] 跟着官方指引文档入门 Hadoop —— 官方指引节选翻译

一年又一年 | 技术 | 2019-09-11

本文由 Apache Hadoop 官方入门文档(https://hadoop.apache.org/docs/stable/index.html)节选翻译而成。

译:一年又一年

声明:谢绝任何经营性、营利性用途转载或编辑,仅允许开放式转载,但敬请保留译者署名。(行为人包括企业、个人,经营性、营利性用途包括但不限于运营平台公开账号、因流量而间接获利)

英文原文修订时间:2018-11-13;版本: 2.9.2

入门综述

本文档将向您介绍如何入门使用 Hadoop。通过从 建立单节点(Single Node Setup)出发,展示如何以单节点建立 Hadoop 安装;随后进一步介绍 建立群集(Cluster Setup) 以了解如何以多节点建立 Hadoop 安装。

Hadoop: 建立单节点集群.

目标

本章将介绍如何建立和配置单节点 Hadoop 安装,以便能快速地实现运用 Hadoop MapReduce 及 Hadoop 分布式文件系统(Hadoop Distributed File System,HDFS)执行简单操作。

运行要求

支持的平台

  • G...

阅读全文>>

ė65次浏览 60条评论 0 Hadoop 入门 翻译 Linux

关于 FFmpeg 合并 HLS/m3u8 流 TS 切片时出现 Non-monotonous DTS in output stream 的问题

一年又一年 | 技术 | 2019-06-07

这个问题是由 FFmepg 的缺陷导致的,至今(2019年)仍未解决。

引发问题的根源在于 HLS/m3u8 流文件列表中,存在两个相邻切片之间的 TS 包计数不连续。(TS 包计数不连续的情况,可在 直播过程中存在推流中断后重推 的 直播流/回放流列表 中出现)

对于这种情况,HLS/m3u8 流文件列表会在与前者计数不连续的文件前加上 EXT-X-DISCONTINUITY 标签来显式地告诉播放器留意。

但遗憾的是,FFmpeg 的 HLS 处理模块不支持该标签,进而导致遇到计数不连续的 TS 时,无意识地强制合并两个计数不连续的 TS,导致 Non-monotonous DTS in output stream 警告,再加上其他一些缺陷,最终导致合并后时间码不正确。


说明

本文结论由我本人在参阅了大量相关问题汇报、社区提问后得出;部分参阅的文章链接见文末。

其中,最有价值的是

阅读全文>>

关于 C++ 标准文件流 fstream 对 UTF-8/Unicode 编码文件名的支持的参考文章

一年又一年 | C/C++ | 2019-06-02

参考文章:

https://stackoverflow.com/questions/30829364/open-utf8-encoded-filename-in-c-windows

https://stackoverflow.com/questions/821873/how-to-open-an-stdfstream-ofstream-or-ifstream-with-a-unicode-filename

https://stackoverflow.com/questions/6975267/c-saving-file-with-unicode-name-problem-how-to-save-utf-8-filenames-correctl


阅读全文>>

ė168次浏览 60条评论 0

对网易云音乐将云盘上传/本地播放的音乐关联匹配到曲库相应条目行为的观察

一年又一年 | 技术 | 2019-03-10
从他处下载的歌曲A,上传云盘后,匹配成曲库中对应的歌曲A条目。

将歌曲A中间几秒静音,上传云盘后,依旧能匹配成歌曲A。
查看曲库的歌曲A条目,出现云盘标记,播放听到的是做过静音处理的版本。

歌曲A,meta 信息全部被故意修改成歌曲C的,但是依旧能匹配成歌曲A,但仍可确定匹配受到了 meta 的影响,测试中发现带有错误 meta 的歌曲A的日文版,被匹配成歌曲A的英文版拉取了歌词。(错误的 meta 是英文的,但并不是歌曲A英文版的 meta)

首先播放歌曲A,匹配到了歌词。之后将歌曲A文件换成与歌曲A完全不同的歌曲B,保持路径相同文件名相同。再次播放,呈现的依旧是上次匹配到的歌曲A的歌词。

首次频谱分析拉到结果后会将匹配结果按文件路径缓存。重启可使缓存失效,重新进行频谱分析匹配。

meta 会影响频谱分析(听歌识曲)匹配结果,但 meta 对匹配结果的影响仅作用于由频谱匹配相似决定的歌曲范围之内。

换言之,在 meta 中把曲名设置成 Hop 并不能使得一首不是 Hop 的曲子匹配结果为 Hop,
而当这首曲子在匹配到一堆频谱相似的不同版本时,曲名为 Hop 会影响最终选择哪个版本作...

阅读全文>>

ė679次浏览 61条评论 0

在解决安卓 QQ 聊天记录因故乱码时,有关其加密密钥和纠错重建逻辑的新发现

一年又一年 | 技术 | 2019-03-09

※本文旨在描述笔者自己遇到的情况和一些新发现,供您作为预案参考,而非任何面向大众的方案。

现在网络上介绍安卓 QQ (手机QQ)聊天记录数据库基本情况(比如异或加密和表结构)的文章和资源已经相对很丰富了,本文就不再赘述。相关技术此前笔者也略有些了解,但没有实际复现研究细节。

直到近日,笔者因一些原因,不慎搞炸了手Q的聊天记录(历史聊天信息乱码),于是终于有机会(被迫)将这方面的技术拿出来检验是否依旧可行,并尝试用其挽回。

※ 切勿模拟复现以下描述所对应的情况,除非您知晓这其中的高风险度。数据无价,意外丢失追悔莫及。


在过程中,笔者参考历史文章公开的技术情况,基本确认了既往的技术到目前(手机 QQ 7.8)为止,依旧适用和有效,进而复现了相关操作。

由于笔者的个人情况的特殊性,在此过程中走了些苦路,不过也观察和发现了一些似乎还没有人公开发表的新技术,主要是关于安卓手机 QQ 对待聊天数据库加密密钥选取、保存和异常重建的一些基本逻辑和现象。大纲如下:


聊天数据库异或加密存在密钥文件 —— 一般情况下密钥为 IMEI 已经不是什么新闻,但因为密钥文件(手机QQ应用数据目录/f...

阅读全文>>

易语言组件字体属性的陷阱

一年又一年 | 易语言 | 2019-02-25

陷阱 1:

当你在易语言 IDE 的窗口属性栏里对组件设置字体字号时:

你选择了一款字体,字体大小为 9 号。

❌ 你以为易语言会做的事情:

  • 存字号,也就是存数字 9.

✔ 易语言实际做的事情:

  • 按照当前的 DC_DPI[1],计算并存这个字号所对应的逻辑大小[2],9 号在 96 DPI 下的逻辑大小是 -12 (0xfffffff4),在 101 DPI 下的逻辑大小 -13 (0xfffffff3).

[1] DC_DPI 指:对屏幕 DC 取 GetDeviceCaps 得到的 LOGPIXELSX/LOGPIXELSY[3].
[2] 逻辑大小的计算方式是 -MulDiv(fontSize, DC_DPI, 72),MulDiv(a, b, c) 等价于 四舍五入(a*b/c).
[3] 通常该值为 96,但笔者的桌面环境设置了自定义缩放,缩放比例是 105%,因为这个比例较小,Windows 不会对不支持 DPI 缩放的程序强行拉伸缩放,而是通过类似调整屏幕 DC 的 DPI 到 96*缩放系数(96*105%=101,即对应的 DPI 为 ...

阅读全文>>

ė445次浏览 60条评论 0

Ubuntu Firefox 无法播放音视频

一年又一年 | 技术 | 2019-01-29

症状

Ubuntu Firefox 无法在线播放 mp3、mp4(H.264) 等媒体。例如,使用网易云音乐网页版无法播放音乐,观看 YouTube 的部分视频提示无法播放,在 YouTube 的 HTML5 播放器兼容检查页面上 H.264 和 MSE & H.264 两者为叉,即不支持。


Ubuntu Desktop 预装的 Firefox 或 使用 apt 直接安装的 Firefox 对于 AVC/H.264、mp3 等一部分媒体的解码需要动态链接到一些外部解码器。

这些外部解码器因编码专利或许可协议的限制,需要自行安装这些限制性包(restricted packages)。

ubuntu-restricted-addonsubuntu-restricted-extras 整合了 Ubuntu 常用的限制性包(包括但不限于一些编解码器)。

关于这两个包的更多信息,可以分别参考 https://packages.ubuntu.com/bionic/ubuntu-restricted-addonshttps://packag...

阅读全文>>

一种下载 HLS(m3u8) 视频并无压制合并封装为 mp4 的方法 (FFmpeg)

一年又一年 | 技术 | 2018-10-03

通常情况下,一则 HLS 视频由 .ts 分段和 .m3u8 分段索引构成。本文将介绍一种使用 FFmpeg Tool 实现 HLS 视频下载、无压制合并封装成 mp4 的方法。

ffmpeg -i "http://website/.m3u8" -c:v copy -c:a copy -bsf:a aac_adtstoasc 1.mp4 

使用 FFmpeg 以 HLS 视频作为输入(-i "http://website/.m3u8"), FFmpeg 将自动解析 m3u8 并下载 ts 分段视频,随后复制视频流与音频流(-c:v copy -c:a copy),重新混流封装成 mp4,并输出到文件1.mp4

阅读全文>>

FFmpeg tool 下载/转推 HLS (.m3u8) 直播流媒体速度慢

一年又一年 | 技术 | 2018-01-21

Slow HLS Stream Download FFmpeg

I can successfully download a HLS stream from a .m3u8 link. However, the 
problem that I am facing is extremely slow download speeds. When using 
Streamlink...

阅读全文>>

ė3544次浏览 60条评论 0 FFmpeg HLS m3u8

【SQLite】释放SQLite数据库的空闲空间

一年又一年 | 技术 | 2014-08-22

嗯,我是SQLite大白一只啦。 

今天做SQLite写入数据提速测试,测试完了后删除了测试的数据,但是一瞥眼还是看到数据库文件的文件大小大的离谱。 

于是我就想SQLite的数据库是不是不会自动缩小文件大小的 (因为我联想到某虚拟机分配虚拟硬盘大小时,虚拟硬盘文件只能扩容不能减小,用过的部分即在虚拟机中释放了但实际文件大小中依旧不变)

然后我在群中询问...

阅读全文>>

[Office 2013] 删除多余的激活/密钥信息

一年又一年 | 技术 | 2013-10-26
  表示我本来已经激活好的Office2013前几天打开的时候弹出了激活提示,打开产品信息果断发现是当初使用Mark(180天循环激活)时的遗留问题,于是果断想将其(Mark密钥)去除。     引用:《office2013怎么有两个激活?》 . 百度知道 . 2013-10-21         把激活工具卸了。 方式1. 按住Win键+X+A 选择命令提示符(管理员)按照1.2.3分别输入下面          cd C:\Program Files\MicrosoftOffice\Office15     【×64位的】       或 cd C:\Program Files (x86)\MicrosoftOffice\Office15    【×32位的】             批注:        上述的 C:\Program Files\MicrosoftOffice\Office15 等路径应视自己的安装路径而定。           cscript OSPP.VBS /

阅读全文>>

ė3464次浏览 60条评论 0 office2013 密钥 激活
Ɣ回顶部