分类目录归档:FreeBSD

阿里云升级freebsd10.1到11.0-release-p8记录

阿里云升级freebsd10.1到11.0-release-p8记录

总体是一次顺利的升级体验!

主要用到的命令是:

查看版本

945  22:20   freebsd-version -k -u

设置环境变量,10.3版本,好像不需要弄这个:

946  22:20   setenv UNAME_r “10.3-RELEASE”

更新,这个在国内如果没有镜像的话时间超长!

 

为了装jupyter,使用了其它一下命令:

947  22:20   freebsd-update fetch

 

920  20:59   whereis jupyterhub

921  21:00   whereis jupyter

926  21:00   locate notejs

927  21:21   df

928  21:25   whereis nodejs

929  21:25   locate node

930  21:27   pkg install node

931  21:27   pkg-static install node

932  21:55   pkg_stick install python36

933  21:56   pkg-static install python36

934  22:02   whereis py-pyzmq

935  22:03   make PYTHON_VERSION=python3.6 install clean

936  22:03   cd /usr/ports/net/py-pyzmq

937  22:03   make PYTHON_VERSION=python3.6 install clean

938  22:07   pkg-static install py-setuptools36

939  22:07   pkg-static install devel/py-setuptools36

940  22:08   cd /usr/ports/net/py-pyzmq

943  22:09   make -V PYTHON_VERSION=python3.6 install clean

944  22:19   freebsd-version

945  22:20   freebsd-version -k -u

946  22:20   setenv UNAME_r “10.3-RELEASE”

后来知道,这里不需要设这个环境变量。

 

956  22:29   /usr/local/bin/python3.6

957  22:31   ps -aux

958  22:31   nameserver

959  22:32   nslookup

960  22:32   vi /etc/resolv.conf

 

983  22:36   freebsd-update fetch

984  22:36   freebsd-update fetch &

 

1000  22:43   freebsd-update -s ‘freebsd-updates.mirrors.163.com’ fetch

可惜163的镜像没有了。

参考的这篇文章:

升级FreeBSD 10.2-STABLE 到 11.0-RELEASE

https://bbs.aliyun.com/read/297189.html?spm=5176.bbsr296915.0.0.z411Uy

发现那篇文章中有误,

不过那个错误不影响大局,因为到了后面会有提示

freebsd-update fetch 之后,就可以先升级到10.3了

freebsd-update upgrade -r 10.3-RELEASE

 

root@iZ25alqsdzzZ:~ # freebsd-update upgrade -r 10.3-RELEASE

Looking up update.FreeBSD.org mirrors… 4 mirrors found.

Fetching metadata signature for 10.1-RELEASE from update5.freebsd.org… done.

Fetching metadata index… done.

Fetching 2 metadata files… done.

Inspecting system… done.

 

The following components of FreeBSD seem to be installed:

kernel/generic world/base world/lib32

 

The following components of FreeBSD do not seem to be installed:

src/src world/doc world/games

 

Does this look reasonable (y/n)? y

 

Fetching metadata signature for 10.3-RELEASE from update5.freebsd.org… done.

Fetching metadata index… done.

Fetching 1 metadata patches. done.

Applying metadata patches… done.

Fetching 1 metadata files…

done.

Inspecting system…

 

done.

Fetching files from 10.1-RELEASE for merging… done.

Preparing to download files… done.

Fetching 11045 patches…..10….20….30….40….50….60….70….80….90….100….110….120….130….140….150….160….170….180….190….200….210….220….230….240….250….260….270..

 

本来以为要3个小时呢,后来很快:

….10010….10020….10030….10040….10050……..11030….11040.. done.

Applying patches… done.

Fetching 393 files… done.

Attempting to automatically merge changes in files… done.

 

The following file could not be merged automatically: /etc/ntp.conf

Press Enter to edit this file in vi and resolve the conflicts

manually…

 

说/etc/ntp.conf无法自动合并,只能手工上!

 

回答了一大堆yes

然后运行安装:

/usr/sbin/freebsd-update install

 

root@iZ25alqsdzzZ:~ #/usr/sbin/freebsd-update install

Installing updates…

Kernel updates have been installed.  Please reboot and run

“/usr/sbin/freebsd-update install” again to finish installing updates.

 

一年多没重启了,重启一下

启动后看下:

root@rich:~ # freebsd-version -k -u

10.3-RELEASE-p11

10.1-RELEASE

 

Ok,成功从10.1升级到10.3,现在开始主版本升级,从10升级到11,输入如下命令:

# : > /usr/bin/bspatch

# freebsd-update upgrade -r 11.0-RELEASE

# freebsd-update install

<reboot the system>

# freebsd-update install

<rebuild third-party software>

# freebsd-update install

 

root@rich:~ # freebsd-update upgrade -r 11.0-RELEASE

src component not installed, skipped

Looking up update.FreeBSD.org mirrors… 4 mirrors found.

Fetching metadata signature for 10.3-RELEASE from update5.freebsd.org… done.

Fetching metadata index… done.

Fetching 1 metadata patches. done.

Applying metadata patches… done.

Fetching 1 metadata files… done.

Inspecting system… done.

 

The following components of FreeBSD seem to be installed:

kernel/generic world/base world/lib32

 

The following components of FreeBSD do not seem to be installed:

world/doc world/games

 

Does this look reasonable (y/n)? y

 

Fetching metadata signature for 11.0-RELEASE from update5.freebsd.org… done.

Fetching metadata index… done.

Fetching 1 metadata patches. done.

Applying metadata patches… done.

Fetching 1 metadata files… done.

Inspecting system… done.

Fetching files from 10.3-RELEASE for merging… done.

Preparing to download files… done.

Fetching 11218 patches…..10….20….30….40….50….60….70….80….90….100….110….120….130….140….150….160….170….180….190….200….210….220….230….240….250….260….270….280….290….300….310….320….330….340….350….360….370….380….390….400….410….420….430….440….450….460….470….480….490….500……….11200….11210…. done.

Applying patches… done.

Fetching 1645 files… done.

Attempting to automatically merge changes in files… done.

 

The following file could not be merged automatically: /etc/ntp.conf

Press Enter to edit this file in vi and resolve the conflicts

 

安装过程中,又出现ntp.conf,我直接确认退出,然后出现:

The following changes, which occurred between FreeBSD 10.3-RELEASE and

FreeBSD 11.0-RELEASE have been merged into /etc/group:

— current version

+++ new version

@@ -1,6 +1,6 @@

-# $FreeBSD: releng/10.3/etc/group 256366 2013-10-12 06:08:18Z rpaulo $

+# $FreeBSD: releng/11.0/etc/group 294896 2016-01-27 06:28:56Z araujo $

#

wheel:*:0:root,sky

daemon:*:1:

kmem:*:2:

sys:*:3:

@@ -15,10 +15,11 @@

staff:*:20:

sshd:*:22:

smmsp:*:25:

mailnull:*:26:

guest:*:31:

+video:*:44:

bind:*:53:

unbound:*:59:

proxy:*:62:

authpf:*:63:

_pflogd:*:64:

@@ -26,10 +27,11 @@

uucp:*:66:

dialer:*:68:

network:*:69:

audit:*:77:

www:*:80:

+_ypldap:*:160:

hast:*:845:

nogroup:*:65533:

nobody:*:65534:

mysql:*:88:

sky:*:1001:

Does this look reasonable (y/n)?

 

更新了一大堆东西,pkg这个是我真实目的,因为阿里云freebsd10.1的pkg挂了:

/usr/sbin/periodic

/usr/sbin/pkg

/usr/sbin/pmcannotate

 

最后出现:

/var/yp/Makefile.dist

To install the downloaded upgrades, run “/usr/sbin/freebsd-update install”.

 

按照提示运行

/usr/sbin/freebsd-update install

 

root@rich:~ #/usr/sbin/freebsd-update install

src component not installed, skipped

Installing updates…

Kernel updates have been installed.  Please reboot and run

“/usr/sbin/freebsd-update install” again to finish installing updates.

 

重启系统后,看一下:

root@rich:~ # uname -a

FreeBSD rich 11.0-RELEASE-p8 FreeBSD 11.0-RELEASE-p8 #0: Wed Feb 22 06:12:04 UTC 2017     root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC  amd64

root@rich:~ # freebsd-version -k -u

11.0-RELEASE-p8

10.3-RELEASE-p17

 

呵呵,已经是11啦!

再来一次/usr/sbin/freebsd-update install

root@rich:~ # /usr/sbin/freebsd-update install

src component not installed, skipped

Installing updates…

Completing this upgrade requires removing old shared object files.

Please rebuild all installed 3rd party software (e.g., programs

installed from the ports tree) and then run “/usr/sbin/freebsd-update install”

again to finish installing updates.

root@rich:~ #

 

这里让重新build所有的三方软件,天啊!

这个先不管它了

先看一下版本:

root@rich:~ # freebsd-version -k -u

11.0-RELEASE-p8

11.0-RELEASE-p8

 

嗯,这样就对了 !

 

总体来说,目前看算顺利,没有出什么内核无法启动,sshd无法启动,网站挂了等幺蛾子 !

FreeBSD下 终端输入中文方法

 csh:
setenv LANG en_US.UTF-8

bash:
在securecrt等终端中输入中文
LANG=zh;export LANG

在$HOME/.profile中或/etc/profile中加入
stty cs8 -istrip

到这里,如果shell是sh的话就可以输入中文了,如果shell是bash还要做如下:

在$HOME/.inputrc中
set meta-flag on
set output-meta on
set convert-meta off

本网站vps系统故障

服务商发过来邮件,说机房迁移,本来预计2个小时搞定的,结果发现到昨天下午,我的系统超过7个小时还没恢复服务,于是发ticket,来回忙活,终于在今晚问题解决了。

ps,我的FreeBSD系统原本不间断运行了400多天呢!

mingGW初步了解

MinGW全称Minimalist GNU For Windows,是个精简的Windows平台C/C++、ADA及Fortran编译器,相比Cygwin而言,体积要小很多,使用较为方便。MinGW提供了一套完整的开源编译工具集,以适合Windows平台应用开发,且不依赖任何第三方C运行时库。

MinGW包括:

  • 一套集成编译器,包括C、C++、ADA语言和Fortran语言编译器
  • 用于生成Windows二进制文件的GNU工具的(编译器、链接器和档案管理器)
  • 用于Windows平台安装和部署MinGW和MSYS的命令行安装器(mingw-get)
  • 用于命令行安装器的GUI打包器(mingw-get-inst)

开发 MinGW 是为了那些不喜欢工作在 Linux(FreeBSD) 操作系统而留在 Windows 的人提供一套符合 GNU 的 GNU 工作环境。 MinGW 是指只用自由软件来生成纯粹的 Win32可执行文件的编译环境

网站:http://www.mingw.org/

右上角有下载地址链接

 

短暂接触了一下FreeBSD10

昨天今天短暂的安装了下freebsd10,但是安装后ports和package(pkg_add)等都没有。只有fetch…..

使用 http://www.airoot.org/wp/?p=154 里的方法,,#portsnap fetch extract ,倒是把ports装上了,但是没有pkg_add,编译安装软件太慢了,测试/学习的时候效率太低,于是把10搞掉,又弄成9.2了。

两个版本都是用usb盘启动安装的,方法见以前的文档:http://www.airoot.org/wp/?p=212

ps,这次下载memstick.img文件,也颇费了周折,先用360云离线下载,再下载到本地,都很慢,后来还是到freebsdchina下载的,速度比较快!

usb启动的时候,还有点曲折,机器不从usb启动。一度想升级cmos,后来是在cmos菜单中,integrated peripherals –on chip usb contraller –usb mass storage support 的enable选项打开后,在harddisk boot priority 中可以看到usb的,把usb启动设置到第一序列,终于就ok了。

10下面ralink的usb无线网卡没有搞定,只是显示ugen2.3  TPlink ,但是按照说明写入if_ral_load=”YES” if_ural_load=”YES”等都没管用

FreeBSD建数据中心的问题 zt

原地址:https://www.freebsdchina.org/forum/viewtopic.php?t=58346

alphachi需求提出:

单位内部需要建自己的数据中心,初期规划数据量约1000TB,想用FreeBSD来做。
找了一圈资料,可参考的实在太少,只能发贴向各位求教。

1. 文件系统是应该跑ZFS吗?

2. 是否应该使用HAST?如果需要使用的话,手册上提到了HAST仅支持2个节点,那是不是说,必须要购买2台服务器,然后每台服务器再拖一台容量为1000TB的磁盘存储?

3. 如果不应该使用HAST,那是不是说需要购买多台服务器做成集群存储?假设每台满配能撑到32T,那就需要购买30多台服务器?那如何让这些服务器的存储连接成1000T的大池?FreeBSD集群如何实现也没找到参考资料。

4. 有没有什么型号的服务器或者存储设备推荐?

完全没有经验,自学成才未遂,请大家指教,谢谢!

delphij解答:

1000TB放到一台机器上需要至少挂4个盘柜,并且需要至少5张HBA卡。(假设:1:4冗余、每4组配一个热备盘)。

这么多块硬盘的系统我们实际做过,但容量没这么大。简单来说,内存必须很大,dedup基本不要想(我个人的忠告是把想在这种规模的系统上干这事的人直接砍死);这样的系统可以做到很好的吞吐量,但是响应时间不会很好。

放1000TB而不做冗余是非常糟糕的主意,事实上,多数应用中你根本没有时间从失败中恢复,300块以上硬盘的存储池导入是相当耗时的过程。

关于HAST:HAST的延迟不够理想(新的 memsync 模式对此有极大的改善),而且恐怕并不满足你的需求。假如你的需求是一台机器倒掉的情况下另一台机器可以立即接管服务,应用必须知道怎么实现,而不能仅仅依赖NFS或iSCSI,因为你的存储池导入在300块硬盘的情况下需要相当长的时间,这样做热备是不能满足需要的。

========

比较正常的、还算便宜的实现方案,仅供参考:

事实上,绝大多数应用需要的仅仅是单一的命名空间,而不在意是否是单一的文件系统。正确的做法是分而治之,而绝不是做一个超大规模的文件系统,更不是一个1PB的存储池。这种规模的存储池可以做,但很可能不会做到你想要的效果,并且发生灾难时无法迅速而有效地恢复。

如果用 NFS,可以配合 amd (automount)来实现单一命名空间(只要做一个简单的符号链接到amd控制的目录即可;amd在多数OS上都有实现,可以在需要时自动挂载文件系统),但运营人员需要根据系统的运行情况来适当做rebalance(将数据从一个节点挪到另一个节点)。这个命名空间是在客户端看到的,存储服务器之间只做热冗余,而不必做成集群。这套系统在需要的时候可以通过增加机器的方式来扩展(当然,不是无限的)。

新式的建立在普通文件系统之上的分布式文件系统在运营方面要比用amd+NFS简单一些,但客户机的OS必须支持这些分布式文件系统,并且配置会更为复杂。

以目前硬盘的尺寸来说,一个节点放大概100TB的存储(冗余之后;不超过1个JBOD)是没什么问题的,再大的话热恢复可能就比较慢了。每个节点应该有一个同样容量和配置的HA节点,随你的应用对数据损失和热恢复时间的容忍度不同,可以用快照复制,也可以用HAST。

任何时候,任何节点的剩余空间不应少于15%,因此你的冗余后容量至少需要1176TB(1000 / 85% = 1176.47TB)。

假定每套系统上放44块硬盘(4组8+2 RAID-Z2或8组4+1 RAID-Z,4块热备),每块硬盘容量为4TB,则每个系统的有效容量为32*4=128TB。总共应配置20套这样的系统,总有效容量为 1280TB(其中一半为热冗余系统)。

注意:44块硬盘必须合理规划使用HBA的接口,需要告诉装配工人如何正确接线。

两个一定要注意的问题:

1. LSI HBA、硬盘固件必须刷到最新,不刷会惨死。
2. 不要混用SATA和SAS硬盘,混用会惨死(事实上目前这一代的LSI HBA对SATA的出错处理还是有些问题);个人推荐SAS硬盘。

(其实还有一些其他的细节,通常做服务器的公司都有经验会告诉你,但这里特别提醒一下:不要把硬盘插在服务器上装箱运到机房,而要分别装箱,到机房再装硬盘,等等)。

这种规模的存储系统,实现起来要比第一眼看上去困难的多。另外,很多潜在的问题如果没有实际的经验,光靠自学是没法知道的,很多东西很碎,很杂,总结出来绝对可以写一本基本上卖不出去的书,而其中大半的内容会迅速过时。

最后,假如没有至少2年的维护挂24块以上硬盘的单一生产系统的实际经验,建议忽略以上全部,直接找个懂行的人来做。